Youssef ELMIZEB · fondateur de tekfold.com · mis à jour le 26 octobre 2026
Utiliser un service d’IA en ligne signifie envoyer tes questions, tes documents et tes brouillons à un serveur que tu ne contrôles pas. Pour un carnet de santé, un contrat client ou un travail universitaire, ce n’est pas un détail : c’est le motif principal pour passer à un modèle local. L’idée d’une IA portée sur une clé USB va plus loin : la même capacité, emmenée partout, sans connexion et sans compte. Voici ce que ça implique réellement, matériellement et juridiquement.
Comprendre ce qui fait la taille de ton « IA de poche »
Le poids d’un modèle local est presque entièrement déterminé par deux nombres : le nombre de paramètres et la quantification. Un modèle de 7 milliards de paramètres en précision complète occuperait environ 28 Go ; quantifié en 4 bits, il descend aux alentours de 4 à 5 Go. La quantification réduit la précision de chaque poids pour diviser la taille et la mémoire vive requise — avec une perte de qualité réelle mais gérable, bien moindre que ce qu’on imagine souvent.
| Taille de modèle | Poids en 4 bits (estimation) | Mémoire nécessaire | Sur clé USB | Usage réaliste |
|---|---|---|---|---|
| 1 à 3 milliards | 1 à 2 Go | 4 Go | Très fluide | Synthèse, classification, réécriture courte |
| 7 à 8 milliards | 4 à 5 Go | 8 Go | Fluide sur un SSD externe | Assistant général, code simple, résumés |
| 13 à 14 milliards | 8 à 9 Go | 16 Go | Correct, dépend de la vitesse du support | Raisonnement, rédaction soignée |
| 30 milliards et plus | 17 Go et plus | 32 Go | Déconseillé (lenteur, contrainte mémoire) | Qualité proche d’un service distant |
Ces fourchettes sont des ordres de grandeur : la surcharge dépend du moteur utilisé et du contexte chargé. Le point décisif : c’est la mémoire de la machine hôte qui commande, pas la capacité de la clé. Une clé de 256 Go n’accélère rien si l’ordinateur n’a que 8 Go de RAM.
Préparer le support sans perdre une soirée
La méthode la plus fiable reste la suivante, à répéter pour chaque machine de destination :
- Choisis une clé ou un SSD externe rapide : vise l’USB 3.x au minimum. Les clés d’entrée de gamme font du 20 Mo/s en écriture continue : le chargement du modèle à chaque démarrage devient pénible.
- Formate en exFAT : compatible Windows, macOS et Linux, sans limite de taille de fichier. Un système en ext4 serait plus rapide sous Linux, mais bloquerait l’usage sous Windows.
- Récupère le dépôt du projet qui embarque le moteur d’inférence et l’interface : tu obtiens un dossier autonome, déplaçable d’une machine à l’autre.
- Lance le script d’installation, qui télécharge le moteur et, si tu le souhaites, un premier modèle.
- Débranche puis rebranche sur une autre machine pour valider le chemin relatif : c’est l’étape que tout le monde saute et qui cause 90 % des « ça ne marche plus ».
# 1. récupérer le kit (URL à prendre dans la doc du projet)
git clone https://github.com/exemple/local-ai-usb.git /media/usb/local-ai
cd /media/usb/local-ai
# 2. installer le moteur d'inférence
./install.sh # télécharge llama.cpp ou équivalent
# 3. télécharger un modèle quantifié 4 bits (~4,7 Go)
./download-model.sh instruct-7b Q4_K_M
# 4. lancer l'interface locale
./start.sh --model ./models/instruct-7b-Q4_K_M.gguf --ctx 4096Si tu préfères un chemin plus simple, des gestionnaires de modèles (Ollama, LM Studio et similaires) font la même chose avec une interface graphique : le principe du stockage externe reste applicable, mais tu dois alors vérifier où ils rangent réellement les poids — par défaut, souvent sur le disque interne.
Ce que tu gagnes vraiment — et ce que tu perds
Les avantages ne sont pas tous du même ordre. La confidentialité est le plus souvent invoquée, mais l’autonomie hors ligne et l’absence de quota sont souvent ceux qu’on apprécie le premier au quotidien : un avion, un train, un salon d’attente, un site sans réseau, un pays où certains services sont inaccessibles.
- Ce qui s’améliore : confidentialité totale, utilisation illimitée, aucun compte, aucun filtre réseau, coût marginal nul, résistance à la coupure de service.
- Ce qui se dégrade : qualité en dessous des grands modèles distants, vitesse liée au matériel, pas de mise à jour automatique, responsabilité entièrement assumée sur l’usage.
- Ce qui ne change pas : la nécessité de formuler une consigne claire, de vérifier les réponses, et de protéger les fichiers sensibles que tu entre dans le modèle.
Une erreur fréquente : croire que local signifie « sans règles ». Les modèles sous licence restrictive peuvent interdire un usage commercial, et aucun système local ne justifie de traiter des données dont tu n’as pas le droit d’exploiter. L’outil change, l’obligation de base ne bouge pas.
Mettre en production un usage sérieux
- Sépare les modèles par usage : un modèle rapide pour la reformulation, un modèle plus lourd pour l’analyse documentaire. Un seul modèle pour tout est la bonne recette de la lenteur.
- Attention à la mémoire partagée : deux applications de chat ouvertes simultanément partagent la RAM ; si l’ordinateur commence à swapper sur un disque mécanique, tout ralentit d’un coup.
- Débranche proprement : ferme l’application avant d’ôter le support. Une écriture interrompue pendant le chargement corrompt le fichier de poids.
- Garde un second stockage : les clés USB meurent sans prévenir. Une sauvegarde de tes prompts et de tes modèles préférés évite de tout retélécharger.
- Mets à jour délibérément : note la version du moteur et du modèle dans un fichier sur la clé ; une mise à jour à l’aveugle peut casser la compatibilité des fichiers de configuration.
Pour les documents que tu veux traiter hors ligne, complète ta chaîne avec des outils locaux de transformation du texte : le explicateur de regex et le formateur JSON tournent sans réseau et répondent au même besoin de contrôle.
Questions fréquentes
Une clé USB suffit-elle, ou faut-il un SSD externe ?
Tout dépend du volume et du rythme : pour un ou deux modèles consultés de temps en temps, une bonne clé USB 3.x suffit. Pour enchaîner les sessions ou dépasser une dizaine de gigaoctets de poids, le SSD externe change radicalement le confort.
Pourquoi mon modèle met-il une minute à répondre ?
Trois causes probables : modèle trop gros pour la RAM disponible (avec passage en mémoire virtuelle), support lent, ou contexte trop long. Commence par réduire la taille du modèle, c’est presque toujours le bon réglage.
Puis-je utiliser ce montage dans un avion ou à l’étranger ?
Oui, c’est exactement l’intérêt : une fois les poids sur le support, aucune connexion n’est nécessaire. Pense juste à l’alimentation : emmène un chargeur, l’inférence consomme beaucoup plus qu’une simple lecture de fichiers.
Est-ce légal ?
Exécuter un modèle open weight localement l’est, sous réserve de sa licence. Ce qui reste encadré, c’est l’origine des données que tu fournis et l’usage que tu fais des sorties (droit d’auteur, protection des données personnelles, contenus réglementés).
À retenir : l’IA locale sur support amovible n’est pas un gadget, c’est une posture — tu gardes la donnée, le coût et la continuité d’usage sous ta main. Réalise les compromis honnêtement (qualité, vitesse, maintenance), commence avec un modèle de 7 milliards quantifié, et étoffe ensuite. Pour d’autres approches de ce type, le hub Tech & IA regroupe les articles compatibles avec une utilisation hors ligne.
