Sommaire6
Faire tourner un modèle d’IA sur ses propres serveurs, c’est la garantie que les données traitées ne partent chez aucun fournisseur de modèles. C’est aussi un achat ou une location de matériel, et la première question qu’on nous pose est toujours la même : « il nous faut quoi, comme machine ? »
Ce guide de notre rubrique Infrastructure et cloud répond sans entrer dans la technique : la ressource qui décide de tout, les ordres de grandeur du matériel, quand louer plutôt qu’acheter, et comment dimensionner selon l’usage. Il ne prend parti pour aucun modèle : les familles de modèles ouverts (Mistral, Llama, Qwen, Gemma, DeepSeek et d’autres) se testent sur votre tâche, pas sur une réputation.
En bref
La mémoire de la carte graphique décide de ce qu’un serveur peut faire tourner, bien avant la puissance de calcul.
Comptez environ 2 Go par milliard de paramètres en précision standard ; la compression du modèle divise ce besoin par deux à quatre.
Les conversations longues et les utilisateurs simultanés ajoutent leur propre besoin de mémoire.
Une seule carte du marché va de 32 à 80 Go, et consomme de 350 à 700 W : l’électricité fait partie du coût.
Louer un serveur équipé permet de dimensionner sur un usage réel avant d’acheter.
La ressource qui décide de tout : la mémoire
Un modèle de langage est d’abord une très grande liste de nombres, ses paramètres. Pour répondre vite, il doit tenir entier dans la mémoire de la carte graphique. La documentation de Hugging Face, la plateforme de référence des modèles ouverts, en donne la règle de calcul : charger un modèle de X milliards de paramètres demande environ 2 × X Go de mémoire dans la précision où la plupart des modèles sont aujourd’hui entraînés.
Définition
La quantification
La compression d’un modèle qui stocke chaque paramètre avec moins de précision (8 ou 4 bits au lieu de 16). Elle divise la mémoire nécessaire, au prix d’une légère perte de qualité qu’il faut vérifier sur sa propre tâche.
Hugging Face l’a mesuré sur un modèle de programmation d’un peu plus de 15 milliards de paramètres :
Mémoire mesurée pour charger un modèle de 15 milliards de paramètres
Le même document prévient que la quantification ralentit souvent un peu les réponses et peut en changer certaines : elle se valide par un test sur vos propres cas, comme tout choix de modèle. Notre méthode pour évaluer un modèle d’IA avant la production s’applique telle quelle.
Ce qu’on oublie : la place des conversations
Le modèle n’est pas seul en mémoire. Pendant qu’il répond, il garde une trace de tout le texte en cours, et cette trace grossit avec la longueur du texte et avec le nombre de conversations menées en même temps. Toujours selon Hugging Face, pour le même modèle et un texte d’environ 16 000 tokens, cette trace occupe environ 15 Go, soit à peu près la moitié du modèle lui-même. Un assistant qui lit de longs documents pour dix personnes à la fois demande donc bien plus que le poids du modèle.
À retenir
On dimensionne un serveur d’IA sur trois nombres : la taille du modèle, la longueur des textes traités et le nombre d’utilisateurs simultanés. Les fiches techniques n’en donnent qu’un.
Les ordres de grandeur du matériel
Le marché se lit en trois étages, que les fiches du constructeur NVIDIA permettent de situer. D’autres constructeurs existent, mais ces trois cartes servent de repère :
de mémoire pour une carte grand public haut de gamme, la GeForce RTX 5090, pour 575 W
pour une carte de serveur comme la L40S, pour 350 W
pour une H100 au format serveur, jusqu’à 700 W
En croisant avec la règle de mémoire : un modèle de 70 milliards de paramètres demande environ 140 Go en précision standard, d’après le calcul de Hugging Face. Il ne tient sur aucune de ces cartes seule, mais tient sur plusieurs, ou sur une seule une fois fortement quantifié. Un modèle de 7 à 15 milliards de paramètres, quantifié, tient sur une carte grand public, avec de la marge pour les conversations.
Sans carte graphique, des outils comme Ollama, que nous utilisons, savent aussi charger un modèle entièrement en mémoire vive et le faire tourner sur le processeur, plus lentement. Cela suffit pour des tâches courtes et peu fréquentes, pas pour un assistant utilisé par toute une équipe.
Attention
L’électricité fait partie de la facture
Une carte à 700 W qui tourne jour et nuit consomme à elle seule environ 6 100 kWh par an (700 W × 8 760 heures), sans compter le reste du serveur ni la climatisation de la salle. Dans un bureau, c’est aussi de la chaleur et du bruit. Notre article sur la consommation d’énergie de l’IA remet ces ordres de grandeur en perspective.
Acheter, louer ou rester sur une API
Le matériel n’est qu’une des façons de garder la maîtrise des données. Notre article sur les quatre niveaux d’IA privée les compare, de l’API du marché encadrée par contrat jusqu’au serveur chez vous. Pour ceux qui ont choisi un modèle ouvert sur une machine dédiée, la question devient : acheter ou louer.
Acheter le serveur
Coût connu d’avance, amorti sur plusieurs années
Les données ne quittent pas vos murs
Électricité, refroidissement, pannes et renouvellement à votre charge
Le matériel vieillit vite face aux nouveaux modèles
Louer un serveur équipé
Démarrage en quelques jours, sans investissement
Hébergeur européen possible, au nom de l’entreprise
Changement de carte quand le besoin évolue
Coût mensuel qui continue tant que le serveur tourne
La location a un avantage décisif au début : elle permet de mesurer l’usage réel (nombre de requêtes, longueur des textes, utilisateurs simultanés) avant d’engager un achat. Notre comparatif serveur dédié, VPS ou cloud détaille les formules, et les cinq postes qui gonflent une facture cloud aident à lire une offre de location.
Dimensionner selon l’usage, pas selon la fiche technique
- Partez de la tâche.
Tri de demandes, résumé de documents, assistant de rédaction : la qualité attendue n’est pas la même.
- Testez le plus petit modèle qui passe vos cas réels
Quantifié ou non. Un modèle plus gros n’est utile que s’il réussit des cas que le petit rate.
- Calculez la mémoire
Le modèle, plus la place des textes les plus longs, multipliée par le nombre d’utilisateurs simultanés.
- Gardez une marge
Puis louez la configuration le temps de mesurer avant d’acheter quoi que ce soit.
Sur le terrain
Nous faisons tourner Ollama en production sur notre propre serveur, celui qui héberge aussi notre CRM et nos automatisations, pour les tâches où les données ne doivent pas sortir et pour des tâches de tri à faible enjeu. Le coût de chaque appel supplémentaire y est quasi nul ; en échange, la qualité est celle d’un modèle que ce serveur peut faire tourner, et les mises à jour sont pour nous. Nous ne codons jamais un nom de modèle en dur : une table de routage dit quel modèle sert quelle tâche, et se révise quand un meilleur modèle sort.
Ce que le matériel ne règle pas
Un serveur d’IA reste un serveur : il se met à jour, se surveille, se sauvegarde et se protège comme les autres. Les modèles ouverts évoluent vite, et une configuration achetée pour un modèle peut se retrouver trop juste pour son successeur. Le matériel ne remplace pas non plus les personnes qui définissent les tâches, relisent les résultats et décident de ce qui peut être automatisé.
Un modèle local fait partie du socle d’infrastructure commun à vos projets, au même titre que la supervision et les accès. Le reste de la rubrique couvre les décisions voisines : Kubernetes et les PME, la supervision, le plan de reprise après sinistre, NIS2 en France, les sauvegardes d’un serveur à soi, n8n auto-hébergé en production, les outils à sortir du SaaS en premier, le coût d’une sortie du SaaS sur trois ans, la migration cloud sans tout casser, la dépendance au cloud américain, le gestionnaire de mots de passe d’équipe, les clés d’API volées, Postgres géré ou à soi et le choix d’une messagerie d’entreprise.
Pour installer un modèle à côté de vos autres outils auto-hébergés, voyez notre offre de sortie du SaaS ; pour décider, tâche par tâche, ce qui tourne chez vous et ce qui passe par une API, l’IA au juste coût.
Questions fréquentes
Combien de mémoire faut-il pour un modèle de 8 milliards de paramètres ?
Selon la règle de Hugging Face, environ 16 Go en précision standard, autour de 8 Go quantifié sur 8 bits et moins encore sur 4 bits. Ajoutez la place des conversations en cours, qui grandit avec la longueur des textes et le nombre d’utilisateurs simultanés. Une carte de 24 à 32 Go laisse une marge confortable pour un usage d’équipe modéré.
Peut-on faire tourner ChatGPT ou Claude sur ses propres serveurs ?
Non. Ces modèles ne sont pas distribués : ils ne s’utilisent que par leur fournisseur, directement ou via un cloud partenaire. Sur vos serveurs tournent des modèles ouverts, dont les paramètres sont publiés. Leur qualité varie selon la tâche : un test sur vos propres cas dit s’ils suffisent.
Un modèle local est-il moins bon qu’un modèle du marché ?
Sur certaines tâches, oui, parce qu’un modèle qui tient sur un serveur d’entreprise est plus petit que les plus grands modèles commerciaux. Sur des tâches ciblées (tri, extraction, résumé de documents internes), un modèle ouvert bien choisi peut suffire. Le bon réflexe est de comparer les deux sur un échantillon de vos cas réels avant de trancher.
Faut-il une carte graphique pour faire tourner un modèle ?
Pas forcément pour un petit modèle et un usage occasionnel : il peut tourner sur le processeur, plus lentement. Dès qu’une équipe s’en sert au quotidien, ou que les textes sont longs, une carte graphique avec assez de mémoire devient nécessaire pour des temps de réponse acceptables.
Sources
- Hugging Face, Optimizing LLMs for Speed and Memory (nouvel onglet)huggingface.co
- NVIDIA, GeForce RTX 5090, caractéristiques (nouvel onglet)nvidia.com
- NVIDIA, L40S, caractéristiques (nouvel onglet)nvidia.com
- NVIDIA, H100, caractéristiques (nouvel onglet)nvidia.com
- Ollama, FAQ (nouvel onglet)docs.ollama.com
Jim · fondateur de Brain Plus AI
À lire aussi en infrastructure et cloud
Choisir et chiffrer10 min
IA privée en entreprise : les quatre niveaux de maîtrise
Une IA « privée » n'est pas un produit, c'est un degré de maîtrise sur vos données. Nous distinguons quatre niveaux, de l'API utilisée telle quelle au modèle installé dans vos locaux, et une façon simple de choisir tâche par tâche.
Choisir et chiffrer9 min
Serveur dédié, VPS ou cloud : choisir selon l'usage
Serveur dédié, VPS ou cloud : aucun n'est le bon choix pour tout. Ce qui les distingue vraiment, les quatre questions qui tranchent pour chaque usage, et pourquoi la plupart des entreprises finissent par combiner les trois.
Comprendre10 min
Coût du cloud : les cinq postes qui gonflent la facture
Une facture cloud ne gonfle presque jamais d'un coup : elle grossit par des postes que personne ne regarde. Les cinq qui pèsent le plus, ce qui les rend invisibles, et la routine qui les garde sous contrôle sans freiner les projets.