RAG en entreprise : une IA qui répond avec vos documents

Vos procédures, vos contrats et vos dossiers contiennent des réponses que personne ne retrouve, et les mêmes questions finissent chez les mêmes collègues. Le RAG en entreprise promet de rendre ce savoir accessible en une question : un assistant qui lit vos documents et cite ses sources. Le principe tient en quelques lignes, sa mise en production demande plus de soin. Cet article de notre rubrique IA d’entreprise, privée et au juste coût explique comment un RAG fonctionne, quand il est utile, pourquoi il répond parfois à côté, et ce qu’il faut régler avant de l’ouvrir à l’équipe.

En bref

• En dessous d’environ 500 pages (ordre de grandeur donné par Anthropic en 2024), vos documents peuvent tenir entiers dans la consigne du modèle : à essayer avant de construire un RAG.
• Le fine-tuning modifie le modèle lui-même et demande d’importantes ressources de calcul ; le RAG laisse le modèle intact et rend ses réponses plus traçables.
• Quand la recherche ramène le mauvais passage, le modèle répond à côté : un passage coupé de son contexte ou une référence exacte manquée suffisent.
• Avant l’ouverture, quatre réglages : les droits d’accès, la mise à jour de l’index, la source affichée, et des réponses testées.

Comment fonctionne un RAG ?

RAG est l’abréviation anglaise de « génération augmentée de récupération » (Retrieval Augmented Generation). La CNIL, dans ses questions-réponses sur l’IA générative, la décrit comme l’intégration d’un « mécanisme de recherche d’informations dans une base de données vectorisée », qui donne des réponses « potentiellement plus spécifiques et plus faciles à actualiser que le modèle lui-même ». Anthropic détaille les étapes dans un article de septembre 2024 :

1. Les documents sont découpés en passages courts, en général de quelques centaines de tokens au plus.
2. Un modèle dit d’« embedding » transforme chaque passage en vecteur, une empreinte numérique de son sens.
3. Ces vecteurs sont rangés dans une base vectorielle, capable de retrouver les passages proches par le sens.
4. À chaque question, le système retrouve les passages les plus pertinents et les ajoute à la consigne envoyée au modèle, qui rédige la réponse.

Le modèle n’apprend rien de vos documents : il lit, à chaque question, les extraits qu’on lui transmet. C’est ce qui permet d’afficher la source d’une réponse, et c’est aussi la limite du système : si la recherche ramène le mauvais passage, le modèle répond à partir du mauvais passage. La CNIL ajoute que la méthode demande « davantage de ressources et de compétences » qu’un modèle utilisé tel quel, mais qu’elle se montre « plus facile à adapter » et offre « davantage de traçabilité ».

Avez-vous vraiment besoin d’un RAG ?

Pas toujours. Dans le même article, Anthropic indique qu’une base de connaissances de moins de 200 000 tokens, soit environ 500 pages, peut être placée entière dans la consigne du modèle, sans RAG. « Parfois, la solution la plus simple est la meilleure », écrit l’éditeur, qui ajoutait que la mise en cache des consignes divisait alors le délai de réponse par plus de deux et réduisait le coût jusqu’à 90 %. Ces chiffres datent de septembre 2024 et des modèles de l’époque : ils donnent un ordre de grandeur, à revérifier sur les modèles que vous utilisez.

Cette version simple a son prix : chaque question renvoie toute la base au modèle, et la facture se compte en tokens. Pour les bases qui ne tiennent pas dans la fenêtre du modèle, le RAG est la solution habituelle, note encore Anthropic. Le bon ordre consiste donc à essayer la version simple sur vos documents, puis à construire un RAG si le volume, le coût ou le délai l’imposent.

RAG ou fine-tuning : que choisir pour vos documents ?

Le fine-tuning, ou affinage, consiste selon la CNIL à « modifier les paramètres (poids) d’un modèle tout en conservant son architecture principale ». Il améliore ses performances « dans un domaine donné ou pour des requêtes spécifiques », mais « requiert des ressources importantes, notamment en termes de capacités de calcul ». La CNIL présente les deux méthodes comme des options pour améliorer un système, l’une et/ou l’autre.

La dernière ligne vient de la CNIL et compte pour une PME : affiner un modèle avec ses propres données peut faire de vous un fournisseur au sens du règlement européen sur l’IA, pour ce qui concerne cet affinage. Pour faire répondre une IA à partir de documents qui changent, avec une source vérifiable, le RAG est donc le point de départ ; le fine-tuning vise autre chose, de meilleures performances dans un domaine ou sur des requêtes précises.

Pourquoi un RAG répond-il parfois à côté ?

Anthropic résume le problème : les RAG classiques retirent le contexte des passages quand ils les encodent, ce qui les empêche souvent de retrouver la bonne information. Trois causes se repèrent.

Un passage coupé de son contexte. Dans l’exemple d’Anthropic, l’extrait d’un rapport financier dit « le chiffre d’affaires de la société a progressé de 3 % par rapport au trimestre précédent », sans nommer ni la société ni le trimestre. Isolé, il devient difficile à retrouver comme à exploiter. Dans vos documents, ce peut être l’article d’un contrat qui dit « le délai est porté à trente jours » sans rappeler de quel contrat il s’agit.

Une référence exacte que la recherche par le sens ne voit pas. Les embeddings saisissent le sens, mais ils peuvent rater une correspondance exacte : à la question « code d’erreur TS-999 », la recherche par le sens peut ramener des passages sur les codes d’erreur en général sans trouver celui-là. Une recherche par mots-clés (la méthode BM25) le retrouve, et les deux se combinent. Les numéros de contrat et les références produit sont dans le même cas.

Un découpage mal réglé. La taille des passages, l’endroit où on les coupe et leur chevauchement influent sur la recherche. Le nombre de passages transmis aussi : Anthropic en a testé 5, 10 et 20, a obtenu les meilleurs résultats avec 20 parmi ces options, et conseille d’essayer sur son propre cas ; trop d’information peut aussi distraire le modèle.

Pour réduire ces échecs, Anthropic ajoute à chaque passage, avant l’indexation, quelques phrases de contexte rédigées par un modèle (50 à 100 tokens). Sur ses propres jeux de tests (du code, de la fiction, des articles scientifiques), le taux d’échec de la recherche parmi les vingt premiers passages est passé de 5,7 % à 3,7 %, puis à 2,9 % avec la recherche par mots-clés, et à 1,9 % avec une étape de reclassement des passages. Ce sont des mesures de l’éditeur sur ses données, en 2024 : un ordre de grandeur, pas une promesse pour vos documents. Le même article le rappelle, il faut toujours mesurer : notre méthode pour évaluer un modèle d’IA avant la mise en production s’applique aussi à un RAG.

Que régler avant d’ouvrir l’assistant à l’équipe ?

Un RAG en production pose aussi des questions d’organisation, que le modèle ne règle pas.

1. Les droits d’accès. L’assistant ne doit retrouver, pour chaque personne, que les documents qu’elle a le droit de lire. Un index unique qui mêle contrats commerciaux et dossiers du personnel répond à tout le monde avec tout : la question d’un stagiaire peut faire remonter l’extrait d’un dossier RH. Les droits se filtrent dans la recherche, avant que le modèle ne voie quoi que ce soit. Les organiser service par service, en gardant des bases communes à toute l’entreprise, est l’objet de notre guide de la gouvernance de l’IA en entreprise.
2. La mise à jour de l’index. Un document modifié ou retiré doit l’être aussi dans la base vectorielle, sinon l’assistant cite avec assurance une procédure périmée. Décidez qui met à jour, et à quel rythme.
3. La source affichée et le « je ne sais pas ». La CNIL recommande de privilégier les systèmes « limitant les hallucinations, en citant leurs sources, en filtrant les sorties ». Chaque réponse doit montrer le passage sur lequel elle s’appuie, et l’assistant doit dire qu’il ne sait pas quand aucun passage ne répond.
4. Les tests et le suivi. Une série de questions réelles avec leurs réponses attendues se joue avant l’ouverture, puis à chaque changement de modèle, de consigne ou de documents. Après l’ouverture, la CNIL recommande de « recueillir régulièrement l’avis des utilisateurs finaux sur l’utilité et les limites du système » ; les questions restées sans réponse peuvent signaler un document qui manque.

Où vont vos documents quand l’assistant répond ?

À chaque question, les extraits retrouvés partent là où tourne le modèle, et l’index contient vos documents découpés. Le niveau de maîtrise se choisit donc selon les documents interrogés : notre comparatif des quatre niveaux de maîtrise d’une IA privée détaille les options, de l’API au serveur installé dans vos locaux. Pour des données personnelles ou une documentation sensible, la CNIL écrit qu’« il semble généralement plus opportun et plus sécurisé » de privilégier un déploiement sur site, tout en notant que son coût rend souvent plus aisé un hébergement distant, encadré par un contrat de sous-traitance. Chez nous, Ollama sert un modèle auto-hébergé, en production sur notre propre serveur, pour les tâches dont les données ne doivent pas sortir.

Par où commencer

Partez d’un seul ensemble de documents bien délimité, par exemple les procédures d’une équipe, et des questions qui reviennent vraiment. Vérifiez d’abord si tout tient dans la consigne d’un modèle ; sinon, construisez le RAG sur un premier lot, testez ses réponses, puis ouvrez-le à un petit groupe avant toute l’équipe.

Si vous voulez un assistant qui retrouve la réponse dans vos procédures et vos contrats, cite sa source et dit quand il ne sait pas, notre offre d’assistant IA sur vos documents le construit en trois semaines : accès réglés par équipe, réponses testées avant l’ouverture, et option auto-hébergée incluse, pour que tout tourne sur votre serveur ou le nôtre, en Europe.

Une fois l’assistant en service, sa facture se pilote comme le reste : notre offre d’IA au juste coût confie chaque tâche au modèle qui suffit, avec un budget et des plafonds par usage.

Questions fréquentes

RAG ou fine-tuning : lequel choisir pour exploiter les documents de l’entreprise ?

Pour faire répondre une IA à partir de documents qui changent, avec une source vérifiable, commencez par le RAG : la CNIL le décrit comme plus facile à actualiser que le modèle lui-même et plus traçable. Le fine-tuning modifie les paramètres du modèle pour l’améliorer dans un domaine ou sur des requêtes précises, et demande d’importantes capacités de calcul. Les deux méthodes peuvent se combiner.

Un RAG peut-il inventer une réponse ?

Oui. Le modèle rédige sa réponse à partir des extraits retrouvés : si la recherche ramène un mauvais passage, ou aucun, il peut produire une réponse plausible mais fausse. La CNIL rappelle qu’un modèle génératif n’est pas une base de connaissances. Les parades : afficher la source de chaque réponse, lui demander de répondre « je ne sais pas » faute de passage pertinent, le tester sur des questions réelles, et faire vérifier par un humain avant toute décision.

Faut-il une base vectorielle, et laquelle ?

Pas forcément : si vos documents tiennent dans la consigne du modèle, environ 500 pages selon Anthropic en 2024, vous pouvez vous passer de RAG, donc de base vectorielle. Au-delà, elle range les passages et retrouve ceux qui sont proches par le sens ; combinez-la avec une recherche par mots-clés pour les références exactes. Pour la choisir, regardez d’abord où elle tourne : elle contient vos documents découpés.

Peut-on faire tourner un RAG sans envoyer ses documents à un fournisseur d’IA ?

Oui : le modèle, la base vectorielle et le calcul des embeddings peuvent tous tourner sur un serveur que vous maîtrisez, dans vos locaux ou chez un hébergeur lié par contrat. Pour des documents sensibles, la CNIL écrit qu’il « semble généralement plus opportun et plus sécurisé » de privilégier un déploiement sur site, en notant que son coût rend souvent plus aisé un hébergement distant. Nous faisons tourner nous-mêmes un modèle auto-hébergé, en production, pour ces cas-là.