Un RAG qui marche : pourquoi tant d'assistants documentaires répondent faux (et comment éviter le piège)

Le scénario se répète dans beaucoup d'entreprises. La démonstration était bluffante : on pose une question, l'assistant répond en citant le bon document. Trois mois plus tard, en production, le même outil affirme qu'un contrat prévoit 60 jours de garantie quand il en prévoit 30, ressort une procédure abrogée depuis deux ans, ou répond avec assurance à une question dont la réponse ne figure nulle part. Les équipes cessent de s'en servir — et l'entreprise rejoint la longue liste des projets d'IA documentaire abandonnés.

Le plus frustrant, c'est que la technologie n'est pas en cause. Le RAG — cette approche où l'IA cherche d'abord dans vos documents avant de répondre (on l'a expliquée en détail ici) — fonctionne remarquablement bien quand il est construit sérieusement. Ce qui échoue, ce n'est presque jamais « l'IA » : ce sont cinq maillons précis de la chaîne, toujours les mêmes. Les voici, sans jargon.

Cause n° 1 : des documents en désordre — le « garbage in, garbage out »

Un RAG répond à partir de ce qu'on lui donne. Si votre base contient trois versions du même contrat sans que rien n'indique laquelle fait foi, des procédures obsolètes jamais archivées et des doublons à moitié contradictoires, l'assistant piochera — avec la même assurance — dans la mauvaise version.

C'est la cause d'échec la plus fréquente et la moins spectaculaire : le problème n'est pas dans l'IA, il est dans l'armoire. Un projet sérieux commence donc toujours par un tri : quelles sources font référence, lesquelles sont à exclure, qui met à jour quoi. Pas besoin de tout ranger — il faut surtout décider ce qui a autorité.

Cause n° 2 : un mauvais découpage des documents

Détail technique aux conséquences énormes : l'IA ne lit pas vos documents en entier, elle cherche dans des extraits. La façon de découper les documents en extraits détermine ce qu'elle peut retrouver.

Découpez un contrat au milieu d'une clause, et l'assistant retrouvera la première moitié de la règle sans l'exception qui la suit trois lignes plus loin. Découpez un tableau de tarifs ligne à ligne, et il citera un prix sans savoir à quel produit il s'applique. Un bon découpage respecte la structure réelle de vos documents — clauses entières, tableaux complets, sections avec leur titre — et c'est un travail d'artisan, différent pour des contrats, des fiches techniques ou des e-mails.

Cause n° 3 : le vocabulaire de vos équipes n'est pas celui de vos documents

Vos équipes cherchent « le doc sur les pénalités de retard » ; le document parle de « clauses moratoires ». Elles demandent « la procédure machine en panne » ; la fiche s'intitule « mode dégradé ligne 3 ». Si le système cherche mot à mot, il ne trouve rien — et un RAG qui ne trouve rien invente ou répond à côté.

Les bons systèmes traitent ce fossé : ils comprennent les synonymes métier, reformulent la question, cherchent de plusieurs façons en parallèle. C'est là qu'un prestataire qui prend le temps de comprendre votre vocabulaire métier fait toute la différence avec un outil générique branché en une semaine.

Cause n° 4 : aucune source, aucune porte de sortie

Deux comportements devraient être non négociables pour tout assistant documentaire :

• Citer sa source. Chaque réponse doit pointer vers le passage exact du document d'origine, vérifiable en un clic. Sans cela, impossible de faire confiance — et vos équipes auront raison de ne pas le faire.
• Savoir dire « je ne sais pas ». Si la réponse ne figure pas dans les documents, l'assistant doit le dire, plutôt que de produire une réponse plausible et fausse. C'est une consigne qui se conçoit dès le départ — pas une rustine qu'on ajoute après le premier incident.

Un assistant qui répond toujours, sans jamais citer ni douter, n'est pas un assistant : c'est un générateur de risques juridiques.

Cause n° 5 : personne n'a mesuré la fiabilité avant de déployer

La différence entre une démo et un système de production tient en un mot : l'évaluation. Avant de mettre l'outil entre les mains des équipes, un projet sérieux constitue un jeu de questions réelles — les vraies questions que posent vos collaborateurs, avec les bonnes réponses attendues — et mesure : combien de réponses justes ? Combien de sources correctes ? Combien de « je ne sais pas » légitimes ?

Sans cette mesure, on déploie à l'aveugle et on découvre les erreurs en production, sur de vraies décisions. Avec elle, chaque amélioration est vérifiée avant d'arriver aux utilisateurs. C'est exactement ainsi que nous validons nos propres assistants — y compris Ingéni, l'agent de ce site, qui passe une batterie de tests à chaque modification.

À quoi ressemble un RAG qui marche

Résumons en positif. Un assistant documentaire digne de confiance :

• répond avec la source exacte, vérifiable d'un clic ;
• dit « je ne sais pas » quand l'information n'existe pas dans la base ;
• respecte vos droits d'accès (ce qui est réservé à la direction le reste) ;
• comprend votre vocabulaire métier, pas seulement celui des documents ;
• a été mesuré sur vos vraies questions avant le déploiement, avec des chiffres ;
• et s'améliore en continu, parce que quelqu'un regarde les questions restées sans réponse.

Rien de tout cela n'est exotique. C'est simplement du travail bien fait — et c'est ce qui sépare les 20 % de projets qui transforment le quotidien des équipes des 80 % qui finissent au placard.

Les 6 questions à poser avant de signer

Si vous consultez un prestataire (nous compris), voici les questions qui révèlent le sérieux d'une démarche :

1. « Comment traitez-vous mes documents en doublon ou obsolètes ? » — s'il n'a pas de réponse, le projet commencera mal.
2. « L'assistant citera-t-il ses sources, passage par passage ? » — la seule réponse acceptable est oui.
3. « Que répond-il quand l'information n'existe pas ? » — la bonne réponse : il le dit.
4. « Comment mesurez-vous la fiabilité avant le déploiement ? » — attendez des chiffres, pas des promesses.
5. « Comment gérez-vous les droits d'accès ? » — vos documents confidentiels doivent le rester.
6. « Où sont hébergées mes données ? » — en France ou en Europe si vos exigences l'imposent, et jamais réutilisées pour entraîner des modèles tiers.

Un prestataire sérieux répondra précisément à chacune. Un vendeur de démo changera de sujet.

Combien de temps, combien d'effort ?

Bonne nouvelle : bien mené, un premier périmètre utile ne prend pas des mois. La démarche raisonnable consiste à démarrer sur un corpus limité et à forte valeur — vos contrats, ou votre documentation technique, pas « tous les documents de l'entreprise » — à le fiabiliser, le mesurer, le mettre entre les mains d'un petit groupe, puis à élargir. Quelques semaines pour un premier périmètre qui marche vraiment valent mieux qu'un chantier pharaonique qui déçoit tout le monde.

C'est l'approche que nous appliquons dans notre recherche intelligente dans vos documents : un périmètre précis, des réponses sourcées, une fiabilité mesurée — puis on élargit.

En résumé

Quand un assistant documentaire répond faux, la cause est rarement mystérieuse : documents en désordre, découpage négligé, vocabulaire ignoré, absence de sources, fiabilité jamais mesurée. Cinq maillons, tous maîtrisables — à condition de les traiter comme un vrai projet, pas comme un branchement magique.

Si vous avez déjà un assistant qui déçoit, ou des années de documents qui dorment, le plus simple est d'en parler : notre audit gratuit examine votre base documentaire, identifie le périmètre le plus rentable et vous dit honnêtement ce qu'un RAG bien fait peut en tirer — et ce qu'il ne pourra pas faire. Parlons-en.