Évaluer un modèle d'IA avant de le mettre en production

Chaque modèle d’IA qui sort arrive avec ses scores sur des classements publics. Aucun de ces scores ne dit s’il triera bien vos emails ou s’il résumera fidèlement vos comptes rendus. Évaluer un modèle d’IA avant de le mettre en production, c’est répondre à cette question-là, sur vos propres tâches, avant que vos clients ne le fassent à vos dépens. Ce guide de notre rubrique IA d’entreprise, privée et au juste coût donne la méthode en six étapes, puis ses limites.

En bref

• Les critères de réussite s’écrivent avant le premier test, chiffrés, avec un plafond de coût et de délai.
• Une vingtaine de vrais exemples, cas difficiles compris, donne un premier verdict ; davantage le rend plus solide.
• Le code note ce qui se vérifie, un juge IA ce qui demande du jugement, un humain relit un échantillon.
• Le modèle retenu est le moins cher qui tient tous les critères, temps de correction compris.
• Le test se rejoue à chaque changement de modèle ou de consigne ; chez Anthropic par exemple, les anciens modèles sont retirés régulièrement.

Pourquoi un classement public ne suffit pas

Un classement public mesure un modèle sur les questions de quelqu’un d’autre. Votre usage a son vocabulaire, ses formats de documents et ses cas limites. La CNIL, dans ses questions-réponses sur l’IA générative, recommande de « partir de besoins concrets pour choisir le système le plus adapté » et, si nécessaire, de « conduire ou commander une évaluation sur mesure pour l’usage envisagé ». Le guide d’Anthropic sur les tests dit la même chose du côté de l’éditeur : un test doit reproduire la répartition réelle de vos tâches, sans oublier les cas limites.

Le niveau d’exigence dépend ensuite de l’usage. La CNIL distingue l’aide à la rédaction proposée aux salariés, qui présente moins de risques, d’un système qui aide à décider à l’égard de clients ou de candidats, qui appelle « un plus haut niveau d’exigence ». Un tri d’emails internes et une présélection de candidatures ne se testent donc pas avec la même rigueur.

Comment évaluer un modèle d’IA en six étapes

La méthode vaut tâche par tâche : un même modèle peut réussir un résumé et rater une extraction de montants.

1. Écrire les critères de réussite avant le premier test

Un critère se mesure. « Bien classer les emails » ne se vérifie pas ; « classer correctement au moins 95 % des emails de test », par exemple, se vérifie. Le guide d’Anthropic demande des critères précis, mesurables, atteignables et pertinents pour l’usage, et rappelle que la plupart des usages en combinent plusieurs : par exemple la fidélité à la tâche, la constance des réponses, le ton, la confidentialité, le délai et le prix.

Distinguez aussi les erreurs gênantes des erreurs graves : dans l’exemple d’Anthropic, 90 % des erreurs doivent rester de simples désagréments. Un email mal rangé se rattrape, une réponse fausse envoyée à un client beaucoup moins. Ajoutez les points que la CNIL demande de vérifier : sécurité, pertinence pour votre besoin, robustesse, absence de biais et licence d’utilisation.

2. Réunir de vrais exemples, cas difficiles compris

Les exemples viennent de votre activité : de vrais emails et de vrais documents, dans les proportions où ils arrivent. Notre banc d’essai part de 20 à 30 échantillons réels : assez pour un premier verdict, pas pour une certitude. Le guide d’Anthropic préfère d’ailleurs beaucoup de questions notées automatiquement à quelques-unes notées à la main.

N’oubliez pas les cas difficiles. Anthropic en cite quatre familles : une entrée vide ou hors sujet, une entrée trop longue, une demande mal formulée ou nuisible, et les cas ambigus sur lesquels même des humains auraient du mal à s’accorder. Mettez enfin une partie des exemples de côté, sans jamais vous en servir pour régler la consigne : c’est sur eux que se lit le vrai score.

Si ces exemples contiennent des données personnelles, anonymisez-les, ou testez au même niveau de maîtrise que la production : un test envoie vos données au fournisseur exactement comme l’usage réel. Notre comparatif des quatre niveaux de maîtrise d’une IA privée aide à choisir ce niveau.

3. Comparer trois à cinq modèles, dont un petit

Testez plusieurs candidats sur les mêmes exemples, avec la même consigne de départ : le modèle que vous utilisez déjà, qui sert de référence, un modèle plus petit et moins cher, et, si vos données sont sensibles, un modèle à poids ouverts que vous pourriez héberger vous-même. Notre banc d’essai en compare 3 à 5. Ajustez ensuite la consigne de chacun sur les exemples de travail, jamais sur ceux mis de côté : un modèle mal guidé peut perdre un comparatif qu’il aurait gagné.

4. Noter les réponses : le code d’abord, un juge IA ensuite, un humain pour contrôler

Anthropic conseille de choisir, pour chaque critère, la méthode de notation la plus rapide, la plus fiable et celle qui passe le mieux à l’échelle. Il y en a trois :

• Le code, quand la bonne réponse est connue : une catégorie, un montant, un champ extrait. C’est la méthode la plus rapide et la plus fiable, mais elle ne sait pas juger une nuance.
• Un juge IA, c’est-à-dire un second modèle qui note les réponses selon une grille écrite : le ton, la pertinence, la fidélité d’un résumé. Anthropic recommande une grille détaillée, une note simple (« correct » ou « incorrect », ou de 1 à 5), un juge qui raisonne avant de noter et, en général, un autre modèle que celui qui a répondu. Sa fiabilité se vérifie avant de s’y fier.
• L’humain, le plus souple et le plus fin, mais lent et coûteux : Anthropic conseille de l’éviter quand c’est possible.

Un juge IA a ses biais. L’étude de Zheng et de ses coauteurs, présentée à NeurIPS en 2023, montre qu’il se laisse influencer par l’ordre des réponses, par leur longueur et par sa préférence pour ses propres réponses, et que son raisonnement reste limité. Elle mesure aussi qu’un juge solide (GPT-4 à l’époque) s’accorde avec les préférences humaines dans plus de 80 % des cas, autant que des humains entre eux.

Notre banc d’essai juge la qualité en deux temps : un juge IA, puis une relecture humaine. Le juge peut être un modèle haut de gamme : il coûte cher à l’appel, mais il ne lit que l’échantillon.

5. Calculer le coût d’une réponse utilisable, puis choisir

Le prix au token ne suffit pas à départager deux modèles. Ce qui compte, c’est le coût d’une réponse utilisable : les tokens d’entrée et de sortie, les nouvelles tentatives quand une réponse est inexploitable, et le temps qu’un humain passe à corriger. Un modèle deux fois moins cher qui exige une correction sur trois réponses peut revenir plus cher au total. Mesurez aussi le délai de réponse, décisif pour un assistant en direct, secondaire pour un traitement de nuit. Le calcul en tokens est détaillé dans notre guide sur le coût de l’IA en entreprise.

Retenez le modèle le moins cher qui tient tous les critères de l’étape 1, et inscrivez-le dans votre table de routage avec la date du test et la raison du choix : vous saurez plus tard pourquoi il a été retenu.

6. Rejouer le test à chaque changement

Un modèle retenu ne le reste pas indéfiniment. D’après la page d’Anthropic sur le retrait de ses modèles, l’éditeur retire régulièrement ses anciens modèles, prévient au moins 60 jours à l’avance pour un modèle public, et les requêtes vers un modèle retiré échouent. Le 30 septembre 2026, il a ainsi annoncé le retrait de Claude Sonnet 4.5 pour le 30 novembre 2026, avec Claude Sonnet 5.5 comme remplaçant, et il conseille de tester ses applications avec le remplaçant bien avant la date. Ces dates valent pour les plateformes qu’il exploite : Amazon Bedrock et Google Cloud fixent leur propre calendrier.

Un remplaçant ne se branche pas les yeux fermés : selon la même page, sur les modèles Claude à partir de la version 4.7, une température réglée sur une autre valeur que celle par défaut renvoie une erreur.

Rejouez donc le test au changement de modèle, mais aussi à chaque modification de la consigne. Conservez le jeu de test chez vous, avec les critères et les résultats : c’est lui qui permet de comparer un remplaçant, ou un autre fournisseur, sans repartir de zéro.

Ce qu’une évaluation ne vous dit pas

Une évaluation juge un échantillon, pas tout ce que le modèle produira : c’est la limite que nous écrivons pour notre propre banc d’essai. La CNIL rappelle pourquoi elle compte : un modèle génératif n’est pas une base de connaissances, il obéit à une logique probabiliste et peut produire des résultats inexacts « qui peuvent, pourtant, paraître plausibles ». Une « confiance excessive » sans vérification appropriée peut conduire à des décisions erronées.

Nous l’avons appris sur un site que nous opérons pour un client : un modèle y a publié trois projets immobiliers qui n’existaient pas, que nous avons dû retirer. Depuis, nos contenus générés passent par un contrôle outillé des faits, des sources et des entités citées, et la relecture humaine avant publication est chez nous une règle non négociable.

La production prolonge donc le test. Notre propre agent de saisie de dépenses tourne sur Telegram en production depuis juillet 2026 : il lit la photo d’un ticket et en extrait les informations, puis un humain valide avant l’écriture dans le système comptable. La CNIL recommande la même prudence : ne jamais reproduire telles quelles les sorties d’un système d’IA, alerter les utilisateurs sur le « biais d’automatisation », et recueillir régulièrement leur avis sur l’utilité et les limites du système.

Par où commencer

Choisissez l’usage qui coûte le plus ou qui présente le plus de risque. Écrivez trois critères chiffrés, réunissez une vingtaine de vrais exemples avec leurs cas difficiles, et comparez votre modèle actuel à un modèle plus petit. Cette méthode est issue du choix de modèle de la chaîne de traduction que nous opérons pour Palmora, un portail immobilier que nous accompagnons, où le changement de fournisseur a divisé le coût par 60.

Pour obtenir ce verdict sur vos propres contenus, notre offre IA au juste coût comprend ce banc d’essai : 20 à 30 échantillons, 3 à 5 modèles comparés, un verdict chiffré par tâche, et la table, datée et expliquée, qui dit quel modèle pour quelle tâche.

Questions fréquentes

Combien d’exemples faut-il pour tester un modèle d’IA ?

Assez pour couvrir vos cas réels, y compris les difficiles. Notre banc d’essai part de 20 à 30 échantillons réels, ce qui donne un premier verdict, pas une garantie de taux d’erreur. Le guide d’Anthropic recommande de privilégier le volume : beaucoup de questions notées automatiquement valent mieux que quelques-unes notées à la main. Plus l’usage est sensible, plus l’échantillon doit grandir, et plus la relecture humaine compte.

Comment savoir si un modèle moins cher suffit ?

En le faisant passer par le même test que le modèle actuel : mêmes exemples, mêmes critères, même notation. S’il tient tous les critères, il suffit pour cette tâche. S’il n’échoue que sur une catégorie de cas, confiez-lui le reste et réservez le modèle plus cher à cette catégorie. Comparez le coût d’une réponse utilisable, temps de correction compris, et pas seulement le prix au token.

Un modèle d’IA peut-il en juger un autre ?

Oui, pour ce que du code ne sait pas vérifier, comme le ton ou la fidélité d’un résumé. L’étude de Zheng et de ses coauteurs, publiée en 2023, mesure plus de 80 % d’accord entre un juge solide et les préférences humaines, autant qu’entre humains. Mais ce juge se laisse influencer par l’ordre des réponses et par leur longueur, et il favorise ses propres réponses : donnez-lui une grille écrite et gardez une relecture humaine sur un échantillon.

Faut-il refaire les tests quand le fournisseur change de modèle ?

Oui, et avant la date de retrait. Anthropic prévient au moins 60 jours avant de retirer un modèle public, et les requêtes vers un modèle retiré échouent : le 30 septembre 2026, l’éditeur a annoncé le retrait de Claude Sonnet 4.5 pour le 30 novembre 2026. Un jeu de test conservé permet de comparer le remplaçant sur vos propres exemples avant la bascule, au lieu de découvrir ses écarts en production.