Qualité d'une traduction : la mesurer sans tout relire

Un site traduit en six langues compte vite des dizaines de milliers de phrases. Personne ne les relit toutes, et personne ne devrait le faire : le temps d’un relecteur se garde pour les pages qui engagent. Mais publier sans rien mesurer, c’est découvrir les erreurs par les clients.

Entre ces deux extrêmes, il existe une méthode, la même que pour toute production en volume : contrôler automatiquement ce qui peut l’être, mesurer le reste sur un échantillon, et suivre les chiffres d’une version à l’autre. Cet article la décrit du point de vue de l’entreprise qui publie. Il complète notre guide pour traduire un site web.

Ce qu’on mesure : des erreurs, pas une impression

« C’est bien traduit » ne se compare pas d’un mois à l’autre. Une liste d’erreurs, si. Les professionnels de la traduction se sont dotés d’une grille commune pour les compter :

La définition vient du site de MQM. La norme ISO 5060, publiée en 2024, suit la même logique : types d’erreurs et points de pénalité, qui donnent un score d’erreur et un niveau de qualité, pour une traduction humaine, une traduction automatique post-éditée ou une traduction automatique brute, avec une place prévue pour l’échantillonnage.

Pour une entreprise, une version simple suffit souvent : quatre types (sens faux, terme faux, ton ou style, forme) et trois gravités (critique, gênante, mineure). Une erreur critique sur un prix ou une condition bloque la publication ; dix erreurs mineures de style sur un article ne la bloquent pas.

Les contrôles automatiques : attraper sans lire

Une machine ne juge pas une phrase, mais elle vérifie très bien ce qui doit être identique d’une langue à l’autre. Ces contrôles passent sur la totalité du texte, à chaque mise à jour :

• les nombres : un prix, une dimension, une date ou un pourcentage doit se retrouver dans la traduction ;
• les termes imposés : chaque terme du glossaire de marque doit apparaître sous sa forme validée ;
• les textes manquants : une clé, un champ ou un bloc absent dans une langue ;
• les textes non traduits : un paragraphe resté dans la langue source ;
• les variables et le balisage : un {count} ou un lien cassé par la traduction ;
• les longueurs : un titre trop long pour sa place, une description qui dépasse la limite des résultats de recherche.

Ces contrôles ne disent rien du sens. Ils libèrent le relecteur de ce qu’une machine voit mieux que lui, pour qu’il se concentre sur ce qu’elle ne voit pas.

Les métriques automatiques : comparer des outils

Il existe aussi des scores calculés par une machine, qui comparent une traduction à une traduction de référence, ou l’évaluent sans référence. Les chercheurs les ont départagées. Le titre des résultats de l’évaluation annuelle WMT 2022 résume la conclusion : « arrêtez d’utiliser BLEU, les métriques neuronales sont meilleures et plus robustes ». Les métriques qui comptent les mots communs, comme BLEU, suivent mal le jugement humain ; les métriques apprises, comme COMET, le suivent mieux.

Les modèles d’IA généralistes peuvent aussi servir de juges. Une étude présentée en 2023 a montré qu’ils atteignent la meilleure précision connue à l’époque à l’échelle d’un système de traduction, c’est-à-dire pour dire quel outil traduit le mieux sur un ensemble de textes, pas pour juger une phrase isolée.

C’est l’usage juste de ces scores : choisir un outil, suivre l’effet d’un changement de modèle ou de consignes, repérer les textes les plus faibles pour les relire d’abord. La méthode de comparaison est détaillée dans DeepL, Google ou un LLM : qui traduit le mieux votre métier et, plus largement, dans évaluer un modèle d’IA avant de le mettre en production. Pour décider si une page peut être publiée, ils ne suffisent pas :

L’échantillon relu : l’arbitre

Le relecteur ne lit pas tout ; il lit ce qu’il faut pour pouvoir conclure. Cinq règles rendent l’échantillon fiable.

1. 01Séparer les pages par enjeu.

   Les pages qui engagent (offres, prix, conditions) se relisent en entier ; l’échantillon vaut pour les pages qui se répètent, comme le détaille traduction automatique ou relue.

2. 02Tirer l’échantillon dans chaque type de page.

   Quelques fiches, quelques articles, quelques e-mails, plutôt que les dix premières pages du catalogue.

3. 03Faire relire par quelqu’un qui lit la langue

   Sans lui dire quel outil a produit le texte quand on compare des outils.

4. 04Compter les erreurs par type et par gravité

   Avec la même grille à chaque fois.

5. 05Fixer un seuil avant de lire.

   Zéro erreur critique, un nombre maximal d’erreurs gênantes : au-delà, on corrige le gabarit, le glossaire ou les consignes, et on recommence.

Pour la traduction humaine, la norme ISO 17100 prévoit déjà que la traduction soit révisée par une seconde personne. La traduction automatique ne supprime pas ce regard ; elle le concentre sur un échantillon et sur les pages qui comptent. Le relecteur reste indispensable, et son temps vaut d’autant plus qu’il est bien employé.

Les erreurs relevées ne se corrigent pas seulement sur la page. Un terme faux qui revient va dans le glossaire ; une phrase corrigée va dans la mémoire de traduction, pour ne plus repartir fausse. C’est ce qui fait baisser le nombre d’erreurs d’un échantillon à l’autre.

Ce qu’aucune mesure de traduction ne voit

Une traduction fidèle reproduit fidèlement une erreur du texte source. Un chiffre faux, un fait inventé, une promesse que l’entreprise ne tient pas : la traduction est parfaite, et le contenu reste faux, dans chaque langue.

Une langue peut aussi être bien traduite et mal adaptée : un prix dans la mauvaise devise, un formulaire qui refuse les adresses du pays, des mots-clés que personne ne tape. Ce n’est plus de la qualité de traduction, mais de la localisation et de la recherche de mots-clés à l’étranger.

Par où commencer

Choisissez une langue déjà publiée, tirez vingt pages réparties entre vos types de pages, et faites-les relire par quelqu’un qui lit la langue avec la grille à quatre types et trois gravités. Ajoutez en parallèle un contrôle automatique des nombres et des termes du glossaire sur tout le site. Le premier relevé donne votre point de départ ; le suivant, après corrections, dit si la méthode fonctionne.

La mesure s’applique à tous les textes de la rubrique : fiches produit pour l’export, e-mails et support client, logiciels et applications, articles de blog, et, avec un relecteur juriste, contrats et documents juridiques. Elle compte double pour les langues que personne ne lit en interne, comme celles de la Chine et de l’Asie du Sud-Est, et quand on ouvre un marché anglophone ou un premier marché européen. Son coût, relecture comprise, entre dans le budget décrit dans traduire un site : le coût au mot, à la page, au marché, et l’outil choisi pour les textes sensibles doit aussi répondre aux questions de traduction et RGPD.

Pour mettre en place les contrôles automatiques et la grille de relecture sur votre site, envoyez-nous l’adresse du site et ses langues : nous partons d’un premier relevé, vos relecteurs gardent le dernier mot.

Questions fréquentes

Sources

1. MQM, Multidimensional Quality Metrics (nouvel onglet)themqm.org
2. ISO 5060:2024, évaluation des traductions (nouvel onglet)iso.org
3. Results of WMT22 Metrics Shared Task, 2022 (nouvel onglet)aclanthology.org
4. Kocmi et Federmann, Large Language Models Are State-of-the-Art Evaluators of Translation Quality, 2023 (nouvel onglet)aclanthology.org
5. ISO 17100:2015, services de traduction (nouvel onglet)iso.org