Evaluar un modelo de IA antes de ponerlo en producción

Cada modelo de IA que sale llega con sus puntuaciones en clasificaciones públicas. Ninguna de esas puntuaciones dice si clasificará bien sus emails o si resumirá fielmente sus actas. Evaluar un modelo de IA antes de ponerlo en producción es responder a esa pregunta, con sus propias tareas, antes de que sus clientes lo hagan a su costa. Esta guía de nuestra sección IA de empresa, privada y al coste justo da el método en seis pasos, y luego sus límites. Elegir el modelo es la tercera de las cinco preguntas de nuestra guía para integrar la IA en la empresa, después de la tarea y del destino de los datos.

En resumen

• Los criterios de éxito se escriben antes de la primera prueba, cifrados, con un techo de coste y de plazo.
• Una veintena de ejemplos reales, casos difíciles incluidos, da un primer veredicto; más lo hacen más sólido.
• El código puntúa lo que se puede comprobar, un juez IA lo que requiere juicio, una persona revisa una muestra.
• El modelo elegido es el más barato que cumple todos los criterios, tiempo de corrección incluido.
• La prueba se repite en cada cambio de modelo o de instrucción; en Anthropic, por ejemplo, los modelos antiguos se retiran regularmente.

Por qué una clasificación pública no basta

Una clasificación pública mide un modelo con las preguntas de otros. Su uso tiene su vocabulario, sus formatos de documentos y sus casos límite. La CNIL, la autoridad francesa de protección de datos, en sus preguntas y respuestas sobre la IA generativa, recomienda «partir de necesidades concretas para elegir el sistema más adecuado» y, si es necesario, «realizar o encargar una evaluación a medida para el uso previsto». La guía de Anthropic sobre las pruebas dice lo mismo desde el lado del proveedor: una prueba debe reproducir la distribución real de sus tareas, sin olvidar los casos límite.

El nivel de exigencia depende después del uso. La CNIL distingue la ayuda a la redacción ofrecida a los empleados, que presenta menos riesgos, de un sistema que ayuda a decidir sobre clientes o candidatos, que exige «un nivel de exigencia más alto». Una clasificación de emails internos y una preselección de candidaturas no se prueban pues con el mismo rigor.

Cómo evaluar un modelo de IA en seis pasos

El método vale tarea por tarea: un mismo modelo puede acertar con un resumen y fallar en una extracción de importes.

1. Escribir los criterios de éxito antes de la primera prueba

Un criterio se mide. «Clasificar bien los emails» no se puede comprobar; «clasificar correctamente al menos el 95 % de los emails de prueba», por ejemplo, sí. La guía de Anthropic pide criterios precisos, medibles, alcanzables y pertinentes para el uso, y recuerda que la mayoría de los usos combinan varios: por ejemplo, la fidelidad a la tarea, la constancia de las respuestas, el tono, la confidencialidad, el plazo y el precio.

Distinga también los errores molestos de los graves: en el ejemplo de Anthropic, el 90 % de los errores deben seguir siendo simples molestias. Un email mal archivado se recupera, una respuesta falsa enviada a un cliente mucho menos. Añada los puntos que la CNIL pide comprobar: seguridad, pertinencia para su necesidad, robustez, ausencia de sesgos y licencia de uso.

2. Reunir ejemplos reales, casos difíciles incluidos

Los ejemplos proceden de su actividad: emails reales y documentos reales, en las proporciones en que llegan. Nuestro banco de pruebas parte de 20 a 30 muestras reales: suficiente para un primer veredicto, no para una certeza. La guía de Anthropic prefiere además muchas preguntas puntuadas automáticamente a unas pocas puntuadas a mano.

No olvide los casos difíciles. Anthropic cita cuatro familias: una entrada vacía o fuera de tema, una entrada demasiado larga, una solicitud mal formulada o dañina, y los casos ambiguos en los que incluso las personas tendrían dificultades para ponerse de acuerdo. Aparte por último una parte de los ejemplos, sin usarlos nunca para ajustar la instrucción: es en ellos donde se lee la verdadera puntuación.

3. Comparar de tres a cinco modelos, uno de ellos pequeño

Pruebe varios candidatos con los mismos ejemplos y la misma instrucción de partida: el modelo que ya usa, que sirve de referencia, un modelo más pequeño y más barato y, si sus datos son sensibles, un modelo de pesos abiertos que podría alojar usted mismo. Nuestro banco de pruebas compara de 3 a 5. Ajuste después la instrucción de cada uno con los ejemplos de trabajo, nunca con los apartados: un modelo mal guiado puede perder una comparativa que habría ganado.

4. Puntuar las respuestas: primero el código, luego un juez IA, una persona para controlar

Anthropic aconseja elegir, para cada criterio, el método de puntuación más rápido, más fiable y que mejor escala. Hay tres:

• El código, cuando se conoce la respuesta correcta: una categoría, un importe, un campo extraído. Es el método más rápido y fiable, pero no sabe juzgar un matiz.
• Un juez IA, es decir, un segundo modelo que puntúa las respuestas según una plantilla escrita: el tono, la pertinencia, la fidelidad de un resumen. Anthropic recomienda una plantilla detallada, una nota sencilla («correcto» o «incorrecto», o de 1 a 5), un juez que razone antes de puntuar y, en general, un modelo distinto del que respondió. Su fiabilidad se comprueba antes de confiar en él.
• La persona, la más flexible y fina, pero lenta y costosa: Anthropic aconseja evitarla cuando sea posible.

Un juez IA tiene sus sesgos. El estudio de Zheng y sus coautores, presentado en NeurIPS en 2023, muestra que se deja influir por el orden de las respuestas, por su longitud y por su preferencia por sus propias respuestas, y que su razonamiento sigue siendo limitado. Mide también que un juez sólido (GPT-4 en aquel momento) coincide con las preferencias humanas en más del 80 % de los casos, tanto como las personas entre sí.

Nuestro banco de pruebas juzga la calidad en dos tiempos: un juez IA y luego una revisión humana. El juez puede ser un modelo de gama alta: es caro por llamada, pero solo lee la muestra.

5. Calcular el coste de una respuesta utilizable, y luego elegir

El precio por token no basta para desempatar entre dos modelos. Lo que cuenta es el coste de una respuesta utilizable.

Un modelo la mitad de caro que exige una corrección de cada tres respuestas puede salir pues más caro en total. Mida también el plazo de respuesta, decisivo para un asistente en directo, secundario para un procesamiento nocturno. El cálculo en tokens se detalla en nuestra guía sobre el coste de la IA en la empresa.

Elija el modelo más barato que cumpla todos los criterios del paso 1 e inscríbalo en su tabla de enrutamiento con la fecha de la prueba y la razón de la elección: más adelante sabrá por qué se eligió.

6. Repetir la prueba en cada cambio

Un modelo elegido no lo sigue siendo indefinidamente. Según la página de Anthropic sobre la retirada de sus modelos, el proveedor retira regularmente sus modelos antiguos, avisa con al menos 60 días de antelación para un modelo público, y las solicitudes a un modelo retirado fallan. El 30 de septiembre de 2026 anunció así la retirada de Claude Sonnet 4.5 para el 30 de noviembre de 2026, con Claude Sonnet 5.5 como sustituto, y aconseja probar las aplicaciones con el sustituto mucho antes de la fecha. Estas fechas valen para las plataformas que explota: Amazon Bedrock y Google Cloud fijan su propio calendario.

Un sustituto no se conecta a ciegas: según la misma página, en los modelos Claude a partir de la versión 4.7, una temperatura ajustada a un valor distinto del predeterminado devuelve un error.

Repita pues la prueba al cambiar de modelo, pero también en cada modificación de la instrucción. Conserve el conjunto de prueba en su empresa, con los criterios y los resultados: es lo que permite comparar un sustituto, u otro proveedor, sin empezar de cero.

Lo que una evaluación no le dice

Una evaluación juzga una muestra, no todo lo que el modelo producirá: es el límite que escribimos para nuestro propio banco de pruebas. La CNIL recuerda por qué importa: un modelo generativo no es una base de conocimientos, obedece a una lógica probabilística y puede producir resultados inexactos «que, sin embargo, pueden parecer plausibles». Una «confianza excesiva» sin la verificación adecuada puede llevar a decisiones erróneas.

La producción prolonga pues la prueba. Nuestro propio agente de registro de gastos funciona en Telegram en producción desde julio de 2026: lee la foto de un tique y extrae la información, y luego una persona valida antes de la escritura en el sistema contable. La CNIL recomienda la misma prudencia: no reproducir nunca tal cual los resultados de un sistema de IA, alertar a los usuarios sobre el «sesgo de automatización» y recoger regularmente su opinión sobre la utilidad y los límites del sistema.

Por dónde empezar

Una primera prueba cabe en cuatro gestos:

1. 01Elegir.

   Parta del uso que más cuesta o que presenta más riesgo.

2. 02Definir.

   Escriba tres criterios cifrados.

3. 03Reunir.

   Junte una veintena de ejemplos reales con sus casos difíciles.

4. 04Comparar.

   Pruebe su modelo actual frente a un modelo más pequeño.

Este método procede de la elección de modelo de la cadena de traducción que operamos para Palmora Property, un portal inmobiliario al que acompañamos, donde el cambio de proveedor dividió el coste por 60.

Para obtener este veredicto sobre sus propios contenidos, nuestra oferta IA a su justo coste incluye este banco de pruebas: de 20 a 30 muestras, de 3 a 5 modelos comparados, un veredicto cifrado por tarea, y la tabla, fechada y explicada, que dice qué modelo para qué tarea.

Preguntas frecuentes

Fuentes

1. Sus preguntas y respuestas sobre la IA generativa (nueva pestaña)cnil.fr
2. La guía de Anthropic sobre las pruebas (nueva pestaña)platform.claude.com
3. Presentado en NeurIPS en 2023 (nueva pestaña)arxiv.org
4. La página de Anthropic sobre la retirada de sus modelos (nueva pestaña)platform.claude.com