RAG en la empresa: una IA que responde con sus documentos

Sus procedimientos, sus contratos y sus expedientes contienen respuestas que nadie encuentra, y las mismas preguntas acaban en los mismos compañeros. El RAG en la empresa promete hacer accesible ese saber con una pregunta: un asistente que lee sus documentos y cita sus fuentes. El principio cabe en unas líneas, su puesta en producción exige más cuidado. Este artículo de nuestra sección IA empresarial, privada y a su justo coste explica cómo funciona un RAG, cuándo es útil, por qué a veces se equivoca y qué hay que ajustar antes de abrirlo al equipo. Conectar la IA a sus documentos es solo una etapa: nuestra guía para integrar la IA en la empresa la sitúa entre las decisiones que la preceden, de la tarea buscada a la elección del modelo.

En resumen

• Por debajo de unas 500 páginas (orden de magnitud dado por Anthropic en 2024), sus documentos pueden caber enteros en la instrucción del modelo: conviene probarlo antes de construir un RAG.
• El fine-tuning modifica el propio modelo y exige importantes recursos de cálculo; el RAG deja el modelo intacto y hace sus respuestas más trazables.
• Cuando la búsqueda trae el pasaje equivocado, el modelo se equivoca: basta un pasaje separado de su contexto o una referencia exacta no encontrada.
• Antes de abrirlo, cuatro ajustes: los derechos de acceso, la actualización del índice, la fuente mostrada y respuestas probadas.

¿Cómo funciona un RAG?

RAG es la abreviatura inglesa de generación aumentada por recuperación (Retrieval Augmented Generation). La CNIL, la autoridad francesa de protección de datos, en sus preguntas y respuestas sobre la IA generativa, la describe como la integración de un mecanismo de búsqueda de información en una base de datos vectorizada, que da respuestas potencialmente más específicas y más fáciles de actualizar que el propio modelo. Anthropic detalla las etapas en un artículo de septiembre de 2024:

El modelo no aprende nada de sus documentos: lee, con cada pregunta, los extractos que se le transmiten. Es lo que permite mostrar la fuente de una respuesta, y es también el límite del sistema: si la búsqueda trae el pasaje equivocado, el modelo responde a partir del pasaje equivocado. La CNIL añade que el método exige más recursos y competencias que un modelo usado tal cual, pero que resulta más fácil de adaptar y ofrece más trazabilidad.

¿Necesita realmente un RAG?

No siempre. En el mismo artículo, Anthropic indica que una base de conocimiento de menos de 200 000 tokens, unas 500 páginas, puede colocarse entera en la instrucción del modelo, sin RAG. «Sometimes the simplest solution is the best», escribe la empresa, es decir, a veces la solución más sencilla es la mejor, y añadía que el almacenamiento en caché de las instrucciones dividía entonces el tiempo de respuesta por más de dos y reducía el coste hasta un 90 %. Estas cifras datan de septiembre de 2024 y de los modelos de la época: dan un orden de magnitud, que hay que volver a comprobar con los modelos que usted utiliza.

Esta versión sencilla tiene su precio: cada pregunta reenvía toda la base al modelo, y la factura se cuenta en tokens. Para las bases que no caben en la ventana del modelo, el RAG es la solución habitual, señala también Anthropic. El buen orden consiste, por tanto, en probar la versión sencilla con sus documentos y luego construir un RAG si el volumen, el coste o el plazo lo imponen.

RAG o fine-tuning: ¿qué elegir para sus documentos?

El fine-tuning, o ajuste fino, consiste según la CNIL en modificar los parámetros (pesos) de un modelo conservando su arquitectura principal. Mejora su rendimiento en un ámbito determinado o para consultas específicas, pero requiere recursos importantes, sobre todo en capacidad de cálculo. La CNIL presenta los dos métodos como opciones para mejorar un sistema, uno y/o el otro.

La última línea viene de la CNIL y cuenta para una pyme: ajustar un modelo con sus propios datos puede convertirle en proveedor en el sentido del reglamento europeo sobre la IA, en lo que respecta a ese ajuste. Para hacer que una IA responda a partir de documentos que cambian, con una fuente verificable, el RAG es por tanto el punto de partida; el fine-tuning busca otra cosa, un mejor rendimiento en un ámbito o con consultas concretas.

¿Por qué un RAG se equivoca a veces?

Anthropic resume el problema: los RAG clásicos eliminan el contexto de los pasajes al codificarlos, lo que a menudo les impide encontrar la información correcta. Se identifican tres causas.

Un pasaje separado de su contexto. En el ejemplo de Anthropic, el extracto de un informe financiero dice «The company’s revenue grew by 3% over the previous quarter», es decir, que la facturación de la empresa creció un 3 % respecto al trimestre anterior, sin nombrar ni la empresa ni el trimestre. Aislado, se vuelve difícil de encontrar y de aprovechar. En sus documentos, puede ser la cláusula de un contrato que dice «el plazo se amplía a treinta días» sin recordar de qué contrato se trata.

Una referencia exacta que la búsqueda por sentido no ve. Los embeddings captan el sentido, pero pueden pasar por alto una coincidencia exacta: ante la consulta «Error code TS-999», la búsqueda por sentido puede traer pasajes sobre códigos de error en general sin encontrar ese. Una búsqueda por palabras clave (el método BM25) lo encuentra, y las dos se combinan. Los números de contrato y las referencias de producto están en el mismo caso.

Una división mal ajustada. El tamaño de los pasajes, el lugar donde se cortan y su solapamiento influyen en la búsqueda. También el número de pasajes transmitidos: Anthropic probó 5, 10 y 20, obtuvo los mejores resultados con 20 entre esas opciones y aconseja probar con el propio caso; demasiada información también puede distraer al modelo.

Para reducir esos fallos, Anthropic añade a cada pasaje, antes de la indexación, unas frases de contexto redactadas por un modelo (de 50 a 100 tokens). En sus propios conjuntos de pruebas (código, ficción, artículos científicos), cada técnica añadida reduce los fallos:

Son mediciones de la empresa con sus datos, en 2024: un orden de magnitud, no una promesa para sus documentos. El mismo artículo lo recuerda, siempre hay que medir: nuestro método para evaluar un modelo de IA antes de la puesta en producción se aplica también a un RAG.

¿Qué ajustar antes de abrir el asistente al equipo?

Un RAG en producción plantea también cuestiones de organización, que el modelo no resuelve.

1. Los derechos de acceso. El asistente solo debe encontrar, para cada persona, los documentos que tiene derecho a leer. Un índice único que mezcla contratos comerciales y expedientes del personal responde a todo el mundo con todo: la pregunta de un becario puede hacer aflorar el extracto de un expediente de RR. HH. Los derechos se filtran en la búsqueda, antes de que el modelo vea nada. Organizarlos departamento por departamento, manteniendo bases comunes a toda la empresa, es el objeto de nuestra guía de la gobernanza de la IA en la empresa.
2. La actualización del índice. Un documento modificado o retirado debe serlo también en la base vectorial; si no, el asistente cita con aplomo un procedimiento caducado. Decida quién actualiza y con qué ritmo.
3. La fuente mostrada y el «no lo sé». La CNIL recomienda dar preferencia a los sistemas que limitan las alucinaciones citando sus fuentes y filtrando las salidas. Cada respuesta debe mostrar el pasaje en el que se apoya, y el asistente debe decir que no lo sabe cuando ningún pasaje responde.
4. Las pruebas y el seguimiento. Una serie de preguntas reales con sus respuestas esperadas se ejecuta antes de la apertura, y luego en cada cambio de modelo, de instrucción o de documentos. Tras la apertura, la CNIL recomienda recabar con regularidad la opinión de los usuarios finales sobre la utilidad y los límites del sistema; las preguntas sin respuesta pueden señalar un documento que falta.

¿Adónde van sus documentos cuando el asistente responde?

Con cada pregunta, los extractos encontrados van allí donde funciona el modelo, y el índice contiene sus documentos divididos. El nivel de control se elige, por tanto, según los documentos consultados: nuestra comparativa de los cuatro niveles de control de una IA privada detalla las opciones, de la API al servidor instalado en sus instalaciones. Para datos personales o documentación sensible, la CNIL considera en general más oportuno y más seguro dar preferencia a un despliegue local, aunque señala que su coste hace a menudo más fácil un alojamiento remoto, regulado por un contrato de encargo de tratamiento.

Por dónde empezar

Cuatro etapas para arrancar:

1. 01Un perímetro

   Parta de un solo conjunto de documentos bien delimitado, por ejemplo los procedimientos de un equipo, y de las preguntas que de verdad se repiten.

2. 02La versión sencilla

   Compruebe primero si todo cabe en la instrucción de un modelo.

3. 03El RAG

   Si no, constrúyalo sobre un primer lote y pruebe sus respuestas.

4. 04La apertura

   Ábralo a un grupo pequeño, antes que a todo el equipo.

Si quiere un asistente que encuentre la respuesta en sus procedimientos y sus contratos, cite su fuente y diga cuándo no lo sabe, nuestra oferta de asistente de IA sobre sus documentos lo construye en tres semanas: accesos ajustados por equipo, respuestas probadas antes de la apertura y opción autoalojada incluida, para que todo funcione en su servidor o en el nuestro, en Europa.

Una vez en servicio el asistente, su factura se gestiona como el resto: nuestra oferta IA a su justo coste confía cada tarea al modelo que basta, con un presupuesto y límites por uso.

Preguntas frecuentes

Fuentes

1. Sus preguntas y respuestas sobre la IA generativa (nueva pestaña)cnil.fr
2. Anthropic detalla las etapas (nueva pestaña)anthropic.com