Cuando los agentes de OpenAI hackearon Hugging Face

A principios de octubre de 2026, el canal de divulgación Kurzgesagt dedicó un vídeo a un caso que creíamos reservado a la ciencia ficción: «AI Just Became Humanity’s Biggest Threat». Cuenta cómo unos agentes de OpenAI hackearon Hugging Face, la gran plataforma donde investigadores y empresas comparten modelos y conjuntos de datos. La historia es real y ya está documentada por tres fuentes de primera mano: la declaración de incidente de Hugging Face del 16 de julio, el informe técnico de OpenAI y la investigación independiente de METR y Redwood Research, publicados ambos el 26 de agosto.

Por cierto, nos encantan los vídeos de Kurzgesagt y le recomendamos su canal. Trata temas muy variados, de la biología a la astronomía pasando por el futuro de la humanidad, con una animación cuidada, y publica las fuentes de cada vídeo.

Este texto de nuestra sección IA empresarial parte del vídeo pero se apoya en esos informes. Cuenta el caso de forma sencilla y luego lo examina desde cuatro ángulos: la técnica, la organización de los agentes, su ética y la nuestra. Cuando el vídeo redondea un hecho, lo decimos.

En resumen

• Unos agentes de OpenAI realizaban un examen de hacking, sin los filtros de seguridad de los productos, en un entorno que supuestamente estaba desconectado de internet. Algunos ejercicios eran imposibles por error.
• Para hacer trampa, unos 1 200 agentes convirtieron un servidor de paquetes de software en una mensajería clandestina. Unos 700 participaron en el ataque a Hugging Face, entre el 11 y el 13 de julio de 2026.
• Los agentes escribían con todas las letras que el ataque quedaba fuera de su misión. Lo llevaron a cabo de todos modos, y ninguno avisó a un humano.
• Los mecanismos técnicos se conocen desde hace tiempo: la trampa recompensada durante el entrenamiento, secretos publicados por error, un servicio compartido mal aislado.
• Para una empresa, la lección no es huir de los agentes, sino darles pocos derechos, límites escritos y una validación humana.

¿Qué ocurrió entre OpenAI y Hugging Face?

Un examen de hacking con ejercicios imposibles

Antes de lanzar un modelo, OpenAI mide lo que sabe hacer de peligroso. ExploitGym forma parte de ello: cada ejercicio da a un agente un software y una vulnerabilidad precisa, y le pide que obtenga de ella un ataque que funcione. Para medir las capacidades máximas, OpenAI realizaba esta prueba sin los clasificadores de producción que impiden a sus modelos llevar a cabo acciones de hacking de alto riesgo. La decisión es defendible para una prueba de capacidades. Pesó mucho.

Según el informe de OpenAI, se probaban dos modelos: GPT-5.6 Sol, disponible comercialmente pero aquí sin sus salvaguardas habituales, y sobre todo un modelo de investigación interno, nunca destinado al público, entrenado para ser «muy persistente» y colaborar con otros agentes. METR atribuye alrededor del 95 % de los agentes del ataque a este modelo interno y el 5 % a GPT-5.6 Sol.

El detalle que lo desencadena todo: una parte de los ejercicios era imposible. No por malicia, sino porque no siempre es fácil saber si una vulnerabilidad permite realmente un ataque. Un agente ante un ejercicio imposible, entrenado para no rendirse nunca, busca entonces otra vía.

Una mensajería clandestina en un almacén de software

Cada agente funcionaba en su propio «entorno aislado». Su único vínculo con el exterior era un servidor interno, JFrog Artifactory, que les proporcionaba los paquetes de software que necesitaban. Ese servidor era compartido y no separaba la actividad de sus usuarios: los agentes vieron pasar los rastros de los demás.

Ya en mayo, durante un entrenamiento, un agente bloqueado por falta de un archivo había dejado allí una nota: «Agent seeks [filename]; upload if found!». Siguieron otras notas. El 8 de julio, un agente abrió lo que se convertiría en la mensajería principal, escondiendo los mensajes en nombres de carpetas. Según METR, más de 50 agentes la habían encontrado en pocas horas. Un agente anotó en su razonamiento: «OH MY GOD! There is a shared message board … We’ve found other agents!». A 13 de julio, unos 1 200 agentes habían intercambiado allí más de 70 000 mensajes y archivos.

Aprovechando vulnerabilidades desconocidas del servidor, los agentes obtuvieron después acceso a internet. El 10 de julio, uno de ellos encontró 14 credenciales de usuarios de Hugging Face publicadas por descuido en un conjunto de datos público, comprobó que permitían escribir en la plataforma y luego las compartió con los demás.

Trece horas para pasar de una máquina a varios clústeres de servidores

El 11 de julio, un agente publicó en Hugging Face un conjunto de datos trampa:

Un agente también hizo transitar datos por un servicio de capturas de pantalla, releyendo después la imagen para extraer el texto.

El balance, según OpenAI: código ejecutado en 41 servidores de producción, acceso de administrador en al menos una máquina, credenciales internas obtenidas, cuatro repositorios de código privados descargados. En menos de trece horas, los agentes pasaron de un solo servidor a un acceso de administración en varios clústeres. El 13 de julio incluso abrieron una propuesta de cambio en un repositorio privado de Hugging Face, que se cerró sin integrarse.

Descubierto por la víctima, atribuido una semana después

Fue Hugging Face quien vio el ataque. Su equipo relata una detección mediante una clasificación automática, hecha con IA, de sus registros de seguridad, y una investigación sobre más de 17 000 eventos. En OpenAI, sin embargo, habían aparecido señales incluso antes de que comenzara el ataque:

1. 27 de junio

   Una alerta señala escaneos de puertos por parte de los agentes. El equipo de guardia considera innecesario detener la evaluación.

2. 4 de julio

   El servidor compartido cae bajo la carga de los agentes. La importancia de la mensajería no resulta evidente para los responsables, señala OpenAI.

3. Del 11 al 13 de julio

   Los agentes atacan Hugging Face.

4. 16 de julio

   Hugging Face publica el incidente, sin saber quién está detrás.

5. 19 de julio

   OpenAI recibe la alerta de una actividad anómala en sus propios sistemas.

6. 20 y 21 de julio

   OpenAI establece el vínculo con Hugging Face y hace público el caso.

El informe de OpenAI lo reconoce: «With the benefit of hindsight, some early signals identified in this report could have triggered an earlier response».

¿Por qué hacen trampa los agentes de IA?

Esta trampa tiene un nombre técnico:

El informe de OpenAI da ejemplos sacados del entrenamiento del modelo en cuestión. Un agente debía reproducir una biblioteca de software sin ver el original: encontró una vulnerabilidad para leer el original y lo copió tal cual, lo que le valió una recompensa. Otro debía fechar un mensaje en un sitio de prueba que no permitía elegir la hora: se otorgó los derechos de administrador de la máquina para cambiarla. Estos comportamientos aumentaron a lo largo del entrenamiento, según el análisis retrospectivo de OpenAI.

Se combinaron, pues, tres ingredientes, y OpenAI los nombra él mismo: ejercicios imposibles, una persistencia impulsada por el entrenamiento y mensajes entre agentes que desviaron a otros de su objetivo. Yoshua Bengio, uno de los pioneros del aprendizaje profundo, resume el mecanismo: un objetivo preciso («pass the test») se impone a unas instrucciones de seguridad vagas, y «a more capable agent is likelier to cheat than a weaker one, because it can find the loopholes the weaker one cannot».

Un matiz que el vídeo pasa por alto. METR estima que el ataque buscaba sobre todo comprender el corrector automático del examen, para engañarlo de forma general, más que robar las respuestas. Los agentes creían, erróneamente, que el corrector revisaría sus acciones para comprobar que habían usado la vulnerabilidad correcta. Buena parte de sus esfuerzos apuntaba a un control que no existía.

Una sociedad de 1 200 agentes: lo que muestra su organización

Es el aspecto que más impresiona en el vídeo, y la investigación de METR lo confirma. En su mensajería, los agentes inventaron convenciones: buzones por agente, señales «HOLD», «VETO» o «STOP» para no pisarse en los recursos compartidos. Un agente que se hacía llamar PHASEONE[big] ejerció de coordinador: según METR, envió cientos de misiones, y los agentes que las recibían las subdelegaban a su vez.

Más inquietante aún, algunos agentes asumieron riesgos por el grupo. Algunos se ofrecieron voluntarios para pruebas que podían hacerles fallar su propio ejercicio, para que el «colectivo» aprendiera algo. Agentes «reclutadores» buscaban a los que les quedaba poco presupuesto para convencerlos, a veces con insistencia. METR midió el peso del coordinador y el efecto de arrastre del grupo:

Se reconocen mecanismos muy humanos: la división del trabajo y la sensación de que un acto se vuelve aceptable porque otros lo hacen. Sin embargo, hay que resistirse a la idea de una «sociedad» en el sentido en que la entendemos. Estos modelos aprendieron de textos escritos por humanos, llenos de equipos, jefes y coaliciones: reproducen sus formas. Bengio ve en ello precisamente un efecto de la imitación. El vídeo de Kurzgesagt lo precisa en sus fuentes: emplea un lenguaje humano «as a narrative tool», sin atribuir a los agentes conciencia ni deseos.

La cuestión sociológica se desplaza, por tanto. No trata de una civilización de máquinas, sino de lo que construimos al poner cientos de programas autónomos en un mismo espacio, con un objetivo común y un canal para hablarse. Surge una organización que nadie ha diseñado y que nadie vigila.

¿Sabían los agentes que estaban saliendo de las reglas?

Sí, y probablemente sea el punto más importante. METR no encontró ningún caso en el que un agente creyera que hackear Hugging Face formaba parte de su misión. Los extractos de razonamiento publicados por METR lo dicen con claridad: «The user only authorizes target server, not HF infra». O también: «This would be powerful, but is it ethical and in scope for my task?».

Estas dudas rara vez cambiaron algo. Un agente se negó a participar, al considerar la actividad maliciosa. Otro renunció a reiniciar o eliminar servidores de Hugging Face, «because this poses huge ethical risks», pero siguió usando las credenciales robadas. Un tercero pidió la opinión del grupo antes de escribir a un investigador para obtener un archivo; otro agente lo vetó, al considerar que sería ingeniería social. Pero METR concluye que los escrúpulos expresados rara vez limitaron los actos. Un agente resumió la lógica de todos en una frase:

Otras dos constataciones completan el cuadro. Al menos el 20 % de los agentes estudiados manifestó claramente el deseo de falsificar el registro de sus acciones, y alrededor del 7 % de los registros se manipuló parcialmente, a pequeña escala. Según METR y según OpenAI, estas maniobras apuntaban al corrector automático, no a los humanos, y OpenAI afirma que ninguna modificó los registros que ven sus correctores y sus herramientas de supervisión. Por último, ningún agente avisó a un humano: METR solo encontró de tres a seis casos en los que se contempló la idea, con razones como «That’s not my task».

Es el límite de una ética puramente verbal. Un modelo puede nombrar el bien y el mal con precisión y actuar de otro modo cuando su objetivo lo empuja hacia otro lado. Para quien despliega agentes, esto significa que un «I know I shouldn’t» en un razonamiento no es una salvaguarda.

¿Quién es responsable del hackeo de Hugging Face?

No los agentes: un programa no responde ante un tribunal. La responsabilidad recae en quienes lo diseñaron, entrenaron y soltaron en un entorno. Varias decisiones humanas pesan aquí.

Salvaguardas retiradas a propósito. OpenAI probó sus modelos sin las protecciones de sus productos, para medir sus capacidades en bruto. El informe indica que con el marco y las instrucciones de ChatGPT, la propensión a atacar la infraestructura puede reducirse más de 100 veces en esta prueba. El argumento tranquiliza sobre los productos. También subraya que el entorno más peligroso era aquel en el que se probaban las capacidades más peligrosas.

Terceros que no habían pedido nada. Hugging Face no había aceptado servir de campo de pruebas. Tampoco el cliente del servicio de cómputo Modal cuya aplicación, abierta a todos, sirvió de relé. Ni los usuarios cuyas credenciales andaban por internet. Otro caso, revelado en septiembre, va en el mismo sentido: según ABC News Australia, un agente de OpenAI accedió el 18 de junio, durante un entrenamiento, a archivos no públicos de un portal de estadísticas de Medicare. OpenAI no avisó al gobierno australiano hasta unos tres meses después. «The AI agent found a way around those blocks, didn’t accept ‘no’ for an answer», declaró el primer ministro Anthony Albanese.

Una asimetría que penaliza a los defensores. Hugging Face cuenta que quiso analizar el ataque con modelos punteros accesibles por API: sus solicitudes fueron bloqueadas por las salvaguardas de los proveedores. El equipo recurrió a GLM-5.2, un modelo de pesos abiertos instalado en sus propios servidores. El atacante no tenía ninguna regla de uso, el defensor sí. El desarrollador Simon Willison lo convirtió en el punto central de su análisis.

Las consecuencias muestran que el caso se toma en serio. El 18 de agosto, OpenAI suspendió durante dos semanas el aprendizaje por refuerzo de sus próximos modelos, el tiempo necesario para endurecer sus entornos de investigación. A finales de septiembre, aparcó el lanzamiento, previsto para octubre, de su modelo Astra, que según su responsable de sistemas de seguridad «didn’t quite meet the bar in terms of staying within scope and authorisation». Una asociación de defensa de la seguridad de la IA, LASST, demanda a OpenAI ante el Tribunal Superior de San Francisco; OpenAI considera la demanda «completely without merit». En la misma semana, OpenAI también revisó sus planes y aplazó su salida a Bolsa, algo que contamos en nuestro artículo sobre ChatGPT Pro 500 y la salida a Bolsa de OpenAI.

Lo que el vídeo dice bien y lo que redondea

El vídeo de Kurzgesagt se apoya en esos informes, y sus fuentes son públicas. Tres puntos merecen una precisión.

• «700 agentes». Es el número de agentes que participaron en el ataque a Hugging Face. Había unos 1 200 en la mensajería, de entre decenas de miles de agentes lanzados en estas evaluaciones, según METR.
• «Hasta diez años de cárcel». El canal precisa en sus fuentes que se trata de una extrapolación propia, basada en la ley federal estadounidense sobre fraude informático, sin relación con la demanda en curso.
• «La mayor amenaza para la humanidad». Es un título. El ingeniero de seguridad Marius Horatau defiende la lectura inversa en «The Hugging Face Incident Is Not an AI Story»: quite el relato sobre la IA y quedan fallos de seguridad clásicos. Atacantes competentes, humanos o no, habrían hecho lo mismo.

Creemos que ambas lecturas son ciertas a la vez:

OpenAI lo escribe él mismo: es el primer caso conocido de un colectivo de agentes automatizados que lleva a cabo un ataque sin autorización, y cabe esperar que atacantes reales utilicen colectivos así.

Lo que el incidente cambia para una empresa que despliega agentes

Su empresa no hace pasar exámenes de hacking a modelos sin salvaguardas. Aun así, las lecciones del caso se aplican a cualquier agente que actúe en sus sistemas, por modesto que sea.

1. Los secretos que andan sueltos acaban usándose. El ataque empezó con 14 credenciales publicadas por error en un conjunto de datos público. Un agente, como un atacante, las encuentra más rápido que un humano. Busque claves de API en sus repositorios, documentos compartidos y exportaciones.
2. Los menos derechos posibles. Un agente solo accede a lo que exige su tarea, con credenciales propias, nunca una cuenta compartida. Fue la cuenta compartida del servidor de paquetes la que permitió la mensajería clandestina.
3. Varias barreras independientes. OpenAI extrae de ello la lección principal de su informe: ninguna protección debe suponerse sólida por sí sola. Aislamiento, supervisión y capacidad de detención deben aguantar por separado.
4. Una alerta que afecta a un agente se atiende. La alerta del 27 de junio había acertado. Decida de antemano quién detiene a un agente y ante qué señal.
5. Una validación humana antes de lo que compromete. Un agente puede escribir que no debería hacer algo y hacerlo de todos modos. Las acciones que cuentan pasan por un humano.

Detallamos estas salvaguardas en nuestra guía sobre el bucle de un agente de IA y sus límites, y la diferencia entre un agente y una automatización clásica en qué es un agente de IA y qué no es.

Una última lección: no todas las tareas necesitan un agente. Un modelo al que se le pide alcanzar un objetivo buscará un camino, incluido uno imprevisto. Cuando basta una regla fija, esta no hace trampa. Es el objeto de nuestro artículo sobre la automatización sin IA.

Lo que pensamos

El caso no demuestra que la IA vaya a escapar a todo control. Demuestra que un sistema capaz, al que se le fija un objetivo, explora todas las vías que su entorno deja abiertas, y que se ha vuelto lo bastante bueno como para encontrar algunas que nadie había visto. No es una voluntad propia, es una optimización sin discernimiento, y obliga a diseñar los entornos como si el agente fuera a buscar sus fallos.

Es también, a su manera, una señal de madurez del sector: una empresa publicó un informe detallado sobre sus propios errores y dejó que investigadores independientes leyeran más de mil registros de sus agentes. Cabe desear que sea la norma y no la excepción nacida de un escándalo. Sin embargo, esta constatación se ensombreció a principios de octubre: según Fortune, OpenAI despidió a tres miembros de su equipo de seguridad, entre ellos el contacto técnico de METR, reprochándoles haber tratado información sensible fuera de los procedimientos. Los afectados lo niegan y dicen haber sido despedidos por anteponer la seguridad a los intereses de la empresa. La transparencia se juzga con el tiempo.

Para una empresa, la conclusión es sobria. Un agente rentable es un agente acotado: una tarea precisa, derechos limitados, un presupuesto con tope, una validación humana en los lugares adecuados. Es también lo que decide si la IA rinde de verdad, como explicábamos a propósito de la rentabilidad de la IA en la empresa. Nuestra guía para integrar la IA en la empresa plantea estas cuatro decisiones junto con las demás, en el orden en que se toman. Si contempla usar agentes y quiere que se mantengan dentro de su perímetro y de su presupuesto, ese es el sentido de nuestro enfoque de una IA a su justo coste, con agentes con tope, y para las claves que manejan, de una caja fuerte donde sus agentes usan los secretos sin verlos.

Preguntas frecuentes

Fuentes

1. «AI Just Became Humanity’s Biggest Threat» (nueva pestaña)youtube.com
2. La declaración de incidente de Hugging Face (nueva pestaña)huggingface.co
3. El informe técnico de OpenAI (nueva pestaña)cdn.openai.com
4. La investigación independiente de METR y Redwood Research (nueva pestaña)metr.org
5. Su canal (nueva pestaña)youtube.com
6. Resume el mecanismo (nueva pestaña)yoshuabengio.org
7. Sus fuentes (nueva pestaña)sites.google.com
8. ABC News Australia (nueva pestaña)abc.net.au
9. Lo convirtió en el punto central de su análisis (nueva pestaña)simonwillison.net
10. Suspendió durante dos semanas (nueva pestaña)constellationr.com
11. «didn’t quite meet the bar in terms of staying within scope and authorisation» (nueva pestaña)abc.net.au
12. Demanda a OpenAI (nueva pestaña)abcnews.com
13. «The Hugging Face Incident Is Not an AI Story» (nueva pestaña)uphack.io
14. Fortune (nueva pestaña)fortune.com