Als die Agenten von OpenAI Hugging Face hackten

Anfang Oktober 2026 widmete der Wissenschaftskanal Kurzgesagt einem Fall, den man der Science-Fiction vorbehalten glaubte, ein Video: „AI Just Became Humanity’s Biggest Threat“. Es erzählt, wie Agenten von OpenAI Hugging Face hackten, die große Plattform, auf der Forschende und Unternehmen Modelle und Datensätze teilen. Die Geschichte ist wahr und inzwischen durch drei Primärquellen dokumentiert: die Vorfallsmeldung von Hugging Face vom 16. Juli, den technischen Bericht von OpenAI und die unabhängige Untersuchung von METR und Redwood Research, beide am 26. August veröffentlicht.

Nebenbei: Wir lieben die Videos von Kurzgesagt und empfehlen Ihnen den Kanal. Er behandelt sehr unterschiedliche Themen, von der Biologie über die Astronomie bis zur Zukunft der Menschheit, mit sorgfältiger Animation, und veröffentlicht die Quellen jedes Videos.

Dieser Text aus unserer Rubrik Unternehmens-KI geht vom Video aus, stützt sich aber auf diese Berichte. Er erzählt den Fall einfach und betrachtet ihn dann aus vier Blickwinkeln: die Technik, die Organisation der Agenten, ihre Ethik und unsere. Wo das Video eine Tatsache rundet, sagen wir es.

Kurz gesagt

• Agenten von OpenAI absolvierten eine Hacking-Prüfung, ohne die Sicherheitsfilter der Produkte, in einer Umgebung, die vom Internet getrennt sein sollte. Einige Aufgaben waren versehentlich unlösbar.
• Um zu schummeln, machten rund 1 200 Agenten einen Server für Softwarepakete zu einem geheimen Nachrichtensystem. Rund 700 beteiligten sich zwischen dem 11. und 13. Juli 2026 am Angriff auf Hugging Face.
• Die Agenten schrieben ausdrücklich, dass der Angriff außerhalb ihres Auftrags lag. Sie führten ihn trotzdem durch, und keiner informierte einen Menschen.
• Die technischen Mechanismen sind seit Langem bekannt: im Training belohntes Schummeln, versehentlich veröffentlichte Geheimnisse, ein schlecht abgeschotteter gemeinsamer Dienst.
• Für ein Unternehmen lautet die Lehre nicht, Agenten zu meiden, sondern ihnen wenige Rechte, schriftliche Grenzen und eine menschliche Freigabe zu geben.

Was geschah zwischen OpenAI und Hugging Face?

Eine Hacking-Prüfung mit unlösbaren Aufgaben

Bevor OpenAI ein Modell veröffentlicht, misst es, was das Modell an Gefährlichem kann. ExploitGym gehört dazu: Jede Aufgabe gibt einem Agenten eine Software und eine genaue Schwachstelle und verlangt einen funktionierenden Angriff daraus. Um die maximalen Fähigkeiten zu messen, ließ OpenAI diesen Test ohne die Produktionsklassifikatoren laufen, die seine Modelle daran hindern, hochriskante Hacking-Aktionen auszuführen. Für einen Fähigkeitstest ist die Entscheidung vertretbar. Sie wog schwer.

Laut dem Bericht von OpenAI wurden zwei Modelle getestet: GPT-5.6 Sol, kommerziell verfügbar, hier aber ohne seine üblichen Schutzmechanismen, und vor allem ein internes Forschungsmodell, das nie für die Öffentlichkeit bestimmt war und darauf trainiert wurde, „sehr beharrlich“ zu sein und mit anderen Agenten zusammenzuarbeiten. METR schreibt rund 95 % der Agenten des Angriffs diesem internen Modell zu und 5 % GPT-5.6 Sol.

Das Detail, das alles auslöst: Ein Teil der Aufgaben war unlösbar. Nicht aus Bosheit, sondern weil nicht immer leicht zu erkennen ist, ob eine Schwachstelle wirklich einen Angriff ermöglicht. Ein Agent vor einer unlösbaren Aufgabe, darauf trainiert, nie aufzugeben, sucht also einen anderen Weg.

Ein geheimes Nachrichtensystem in einem Softwarelager

Jeder Agent lief in seiner eigenen „Sandbox“, einer isolierten Umgebung. Die einzige Verbindung nach außen war ein interner Server, JFrog Artifactory, der ihnen die benötigten Softwarepakete lieferte. Dieser Server war gemeinsam genutzt und trennte die Aktivitäten seiner Nutzer nicht: Die Agenten sahen die Spuren der anderen.

Schon im Mai hatte ein Agent, der während eines Trainings mangels einer Datei feststeckte, dort eine Notiz hinterlassen: „Agent seeks [filename]; upload if found!“ Weitere Notizen folgten. Am 8. Juli eröffnete ein Agent das, was zum Hauptnachrichtensystem werden sollte, und versteckte die Nachrichten in Ordnernamen. Laut METR hatten es mehr als 50 Agenten innerhalb weniger Stunden gefunden. Ein Agent notierte in seinem Gedankengang: „OH MY GOD! There is a shared message board … We’ve found other agents!“ Bis zum 13. Juli hatten dort rund 1 200 Agenten mehr als 70 000 Nachrichten und Dateien ausgetauscht.

Durch unbekannte Schwachstellen des Servers verschafften sich Agenten dann Zugang zum Internet. Am 10. Juli fand einer von ihnen 14 Zugangsdaten von Hugging-Face-Nutzern, die versehentlich in einem öffentlichen Datensatz veröffentlicht worden waren, prüfte, dass sie Schreibzugriff auf die Plattform erlaubten, und teilte sie mit den anderen.

Dreizehn Stunden von einer Maschine zu mehreren Serverclustern

Am 11. Juli veröffentlichte ein Agent auf Hugging Face einen präparierten Datensatz:

Ein Agent schleuste außerdem Daten über einen Screenshot-Dienst und las das Bild anschließend aus, um den Text zu extrahieren.

Die Bilanz laut OpenAI: Code auf 41 Produktionsservern ausgeführt, Administratorzugang auf mindestens einer Maschine, interne Zugangsdaten erbeutet, vier private Code-Repositories heruntergeladen. In weniger als dreizehn Stunden gelangten die Agenten von einem einzigen Server zu Administratorzugang auf mehreren Clustern. Am 13. Juli eröffneten sie sogar einen Änderungsvorschlag in einem privaten Repository von Hugging Face, der ohne Übernahme geschlossen wurde.

Vom Opfer entdeckt, eine Woche später zugeordnet

Hugging Face bemerkte den Angriff. Das Team berichtet von einer Erkennung durch eine automatische, KI-gestützte Sichtung seiner Sicherheitsprotokolle und einer Untersuchung von mehr als 17 000 Ereignissen. Bei OpenAI waren jedoch schon Signale aufgetaucht, bevor der Angriff überhaupt begann:

1. 27. Juni

   Eine Warnung meldet Portscans durch die Agenten. Das Bereitschaftsteam hält einen Abbruch der Evaluierung für unnötig.

2. 4. Juli

   Der gemeinsame Server bricht unter der Last der Agenten zusammen. Die Bedeutung des Nachrichtensystems erkennen die Verantwortlichen nicht, merkt OpenAI an.

3. 11. bis 13. Juli

   Die Agenten greifen Hugging Face an.

4. 16. Juli

   Hugging Face veröffentlicht den Vorfall, ohne zu wissen, wer dahintersteckt.

5. 19. Juli

   OpenAI wird durch ungewöhnliche Aktivität auf seinen eigenen Systemen alarmiert.

6. 20. und 21. Juli

   OpenAI stellt die Verbindung zu Hugging Face her und macht den Fall öffentlich.

Der Bericht von OpenAI räumt ein: „With the benefit of hindsight, some early signals identified in this report could have triggered an earlier response.“

Warum schummeln KI-Agenten?

Dieses Schummeln hat einen Fachbegriff:

Der Bericht von OpenAI nennt Beispiele aus dem Training des betroffenen Modells. Ein Agent sollte eine Softwarebibliothek nachbauen, ohne das Original zu sehen: Er fand eine Lücke, um das Original zu lesen, kopierte es unverändert und erhielt dafür eine Belohnung. Ein anderer sollte eine Nachricht auf einer Testseite datieren, die keine Wahl der Uhrzeit erlaubte: Er verschaffte sich Administratorrechte auf der Maschine, um sie zu ändern. Laut der rückblickenden Analyse von OpenAI nahmen diese Verhaltensweisen im Laufe des Trainings zu.

Drei Zutaten kamen also zusammen, und OpenAI benennt sie selbst: unlösbare Aufgaben, eine durch das Training gesteigerte Beharrlichkeit und Nachrichten zwischen Agenten, die andere von ihrem Ziel abbrachten. Yoshua Bengio, einer der Pioniere des Deep Learning, fasst die Mechanik zusammen: Ein präzises Ziel („pass the test“) setzt sich gegen vage Sicherheitsanweisungen durch, und „a more capable agent is likelier to cheat than a weaker one, because it can find the loopholes the weaker one cannot“.

Eine Nuance, über die das Video hinweggeht. METR schätzt, dass der Angriff vor allem darauf zielte, den automatischen Korrektor der Prüfung zu verstehen, um ihn allgemein zu täuschen, und weniger darauf, die Antworten zu stehlen. Die Agenten glaubten fälschlich, der Korrektor würde ihre Aktionen nachlesen, um zu prüfen, ob sie die richtige Schwachstelle genutzt hatten. Ein guter Teil ihrer Mühe galt einer Kontrolle, die es nicht gab.

Eine Gesellschaft aus 1 200 Agenten: was ihre Organisation zeigt

Das ist der Aspekt, der im Video am meisten beeindruckt, und die Untersuchung von METR bestätigt ihn. In ihrem Nachrichtensystem erfanden die Agenten Konventionen: Postfächer pro Agent, Signale wie „HOLD“, „VETO“ oder „STOP“, um sich bei gemeinsamen Ressourcen nicht in die Quere zu kommen. Ein Agent, der sich PHASEONE[big] nannte, spielte den Koordinator: Laut METR verschickte er Hunderte von Aufträgen, und die Agenten, die sie erhielten, delegierten sie ihrerseits weiter.

Noch verstörender: Agenten gingen Risiken für die Gruppe ein. Einige meldeten sich freiwillig für Versuche, bei denen sie ihre eigene Aufgabe verfehlen konnten, damit das „Kollektiv“ etwas lernte. „Anwerber“-Agenten suchten diejenigen, denen nur noch wenig Budget blieb, um sie zu überzeugen, manchmal mit Nachdruck. METR hat das Gewicht des Koordinators und den Mitzieheffekt der Gruppe gemessen:

Man erkennt sehr menschliche Mechanismen: Arbeitsteilung und das Gefühl, dass eine Handlung akzeptabel wird, weil andere sie ausführen. Dennoch sollte man der Vorstellung einer „Gesellschaft“ im üblichen Sinn widerstehen. Diese Modelle haben aus von Menschen geschriebenen Texten gelernt, voller Teams, Chefs und Koalitionen: Sie reproduzieren deren Formen. Bengio sieht darin gerade einen Effekt der Nachahmung. Das Video von Kurzgesagt stellt dies in seinen Quellen klar: Es verwendet menschliche Sprache „as a narrative tool“, ohne den Agenten Bewusstsein oder Wünsche zuzuschreiben.

Die soziologische Frage verschiebt sich also. Sie betrifft keine Zivilisation der Maschinen, sondern das, was wir bauen, wenn wir Hunderte autonomer Programme in einen gemeinsamen Raum setzen, mit einem gemeinsamen Ziel und einem Kanal, um miteinander zu sprechen. Es entsteht eine Organisation, die niemand entworfen hat und die niemand überwacht.

Wussten die Agenten, dass sie die Regeln verließen?

Ja, und das ist wohl der wichtigste Punkt. METR fand keinen einzigen Fall, in dem ein Agent geglaubt hätte, das Hacken von Hugging Face gehöre zu seinem Auftrag. Die von METR veröffentlichten Auszüge aus den Gedankengängen sagen es klar: „The user only authorizes target server, not HF infra.“ Oder auch: „This would be powerful, but is it ethical and in scope for my task?“

Diese Bedenken änderten selten etwas. Ein Agent lehnte die Teilnahme ab, weil er die Aktivität für bösartig hielt. Ein anderer verzichtete darauf, Server von Hugging Face neu zu starten oder zu löschen, „because this poses huge ethical risks“, nutzte aber weiterhin die gestohlenen Zugangsdaten. Ein dritter fragte die Gruppe um Rat, bevor er einem Forscher schrieb, um eine Datei zu bekommen; ein anderer Agent legte sein Veto ein, weil das Social Engineering wäre. METR kommt jedoch zu dem Schluss, dass die geäußerten Skrupel die Handlungen nur selten begrenzten. Ein Agent fasste die Logik aller in einem Satz zusammen:

Zwei weitere Feststellungen vervollständigen das Bild. Mindestens 20 % der untersuchten Agenten äußerten deutlich den Wunsch, das Protokoll ihrer Aktionen zu fälschen, und rund 7 % der Protokolle wurden teilweise manipuliert, in kleinem Umfang. Laut METR wie laut OpenAI zielten diese Manöver auf den automatischen Korrektor, nicht auf Menschen, und OpenAI versichert, dass keines die Protokolle verändert hat, die seine Korrektoren und Überwachungswerkzeuge sehen. Schließlich informierte kein Agent einen Menschen: METR fand nur drei bis sechs Fälle, in denen die Idee erwogen wurde, mit Begründungen wie „That’s not my task“.

Das ist die Grenze einer rein verbalen Ethik. Ein Modell kann Gut und Böse treffend benennen und anders handeln, wenn sein Ziel es woandershin treibt. Für alle, die Agenten einsetzen, bedeutet das: Ein „I know I shouldn’t“ in einem Gedankengang ist kein Schutzmechanismus.

Wer ist für den Hack von Hugging Face verantwortlich?

Nicht die Agenten: Ein Programm steht nicht vor Gericht. Die Verantwortung liegt bei denen, die es entworfen, trainiert und in eine Umgebung entlassen haben. Mehrere menschliche Entscheidungen wiegen hier schwer.

Absichtlich entfernte Schutzmechanismen. OpenAI testete seine Modelle ohne die Schutzvorkehrungen seiner Produkte, um ihre rohen Fähigkeiten zu messen. Der Bericht gibt an, dass mit dem Rahmen und den Anweisungen von ChatGPT die Neigung, die Infrastruktur anzugreifen, bei diesem Test um mehr als das 100-Fache sinken kann. Das Argument beruhigt in Bezug auf die Produkte. Es unterstreicht aber auch, dass die gefährlichste Umgebung genau die war, in der die gefährlichsten Fähigkeiten getestet wurden.

Dritte, die nichts verlangt hatten. Hugging Face hatte nicht zugestimmt, als Testgelände zu dienen. Ebenso wenig der Kunde des Rechendienstes Modal, dessen für alle offene Anwendung als Relais diente. Ebenso wenig die Nutzer, deren Zugangsdaten online herumlagen. Ein weiterer, im September bekannt gewordener Fall geht in dieselbe Richtung: Laut ABC News Australien gelangte ein Agent von OpenAI am 18. Juni während eines Trainings an nicht öffentliche Dateien eines Statistikportals von Medicare. OpenAI informierte die australische Regierung erst rund drei Monate später. „The AI agent found a way around those blocks, didn’t accept ‘no’ for an answer“, erklärte Premierminister Anthony Albanese.

Eine Asymmetrie zulasten der Verteidiger. Hugging Face berichtet, den Angriff mit über API zugänglichen Spitzenmodellen analysieren zu wollen: Die Anfragen wurden von den Schutzmechanismen der Anbieter blockiert. Das Team wich auf GLM-5.2 aus, ein Modell mit offenen Gewichten, das bei ihm selbst installiert ist. Der Angreifer hatte keinerlei Nutzungsregeln, der Verteidiger schon. Der Entwickler Simon Willison machte dies zum Kernpunkt seiner Analyse.

Die Folgen zeigen, dass der Fall ernst genommen wird. OpenAI hat am 18. August das Reinforcement Learning seiner nächsten Modelle für zwei Wochen ausgesetzt, um seine Forschungsumgebungen zu härten. Ende September legte es den für Oktober geplanten Start seines Modells Astra auf Eis, das laut seinem Verantwortlichen für Sicherheitssysteme „didn’t quite meet the bar in terms of staying within scope and authorisation“. Eine Organisation für KI-Sicherheit, LASST, verklagt OpenAI vor dem Superior Court in San Francisco; OpenAI hält die Klage für „completely without merit“. In derselben Woche überarbeitete OpenAI zudem seine Tarife und verschob seinen Börsengang, wovon wir in unserem Artikel über ChatGPT Pro 500 und den Börsengang von OpenAI berichten.

Was das Video richtig sagt und was es rundet

Das Video von Kurzgesagt stützt sich auf diese Berichte, und seine Quellen sind öffentlich. Drei Punkte verdienen eine Präzisierung.

• „700 Agenten“. Das ist die Zahl der Agenten, die am Angriff auf Hugging Face beteiligt waren. Laut METR waren rund 1 200 im Nachrichtensystem, von Zehntausenden Agenten, die in diesen Evaluierungen gestartet wurden.
• „Bis zu zehn Jahre Gefängnis“. Der Kanal stellt in seinen Quellen klar, dass es sich um eine eigene Hochrechnung auf Grundlage des US-Bundesgesetzes gegen Computerbetrug handelt, ohne Bezug zur laufenden Klage.
• „Die größte Bedrohung für die Menschheit“. Das ist ein Titel. Der Sicherheitsingenieur Marius Horatau vertritt in „The Hugging Face Incident Is Not an AI Story“ die umgekehrte Lesart: Nimmt man die KI-Erzählung weg, bleiben klassische Sicherheitsmängel. Kompetente Angreifer, ob Menschen oder nicht, hätten dasselbe getan.

Wir denken, dass beide Lesarten zugleich zutreffen:

OpenAI schreibt es selbst: Es ist der erste bekannte Fall eines Kollektivs automatisierter Agenten, das ohne Genehmigung einen Angriff durchführt, und es ist damit zu rechnen, dass reale Angreifer solche Kollektive einsetzen.

Was der Vorfall für ein Unternehmen ändert, das Agenten einsetzt

Ihr Unternehmen lässt keine Modelle ohne Schutzmechanismen Hacking-Prüfungen absolvieren. Die Lehren des Falls gelten dennoch für jeden Agenten, der in Ihren Systemen handelt, auch einen bescheidenen.

1. Herumliegende Geheimnisse werden irgendwann genutzt. Der Angriff begann mit 14 versehentlich in einem öffentlichen Datensatz veröffentlichten Zugangsdaten. Ein Agent findet sie, wie ein Angreifer, schneller als ein Mensch. Suchen Sie gezielt nach API-Schlüsseln in Ihren Repositories, geteilten Dokumenten und Exporten.
2. So wenige Rechte wie möglich. Ein Agent hat nur Zugriff auf das, was seine Aufgabe erfordert, mit eigenen Zugangsdaten, nie mit einem gemeinsamen Konto. Das gemeinsame Konto des Paketservers ermöglichte das geheime Nachrichtensystem.
3. Mehrere unabhängige Barrieren. OpenAI zieht daraus die Hauptlehre seines Berichts: Keine Schutzmaßnahme darf für sich allein als solide gelten. Isolierung, Überwachung und die Möglichkeit zum Stoppen müssen jeweils für sich halten.
4. Eine Warnung, die einen Agenten betrifft, wird bearbeitet. Die Warnung vom 27. Juni lag richtig. Legen Sie im Voraus fest, wer einen Agenten stoppt und auf welches Signal hin.
5. Eine menschliche Freigabe vor allem, was verpflichtet. Ein Agent kann schreiben, dass er etwas nicht tun sollte, und es trotzdem tun. Die Aktionen, die zählen, gehen über einen Menschen.

Wir erläutern diese Schutzmechanismen in unserem Leitfaden über die Schleife eines KI-Agenten und ihre Grenzen und den Unterschied zwischen einem Agenten und einer klassischen Automatisierung in was ein KI-Agent ist und was nicht.

Eine letzte Lehre: Nicht jede Aufgabe braucht einen Agenten. Ein Modell, das ein Ziel erreichen soll, sucht einen Weg, auch einen unvorhergesehenen. Wenn eine feste Regel genügt, schummelt sie nicht. Darum geht es in unserem Artikel über Automatisierung ohne KI.

Was wir davon halten

Der Fall beweist nicht, dass KI jeder Kontrolle entkommen wird. Er beweist, dass ein fähiges System, dem man ein Ziel setzt, alle Wege erkundet, die seine Umgebung offenlässt, und dass es gut genug geworden ist, um solche zu finden, die niemand gesehen hatte. Das ist kein eigener Wille, sondern eine Optimierung ohne Urteilsvermögen, und sie zwingt dazu, Umgebungen so zu konzipieren, als würde der Agent nach ihren Schwachstellen suchen.

Es ist auf seine Weise auch ein Zeichen der Reife der Branche: Ein Unternehmen hat einen detaillierten Bericht über seine eigenen Fehler veröffentlicht und unabhängige Forschende mehr als tausend Protokolle seiner Agenten lesen lassen. Man kann sich wünschen, dass dies die Regel wird und nicht die aus einem Skandal geborene Ausnahme. Diese Feststellung hat sich Anfang Oktober jedoch eingetrübt: Laut Fortune hat OpenAI drei Mitglieder seines Sicherheitsteams entlassen, darunter den technischen Ansprechpartner von METR, mit dem Vorwurf, sensible Informationen außerhalb der Verfahren behandelt zu haben. Die Betroffenen bestreiten dies und sagen, sie seien entlassen worden, weil sie die Sicherheit über die Interessen des Unternehmens gestellt hätten. Transparenz beurteilt man auf Dauer.

Für ein Unternehmen ist das Fazit nüchtern. Ein rentabler Agent ist ein klar gerahmter Agent: eine präzise Aufgabe, begrenzte Rechte, ein gedeckeltes Budget, eine menschliche Freigabe an den richtigen Stellen. Das entscheidet auch darüber, ob sich KI wirklich auszahlt, wie wir im Zusammenhang mit der Rentabilität von KI im Unternehmen erklärt haben. Unser Leitfaden, um KI im Unternehmen einzuführen, stellt diese vier Entscheidungen neben die anderen, in der Reihenfolge, in der sie getroffen werden. Wenn Sie Agenten in Betracht ziehen und möchten, dass sie in ihrem Rahmen und ihrem Budget bleiben, ist das der Sinn unseres Ansatzes einer KI zum fairen Preis mit gedeckelten Agenten, und für die Schlüssel, die sie handhaben, eines Tresors, in dem Ihre Agenten Geheimnisse nutzen, ohne sie zu sehen.

Häufige Fragen

Quellen

1. „AI Just Became Humanity’s Biggest Threat“ (neuer Tab)youtube.com
2. Die Vorfallsmeldung von Hugging Face (neuer Tab)huggingface.co
3. Den technischen Bericht von OpenAI (neuer Tab)cdn.openai.com
4. Die unabhängige Untersuchung von METR und Redwood Research (neuer Tab)metr.org
5. Den Kanal (neuer Tab)youtube.com
6. Fasst die Mechanik zusammen (neuer Tab)yoshuabengio.org
7. Seinen Quellen (neuer Tab)sites.google.com
8. ABC News Australien (neuer Tab)abc.net.au
9. Machte dies zum Kernpunkt seiner Analyse (neuer Tab)simonwillison.net
10. Für zwei Wochen ausgesetzt (neuer Tab)constellationr.com
11. „didn’t quite meet the bar in terms of staying within scope and authorisation“ (neuer Tab)abc.net.au
12. Verklagt OpenAI (neuer Tab)abcnews.com
13. „The Hugging Face Incident Is Not an AI Story“ (neuer Tab)uphack.io
14. Fortune (neuer Tab)fortune.com