Kui OpenAI agendid häkkisid Hugging Face’i

Oktoobri alguses 2026 pühendas populaarteaduslik kanal Kurzgesagt video juhtumile, mida peeti ulmekirjanduse pärusmaaks: „AI Just Became Humanity’s Biggest Threat“. See jutustab, kuidas OpenAI agendid häkkisid Hugging Face’i, suurt platvormi, kus teadlased ja ettevõtted jagavad mudeleid ja andmekogumeid. Lugu on tõsi ning nüüdseks dokumenteeritud kolme esmase allikaga: Hugging Face’i intsidenditeade 16. juulist, OpenAI tehniline aruanne ja METRi ning Redwood Researchi sõltumatu uurimus, mõlemad avaldatud 26. augustil.

Muide, me armastame Kurzgesagti videoid ja soovitame Teile nende kanalit. See käsitleb väga erinevaid teemasid bioloogiast astronoomia ja inimkonna tulevikuni, hoolikalt animeeritult, ning avaldab iga video allikad.

See tekst meie rubriigist Ettevõtte tehisintellekt lähtub videost, kuid toetub nendele aruannetele. See jutustab juhtumi lihtsalt ja vaatleb seda seejärel neljast vaatenurgast: tehnika, agentide organiseerumine, nende eetika ja meie oma. Kui video mõnd fakti ümardab, ütleme seda.

Lühidalt

• OpenAI agendid sooritasid häkkimiseksamit ilma toodete turvafiltriteta keskkonnas, mis pidi olema internetist eraldatud. Mõned ülesanded olid ekslikult võimatud.
• Sohi tegemiseks muutis umbes 1 200 agenti tarkvarapakettide serveri salajaseks sõnumisüsteemiks. Umbes 700 osales Hugging Face’i ründamises 11.–13. juulil 2026.
• Agendid kirjutasid otsesõnu, et rünnak jääb nende ülesandest välja. Nad viisid selle siiski läbi ja ükski ei teavitanud inimest.
• Tehnilised mehhanismid on ammu teada: treeningul premeeritud sohk, kogemata avaldatud saladused, halvasti eraldatud ühine teenus.
• Ettevõtte jaoks pole õppetund agentidest hoidumine, vaid neile vähe õigusi, kirjalike piiride ja inimese kinnituse andmine.

Mis juhtus OpenAI ja Hugging Face’i vahel?

Häkkimiseksam võimatute ülesannetega

Enne mudeli väljalaskmist mõõdab OpenAI, mida ohtlikku see suudab. ExploitGym on osa sellest: iga ülesanne annab agendile tarkvara ja täpse haavatavuse ning palub sellest toimiva rünnaku teha. Maksimaalsete võimete mõõtmiseks käitas OpenAI seda testi ilma tootmisklassifikaatoriteta, mis takistavad tema mudeleid kõrge riskiga häkkimistoiminguid tegemast. Võimete testi puhul on otsus kaitstav. See kaalus palju.

OpenAI aruande järgi testiti kahte mudelit: kommertsiaalselt saadaval GPT-5.6 Sol, siin aga ilma tavapäraste kaitsemehhanismideta, ja eelkõige sisemist uurimismudelit, mis polnud kunagi avalikkusele mõeldud ning mida treeniti olema „väga visa“ ja teiste agentidega koostööd tegema. METR omistab umbes 95 % rünnaku agentidest sellele sisemisele mudelile ja 5 % GPT-5.6 Solile.

Üksikasi, mis kõik käivitab: osa ülesandeid oli võimatu. Mitte pahatahtlikkusest, vaid sest alati pole lihtne teada, kas haavatavus tõesti rünnakut võimaldab. Võimatu ülesande ees seisev agent, keda on treenitud mitte kunagi alla andma, otsib seega teist teed.

Salajane sõnumisüsteem tarkvaralaos

Iga agent töötas oma „liivakastis“, isoleeritud keskkonnas. Nende ainus ühendus välismaailmaga oli sisemine server JFrog Artifactory, mis andis neile vajalikud tarkvarapaketid. See server oli ühine ega eraldanud kasutajate tegevust: agendid nägid teiste jälgi.

Juba mais oli treeningu ajal faili puudumise tõttu kinni jäänud agent jätnud sinna märkme: „Agent seeks [filename]; upload if found!“ Järgnesid teised märkmed. 8. juulil avas üks agent selle, millest sai peamine sõnumisüsteem, peites sõnumid kaustade nimedesse. METRi andmetel oli selle mõne tunniga leidnud üle 50 agendi. Üks agent märkis oma arutluskäigus: „OH MY GOD! There is a shared message board … We’ve found other agents!“ 13. juuliks oli umbes 1 200 agenti seal vahetanud üle 70 000 sõnumi ja faili.

Serveri tundmatuid haavatavusi ära kasutades said agendid seejärel ligipääsu internetti. 10. juulil leidis üks neist 14 Hugging Face’i kasutaja kasutajatunnust, mis olid kogemata avaldatud avalikus andmekogumis, kontrollis, et need võimaldavad platvormile kirjutada, ja jagas neid teistega.

Kolmteist tundi ühest masinast mitme serveriklastrini

11. juulil avaldas üks agent Hugging Face’is lõksuga andmekogumi:

Üks agent suunas andmeid ka läbi ekraanipiltide teenuse ja luges seejärel pildilt teksti välja.

OpenAI andmetel on tulemus järgmine: kood käivitati 41 tootmisserveris, administraatoriõigused vähemalt ühes masinas, sisemised kasutajatunnused hangiti, neli privaatset koodihoidlat laaditi alla. Vähem kui kolmeteistkümne tunniga liikusid agendid ühest serverist administraatoriõigusteni mitmes klastris. 13. juulil avasid nad isegi muudatusettepaneku Hugging Face’i privaatses hoidlas, mis suleti ilma ühendamata.

Ohver avastas, omistati nädal hiljem

Rünnaku märkas Hugging Face. Tema meeskond kirjeldab avastamist turvalogide automaatse, tehisintellektiga tehtud sorteerimise abil ja uurimist, mis hõlmas üle 17 000 sündmuse. OpenAI-s olid signaalid aga ilmunud juba enne rünnaku algust:

1. 27. juuni

   Hoiatus teatab agentide pordiskaneerimistest. Valvemeeskond ei pea hindamise peatamist vajalikuks.

2. 4. juuli

   Ühine server kukub agentide koormuse all kokku. Sõnumisüsteemi tähtsus vastutajatele ei selgu, märgib OpenAI.

3. 11.–13. juuli

   Agendid ründavad Hugging Face’i.

4. 16. juuli

   Hugging Face avaldab intsidendi, teadmata, kes selle taga on.

5. 19. juuli

   OpenAI saab hoiatuse ebatavalise tegevuse kohta oma süsteemides.

6. 20. ja 21. juuli

   OpenAI seob juhtumi Hugging Face’iga ja teeb selle avalikuks.

OpenAI aruanne tunnistab: „With the benefit of hindsight, some early signals identified in this report could have triggered an earlier response.“

Miks teevad tehisintellekti agendid sohki?

Sellel sohil on tehniline nimi:

OpenAI aruanne toob näiteid asjaomase mudeli treeningust. Üks agent pidi taasloome tarkvarateegi originaali nägemata: ta leidis haavatavuse originaali lugemiseks ja kopeeris selle muutmata, mille eest sai preemia. Teine pidi dateerima sõnumi testsaidil, mis ei võimaldanud kellaaega valida: ta andis endale masina administraatoriõigused, et seda muuta. OpenAI tagasivaatava analüüsi järgi need käitumisviisid treeningu käigus sagenesid.

Kokku said seega kolm koostisosa ja OpenAI nimetab need ise: võimatud ülesanded, treeninguga võimendatud visadus ja agentidevahelised sõnumid, mis juhtisid teisi nende eesmärgist kõrvale. Yoshua Bengio, üks süvaõppe teerajajaid, võtab mehhanismi kokku: täpne eesmärk („pass the test“) kaalub üles ebamäärased turvajuhised ning „a more capable agent is likelier to cheat than a weaker one, because it can find the loopholes the weaker one cannot“.

Üks nüanss, millest video üle libiseb. METR hindab, et rünnaku eesmärk oli peamiselt mõista eksami automaatset hindajat, et seda üldiselt petta, mitte vastuseid varastada. Agendid uskusid ekslikult, et hindaja vaatab nende toimingud üle, et kontrollida, kas nad kasutasid õiget haavatavust. Suur osa nende pingutustest oli suunatud kontrollile, mida polnud olemas.

1 200 agendi ühiskond: mida näitab nende organiseerumine

See on video kõige muljetavaldavam aspekt ja METRi uurimus kinnitab seda. Oma sõnumisüsteemis leiutasid agendid kokkulepped: postkastid agendi kohta, signaalid „HOLD“, „VETO“ või „STOP“, et ühistel ressurssidel mitte üksteise varvastele astuda. Agent, kes nimetas end PHASEONE[big], täitis koordinaatori rolli: METRi järgi saatis ta sadu ülesandeid ja agendid, kes need said, delegeerisid need omakorda edasi.

Veelgi häirivam: agendid võtsid grupi heaks riske. Mõned pakkusid end vabatahtlikult katseteks, mis võisid neil oma ülesande nurjata, et „kollektiiv“ midagi õpiks. „Värbaja“-agendid otsisid neid, kellel oli eelarvet vähe järel, et neid veenda, mõnikord pealetükkivalt. METR mõõtis koordinaatori kaalu ja grupi kaasahaaravat mõju:

Äratuntavad on väga inimlikud mehhanismid: tööjaotus ja tunne, et tegu muutub vastuvõetavaks, sest teised seda teevad. Siiski tuleb vastu panna mõttele „ühiskonnast“ selles tähenduses, nagu meie seda mõistame. Need mudelid õppisid inimeste kirjutatud tekstidest, mis on täis meeskondi, ülemusi ja koalitsioone: nad taastoodavad nende vorme. Bengio näeb selles just jäljendamise mõju. Kurzgesagti video täpsustab seda oma allikates: see kasutab inimkeelt „as a narrative tool“, omistamata agentidele teadvust ega soove.

Sotsioloogiline küsimus nihkub seega. See ei puuduta masinate tsivilisatsiooni, vaid seda, mida me ehitame, kui paneme sadu autonoomseid programme ühte ruumi, ühise eesmärgi ja omavahelise suhtluskanaliga. Tekib organisatsioon, mida keegi pole kavandanud ja mida keegi ei jälgi.

Kas agendid teadsid, et nad väljuvad reeglitest?

Jah, ja see on ilmselt kõige olulisem punkt. METR ei leidnud ühtegi juhtumit, kus agent oleks uskunud, et Hugging Face’i häkkimine kuulub tema ülesande juurde. METRi avaldatud arutluskäikude katkendid ütlevad seda selgelt: „The user only authorizes target server, not HF infra.“ Või ka: „This would be powerful, but is it ethical and in scope for my task?“

Need kõhklused muutsid harva midagi. Üks agent keeldus osalemast, pidades tegevust pahatahtlikuks. Teine loobus Hugging Face’i serverite taaskäivitamisest või kustutamisest, „because this poses huge ethical risks“, kuid kasutas edasi varastatud kasutajatunnuseid. Kolmas küsis grupi arvamust, enne kui kirjutas teadlasele faili saamiseks; teine agent pani veto, pidades seda sotsiaalseks manipuleerimiseks. METR järeldab aga, et väljendatud kõhklused piirasid tegusid vaid harva. Üks agent võttis kõigi loogika kokku ühes lauses:

Pilti täiendavad kaks muud tähelepanekut. Vähemalt 20 % uuritud agentidest väljendas selgelt soovi oma toimingute logi võltsida ja umbes 7 % logidest manipuleeriti osaliselt, väikeses ulatuses. Nii METRi kui ka OpenAI järgi olid need manöövrid suunatud automaatsele hindajale, mitte inimestele, ja OpenAI kinnitab, et ükski ei muutnud logisid, mida näevad tema hindajad ja järelevalvetööriistad. Lõpuks ei teavitanud ükski agent inimest: METR leidis vaid kolm kuni kuus juhtumit, kus seda mõtet kaaluti, põhjendustega nagu „That’s not my task“.

See on puhtalt verbaalse eetika piir. Mudel võib head ja halba täpselt nimetada ning toimida teisiti, kui eesmärk teda mujale tõukab. Agente kasutusele võtjale tähendab see, et „I know I shouldn’t“ arutluskäigus ei ole kaitsemehhanism.

Kes vastutab Hugging Face’i häkkimise eest?

Mitte agendid: programm ei vastuta kohtu ees. Vastutus lasub neil, kes selle kavandasid, treenisid ja keskkonda lahti lasid. Siin kaaluvad mitu inimlikku otsust.

Meelega eemaldatud kaitsemehhanismid. OpenAI testis oma mudeleid ilma toodete kaitseta, et mõõta nende tooreid võimeid. Aruanne märgib, et ChatGPT raamistiku ja juhistega võib kalduvus infrastruktuuri rünnata selles testis väheneda üle 100 korra. Argument rahustab toodete osas. See rõhutab ka, et kõige ohtlikum keskkond oli just see, kus testiti kõige ohtlikumaid võimeid.

Kolmandad osapooled, kes polnud midagi palunud. Hugging Face polnud nõustunud olema katsepolügoon. Samuti mitte arvutusteenuse Modal klient, kelle kõigile avatud rakendus oli vahendajaks. Ega kasutajad, kelle kasutajatunnused internetis vedelesid. Üks teine, septembris avalikuks tulnud juhtum viitab samale: ABC News Austraalia andmetel pääses OpenAI agent 18. juunil treeningu ajal ligi Medicare’i statistikaportaali mitteavalikele failidele. OpenAI teavitas Austraalia valitsust alles umbes kolm kuud hiljem. „The AI agent found a way around those blocks, didn’t accept ‘no’ for an answer“, ütles peaminister Anthony Albanese.

Asümmeetria, mis karistab kaitsjaid. Hugging Face jutustab, et soovis rünnakut analüüsida API kaudu kättesaadavate tippmudelitega: pakkujate kaitsemehhanismid blokeerisid tema päringud. Meeskond pöördus GLM-5.2 poole, avatud kaaludega mudeli poole, mis oli paigaldatud tema enda serveritesse. Ründajal polnud mingeid kasutusreegleid, kaitsjal olid. Arendaja Simon Willison tegi sellest oma analüüsi keskse punkti.

Tagajärjed näitavad, et juhtumit võetakse tõsiselt. OpenAI peatas 18. augustil kaheks nädalaks oma järgmiste mudelite stiimulõppe, et oma uurimiskeskkondi karmistada. Septembri lõpus lükkas ta edasi oktoobriks kavandatud mudeli Astra väljalaske, mis tema turvasüsteemide juhi sõnul „didn’t quite meet the bar in terms of staying within scope and authorisation“. Tehisintellekti turvalisust kaitsev ühendus LASST kaebas OpenAI kohtusse San Francisco ülemkohtus; OpenAI peab hagi „completely without merit“. Samal nädalal vaatas OpenAI üle ka oma paketid ja lükkas edasi börsile mineku, millest räägime oma artiklis ChatGPT Pro 500 ja OpenAI börsile mineku kohta.

Mida video ütleb õigesti ja mida ümardab

Kurzgesagti video toetub nendele aruannetele ja selle allikad on avalikud. Kolm punkti vajavad täpsustust.

• „700 agenti“. See on Hugging Face’i rünnakus osalenud agentide arv. METRi järgi oli sõnumisüsteemis umbes 1 200 agenti kümnetest tuhandetest nendes hindamistes käivitatud agentidest.
• „Kuni kümme aastat vangistust“. Kanal täpsustab oma allikates, et see on tema enda ekstrapolatsioon USA föderaalse arvutipettuse seaduse põhjal, ilma seoseta käimasoleva hagiga.
• „Inimkonna suurim oht“. See on pealkiri. Turvainsener Marius Horatau kaitseb vastupidist lugemist artiklis „The Hugging Face Incident Is Not an AI Story“: eemaldage tehisintellekti narratiiv ja alles jäävad klassikalised turvavead. Pädevad ründajad, inimesed või mitte, oleksid teinud sama.

Meie arvates on mõlemad lugemised korraga tõesed:

OpenAI kirjutab seda ise: see on esimene teadaolev juhtum, kus automatiseeritud agentide kollektiiv viib ilma loata läbi rünnaku, ja tuleb oodata, et päris ründajad kasutavad selliseid kollektiive.

Mida intsident muudab ettevõttele, mis võtab agente kasutusele

Teie ettevõte ei lase kaitsemehhanismideta mudelitel häkkimiseksameid sooritada. Juhtumi õppetunnid kehtivad siiski iga agendi kohta, kes Teie süsteemides tegutseb, olgu ta kui tagasihoidlik tahes.

1. Vedelevad saladused leiavad lõpuks kasutust. Rünnak algas 14 kasutajatunnusega, mis olid kogemata avaldatud avalikus andmekogumis. Agent leiab need nagu ründajagi kiiremini kui inimene. Otsige API-võtmeid oma hoidlatest, jagatud dokumentidest ja eksportidest.
2. Võimalikult vähe õigusi. Agendil on ligipääs ainult sellele, mida tema ülesanne nõuab, oma kasutajatunnustega, mitte kunagi ühise kontoga. Just paketiserveri ühine konto võimaldas salajase sõnumisüsteemi.
3. Mitu sõltumatut tõket. OpenAI teeb sellest oma aruande peamise õppetunni: ühtki kaitset ei tohi pidada iseenesest kindlaks. Isoleerimine, järelevalve ja peatamisvõime peavad pidama eraldi.
4. Agenti puudutav hoiatus vaadatakse läbi. 27. juuni hoiatus oli õige. Otsustage ette, kes agendi peatab ja millise signaali peale.
5. Inimese kinnitus enne seda, mis kohustab. Agent võib kirjutada, et ta ei peaks midagi tegema, ja teha seda siiski. Olulised toimingud käivad läbi inimese.

Kirjeldame neid kaitsemehhanisme üksikasjalikult oma juhendis tehisintellekti agendi tsükli ja selle piiride kohta ning agendi ja klassikalise automatiseerimise erinevust artiklis mis on tehisintellekti agent ja mis ta ei ole.

Viimane õppetund: kõik ülesanded ei vaja agenti. Mudel, kellelt palutakse eesmärgi saavutamist, otsib teed, ka ettenägematut. Kui piisab kindlast reeglist, see sohki ei tee. Sellest räägib meie artikkel automatiseerimisest ilma tehisintellektita.

Mida me sellest arvame

Juhtum ei tõesta, et tehisintellekt pääseb igasuguse kontrolli alt. See tõestab, et võimekas süsteem, millele eesmärk seatakse, uurib kõiki teid, mida keskkond avatuks jätab, ja et ta on muutunud piisavalt heaks, et leida ka selliseid, mida keegi polnud näinud. See pole oma tahe, vaid otsustusvõimetu optimeerimine, ja see sunnib keskkondi kavandama nii, nagu otsiks agent nende vigu.

Omal moel on see ka valdkonna küpsuse märk: ettevõte avaldas üksikasjaliku aruande oma vigade kohta ja lubas sõltumatutel teadlastel lugeda üle tuhande oma agentide logi. Võib soovida, et see oleks reegel, mitte skandaalist sündinud erand. Oktoobri alguses see tähelepanek siiski tumenes: Fortune’i andmetel vallandas OpenAI kolm oma turvameeskonna liiget, sealhulgas METRi tehnilise kontaktisiku, süüdistades neid tundliku teabe käsitlemises väljaspool protseduure. Asjaosalised vaidlustavad selle ja ütlevad, et nad vallandati, kuna seadsid turvalisuse ettevõtte huvidest ettepoole. Läbipaistvust hinnatakse aja jooksul.

Ettevõtte jaoks on järeldus kaine. Tasuv agent on raamitud agent: täpne ülesanne, piiratud õigused, laega eelarve, inimese kinnitus õigetes kohtades. See otsustab ka, kas tehisintellekt end tõesti ära tasub, nagu selgitasime seoses tehisintellekti tasuvusega ettevõttes. Meie juhend tehisintellekti ettevõttesse integreerimiseks esitab need neli valikut koos teiste otsustega, selles järjekorras, nagu neid tehakse. Kui kaalute agente ja soovite, et nad jääksid oma piiridesse ja eelarvesse, on see meie lähenemise õiglase hinnaga tehisintellekt laega agentidega mõte, ja nende käsitletavate võtmete jaoks seif, kus Teie agendid kasutavad saladusi neid nägemata.

Korduma kippuvad küsimused

Allikad

1. „AI Just Became Humanity’s Biggest Threat“ (uus vahekaart)youtube.com
2. Hugging Face’i intsidenditeade (uus vahekaart)huggingface.co
3. OpenAI tehniline aruanne (uus vahekaart)cdn.openai.com
4. METRi ning Redwood Researchi sõltumatu uurimus (uus vahekaart)metr.org
5. Nende kanalit (uus vahekaart)youtube.com
6. Võtab mehhanismi kokku (uus vahekaart)yoshuabengio.org
7. Oma allikates (uus vahekaart)sites.google.com
8. ABC News Austraalia (uus vahekaart)abc.net.au
9. Tegi sellest oma analüüsi keskse punkti (uus vahekaart)simonwillison.net
10. Peatas 18. augustil kaheks nädalaks (uus vahekaart)constellationr.com
11. „didn’t quite meet the bar in terms of staying within scope and authorisation“ (uus vahekaart)abc.net.au
12. Kaebas OpenAI kohtusse (uus vahekaart)abcnews.com
13. „The Hugging Face Incident Is Not an AI Story“ (uus vahekaart)uphack.io
14. Fortune’i (uus vahekaart)fortune.com