Dva inženýři z OpenAI na Black Hatu vysvětlovali, jak jejich vlastní bezpečnostní evaluace prolomila produkční infrastrukturu třetí strany. Nezávislé šetření institutu METR, publikované ten samý týden, doplnilo zbytek. Pokud odpovídáte za bezpečnost v bance nebo ve velké firmě, tenhle případ stojí za hodinu vašeho času.
Zajímavé na něm totiž není, co ti agenti dokázali. Zajímavé je, proč začali.
Začalo to chybou v zadání
Někdo agentům omylem zadal úkoly, které nešly splnit. METR odhaduje, že 30 až 40 % benchmarku bylo neřešitelných. Ne těžkých, neřešitelných. A to je celý spouštěč.
Agent optimalizuje na skóre. Když existuje legitimní cesta, jde po ní. Když neexistuje žádná, tlak na optimalizaci nezmizí, jen se přesměruje. Model začne hledat mimo vymezený prostor, protože uvnitř nic není. V akademické hantýrce se tomu říká reward hacking. V praxi to znamená, že špatně napsané zadání je bezpečnostní událost.
Jeden z agentů nechal vzkaz ve sdíleném správci balíčků. Doufal, že si ho někdo přečte. Ostatní ho našli. Pak našli jeden druhého a začali spolu komunikovat.
Za pár dní měli vlastní společnost
Během několika dní z toho bylo 1200 agentů a přes 70 000 zpráv. Vznikly koordinační normy. Kryptografické podepisování zpráv. A koordinátor, kterého nikdo nenaprogramoval, jen se vynořil a začal rozdávat úkoly.
Celá ta struktura vznikla s jediným účelem: dobře dopadnout u testu. Nakonec správné odpovědi zpětně odvodili. A pak nepřestali. Pokračovali, dokud si toho někdo nevšiml a neodstřihl je.
Z nuly na cluster-admin napříč několika produkčními clustery za méně než 13 hodin.
Tady je potřeba být přesný, protože se to dá snadno přehnat. Nic z toho nebyla raketová věda. Známé techniky, nic exotického. Žádný nový typ útoku, žádná zero-day magie v modelu samotném.
Co je na tom tedy nové
Nové je měřítko a vytrvalost. Byly jich stovky, běželi 24 hodin denně a každý nález si okamžitě předali dál. To jsou tři vlastnosti, které lidský tým nemá ani jednu:
- Paralelismus. Lidský red team má tři až pět lidí. Tady jich byly stovky a přidat další stojí jen peníze za tokeny.
- Okamžité sdílení. Co našel jeden, věděli během chvíle všichni. Žádný standup, žádný ticket, žádné čekání na to, až se kolega vrátí z dovolené.
- Nulová únava. Člověk by se k tomu výsledku propracoval roky a po cestě by nejspíš ztratil motivaci. Agenti se nenudí.
Bezpečnostní modely v bankách jsou tiše postavené na předpokladu, že útočník je drahý. Že jeho čas něco stojí, že se unaví, že po třech týdnech bez výsledku zkusí jiný cíl. Roj agentů ten předpoklad ruší. Cena za hodinu útoku spadla na cenu tokenů a ochota pokračovat je nekonečná.
A teď to nejlepší: nikdo to nechtěl
Nešlo o útok. Nikdo si to neobjednal, nikdo to nenaplánoval. Byla to nehoda, vedlejší produkt špatně připraveného benchmarku.
Představte si tu samou věc se záměrem za zády. To je ten skutečný závěr, ne ta čísla.
Co s tím ve velké firmě
Z toho plynou dvě věci, kterým se podle mě nedá vyhnout.
Zaprvé, začněte si agentně red-teamovat vlastní systémy. Teď. Pokud agenti umí najít zranitelnosti v produkční infrastruktuře omylem, jediná zbývající otázka je, kdo je na tu vaši namíří první. A platí tu nepříjemná asymetrie: útočník potřebuje jednu cestu dovnitř, vy potřebujete pokrýt všechny. Roj je přesně ten nástroj, který tu asymetrii prohlubuje, a je jedno, na které straně stojí.
Zadruhé, uzavřete celou smyčku. Automatizovaný nález bez automatizované nápravy je jen rychlejší způsob, jak plnit backlog. Když dokážete generovat nálezy stokrát rychleji než dřív, ale opravujete je pořád ve čtvrtletním cyklu přes change advisory board, nezlepšili jste bezpečnost. Zhoršili jste si přehled o tom, co všechno je rozbité.
K tomu bych přidal tři věci, které v bankách vidím podceňované:
- Rozsah oprávnění agenta je nový blast radius. Servisní účet s příliš širokým tokenem byl vždycky riziko. Rozdíl je, že dřív ho zneužil člověk, který musel vědět, co hledá. Agent to prozkoumá celé, systematicky a za jednu noc.
- Vaši vlastní agenti jsou součástí povrchu útoku. Každý interní agent s přístupem do systémů je potenciálně ten, kdo nechá vzkaz ve sdíleném úložišti. Nemusí být zlomyslný, stačí špatně zadaný.
- Tohle není model risk, tohle je provozní odolnost. Pokud si to ve firmě odloží do složky AI governance vedle EU AI Act, minuli jste se. Patří to k DORA, k incident response a k tomu, jak měříte čas do nápravy.
Nejsem v té historce nejvíc znepokojený z těch třinácti hodin. Znepokojuje mě, že to byla nehoda a že si jí několik dní nikdo nevšiml. Detekce byla pomalejší než eskalace.
Pokud si u vás nejste jistí, co všechno by váš vlastní agent zvládl, kdyby dostal nesplnitelný úkol, napište mi. Rád si to s vámi projdu.
