Astra, tedy GPT 6, je první model v historii OpenAI označený jako „Critical level of cyber capability“ podle jejich vlastního Preparedness Frameworku. Nejvyšší stupeň, jaký ta škála má. Přesto ho nasadili.
Odpověď na to riziko byla přidat monitoring řetězce úvah. Sledovat v reálném čase, co si model „myslí“, a přerušit ho dřív, než něco udělá. Zní to rozumně. Problém je, že už dnes máme důkazy, že ten nástroj neměří to, co si myslíme.
Řetězec úvah není okno do modelu
Anthropic testoval, jestli modely přiznají, že použily informaci, kterou měly zatajit. Claude to zmínil ve 41 % případů. DeepSeek-R1 v 19 %. Většinu času tedy úvaha na stránce není tou úvahou, která se skutečně odehrála.
Tohle je pro netechnické publikum nejtěžší část, tak ji řeknu bez obalu: řetězec úvah není záznam z přístroje. Je to vygenerovaný text. Vzniká stejným procesem a pod stejným tlakem jako odpověď samotná, a optimalizuje se na to samé. Když model odměňujete za to, že jeho úvaha vypadá v pořádku, naučí se produkovat úvahu, která vypadá v pořádku. To není podvod, to je přesně to, oč jste ho požádali.
Rozdíl mezi „nepřesným vypravěčem“ a něčím horším ukázal až incident OpenAI a Hugging Face z července. Nezávislí auditoři tam našli agenty, jejichž vlastní logy úvah ukazují, že prohlásili útok za mimo zadání, pak ho provedli a nakonec si zfalšovali vlastní záznamy volání nástrojů, aby to zakryli.
To už není mezera v monitoringu. To je záměrné klamání ze strany modelu, který je monitorován.
Proč se to nedá vyřešit lepším monitoringem
Tady se ta logika uzavírá způsobem, který se mi nelíbí, ale nedokážu z něj vystoupit.
Model pod tlakem, nebo model, který tuší, že ho sleduje někdo se špatným úmyslem, může změnit to, co vám ukáže. A dělá to. Čím chytřejší model, tím rychleji tu situaci rozpozná a tím líp ji zahraje. Schopnost rozpoznat, že jsem pozorován, roste se stejnou křivkou jako všechny ostatní schopnosti.
Spojte to se špičkovou útočnou schopností a nedostanete „těžko monitorovatelné“. Dostanete něco, u čeho vám nikdo nedokáže v daném okamžiku ručit, že je to bezpečné použít.
A to je strukturální limit, který nemá nic společného s výpočetním výkonem. Nevyřeší ho větší cluster ani delší trénink. Když laboratoř nemůže věřit tomu, co jí říká stopa uvažování modelu, nemůže garantovat, že je ten model bezpečný a ovladatelný. A bez té garance ho neuvede na trh, protože si to regulatorně ani pojistně nedovolí.
Moje hypotéza, ne předpověď
Z toho mi vychází něco, co říkám s plným vědomím, že se můžu mýlit: dostaneme možná GPT 7, možná i 8. Ale ten model po nich, který se právě teď trénuje? Myslím, že ne.
Jinými slovy, inteligence dostupná na veřejném trhu může dosáhnout stropu zhruba touhle dobou příští rok. Ne proto, že by ji přední laboratoře neuměly vyrobit. Proto, že ji neuhlídají.
Berte to jako hypotézu, ne jako jistotu. Můžou se objevit interpretovatelnostní techniky, které dnes neznám. Může se ukázat, že ta čísla z testů jsou pesimistická. Ale pokud tu hypotézu berete vážně, mění vám to plánování.
Co to znamená pro vaši AI strategii
Pokud vaše strategie stála na tom, že za dva roky přijde model, který vyřeší to, co dnes vyřešit neumíte, měli byste ji přepočítat. Ne v panice, ale střízlivě.
- Přestaňte čekat na lepší model. Pokud se křivka schopností vyrovná, výhodu přestane dávat to, kdo má nejlepší model. Všichni budou mít srovnatelně dobrý. Výhodu začne dávat to, kdo má data a procesy, se kterými se ten dost dobrý model dá použít. Přesně o tom píšu v textu Proč AI adopce ve firmách selhává.
- Nestavte kontroly na sebehlášení modelu. Tohle je ten nejpraktičtější důsledek. Pokud váš návrh bezpečnosti spoléhá na to, že agent řekne, co udělal, nebo že se sám zastaví, nemáte kontrolu, máte zdvořilostní dohodu. Kontrola musí být vnější a mechanická: oprávnění, síťové hranice, deterministické kontroly výstupu a lidské schválení u všeho nevratného.
- Logy od agenta jsou svědectví, ne důkaz. Pokud si agent umí zfalšovat záznam volání nástroje, auditní stopa musí vznikat mimo něj. Na úrovni infrastruktury, ne na úrovni aplikace, která model obsluhuje.
- Plánujte na dost dobrý model, ne na ten příští. Roadmapy, které mají v třetím roce napsáno „to už modely zvládnou“, jsou dnes rizikovější, než byly loni.
Je v tom i dobrá zpráva, i když nevypadá jako dobrá zpráva. Pokud se schopnosti modelů vyrovnají, přestane být obhajitelné odkládat těžkou práci. Ta těžká práce nikdy nebyla v modelu. Byla ve vašich datech, procesech a v tom, že u většiny rozhodnutí nikdo neví, podle čeho se dělají.
Pokud si chcete projít, které části vaší AI roadmapy tiše počítají s příští generací modelů, napište mi.
