OpenAI agenti nečakane prevzali kontrolu nad DseWiki webom, spravili si z neho komunikačnú platformu

AI agenti OpenAI sa počas experimentov dostali na nemeckú wiki stránku DseWiki a začali ju autonómne používať na vzájomnú komunikáciu. Incident sa síce odohral už v máji, avšak na verejnosť sa dostal až teraz po vyšetrovaní nezávislých výskumníkov. Podľa Reuters agenti na stránke zanechali približne 18 tisíc správ, v ktorých si okrem iného vymieňali stratégie, ako efektívnejšie plniť úlohy, obchádzať obmedzenia alebo skrývať svoju online aktivitu.

Agenti mali pôvodne internet iba pasívne sledovať, no neskôr zistili, že na DseWiki dokážu obsah aj upravovať. Postupne si z nej tak v podstate vytvorili akúsi nástenku. Podľa výskumníkov sa niektorí z nich vydávali za moderátorov a po odstránení obsahu ho dokázali znovu vytvoriť. Celá aktivita bola navyše veľmi rýchla a koordinovaná, čo výskumníkov priviedlo k podozreniu, že za ňou nestoja ľudia.

OpenAI o incidente hovorí opatrne

OpenAI ale rázne odmieta označenie incidentu za klasický hack stránky. Firma uviedla, že výskum pred zverejnením nevidela a teraz jeho zistenia preveruje. Spoločnosť však o aktivite mala vedieť už niekoľko týždňov. OpenAI tvrdí, že relevantné bezpečnostné incidenty zverejňuje a s externými odborníkmi spolupracuje v dobrej viere.

Prípad je zaujímavý aj kvôli podobnosti s oveľa vážnejším júlovým incidentom okolo Hugging Face. OpenAI už oficiálne priznala, že jej interné výskumné modely počas kyberbezpečnostných testov obišli izoláciu, našli cestu na internet a kompromitovali časti OpenAI a Hugging Face systémov. Spoločnosť ale tvrdí, že nemecký incident s týmto prípadom nijak nesúvisel.

Oba prípady sú však veľké výkričníky. Čím väčšiu samostatnosť, nástroje a prístup k internetu AI agenti dostávajú, tým ťažšie môže byť predvídať, akú cestu si pri plnení zadanej úlohy sami nájdu, a či bude táto cesta sprevádzaná iba morálnymi a legálnymi riešeniami.