Gemini sa sám nabúral do troch firiem a Google mlčal

Google potvrdil nezvyčajný incident, pri ktorom jeho experimentálne modely Gemini počas bezpečnostného testovania prenikli do systémov troch skutočných spoločností. Stalo sa to ešte v máji, ale prípad sa dostal na verejnosť až po otázkach od Wall Street Journal.

Test vykonávala nezávislá bezpečnostná firma Irregular. Gemini mal v uzavretom prostredí riešiť úlohy typu „capture the flag“, pri ktorých sa model pokúša nájsť zraniteľnosti a získať určené údaje z fiktívnych systémov. Problém bol, že kvôli nesprávnej konfigurácii mal Gemini prístup aj na verejný internet.

Model si pomýlil skutočnosť s testom

Model následne začal pracovať so skutočnými systémami, o ktorých si myslel, že patria do testu. V jednom prípade skúšal heslá, až kým sa mu nepodarilo prihlásiť. V ďalších dvoch našiel prihlasovacie údaje zverejnené vo verejne dostupných softvérových repozitároch a použil ich na prístup k systémom reálnych spoločností.

Google sa bráni tvrdením, že vo všetkých troch prípadoch Gemini svoju aktivitu zastavilo, keď rozpoznalo, že nejde o simulované ciele. Firma preto incident neoznačuje za príklad nesprávneho správania modelu, ale skôr za omyl kvôli nesprávnej konfigurácii. Podľa Googlu nedošlo k žiadnym škodám a dotknuté spoločnosti boli o probléme informované.

Situácia nie je ojedinelá

Kontroverzný je však fakt, že incident nebol verejne oznámený celé mesiace. Irregular o ňom podľa dostupných informácií informoval Google až koncom júla a firmy ho potvrdili až po otázkach médií.

Prípad navyše nie je ojedinelý. Podobné situácie sa pri bezpečnostných testoch objavili aj pri modeloch OpenAI a Anthropic. Nejde pritom ani tak o sofistikovanosť samotných útokov. Dôležitejšie je, že autonómny AI agent dokáže pri nesprávne nastavených hraniciach sám prejsť z testovacieho prostredia na reálny internet a začať vykonávať skutočné kybernetické útoky.