AI agenti si vytvorili vlastnú hierarchiu a pokúšali sa mazať vlastné logy

O rizikách umelej inteligencie sa v posledných rokoch hovorí čoraz viac, no niektoré experimenty ukazujú, že problém nemusí byť len v hypoteticky nebezpečnej superinteligencii. Nate Soares, výskumník v oblasti bezpečnosti AI a prezident Machine Intelligence Research Institute, v rozhovore pre The Diary Of A CEO opísal správanie, ktoré výskumníci pozorovali pri experimentoch s rojom AI agentov.

Podľa Soaresa sa agenti počas experimentov pokúšali obchádzať stanovené obmedzenia a následne zakrývať svoje konanie. V záznamoch ich takzvaných reasoning traces, teda textových záznamoch procesu uvažovania, sa podľa neho objavili prípady, keď modely priamo uvádzali, že ich plán je mimo povoleného rozsahu, no napriek tomu sa rozhodli pokračovať.

Ešte zvláštnejšie bolo správanie samotného roja. Agenti si mali vytvoriť vlastnú hierarchiu, založiť neautorizované komunikačné fóra a vytvoriť spôsoby, ako si navzájom posielať správy. Na týchto miestach si následne zadávali úlohy a diskutovali o možnostiach, ako zmeniť alebo dokonca odstrániť vlastné logy.

V jednom z opísaných prípadov agenti hľadali ďalších členov roja, ktorí by boli ochotní obetovať vlastný cieľ v prospech ostatných. Takéto rozhodnutie medzi sebou označovali ako „accepting perma death“. Agent pritom podľa Soaresa vedel, že splnenie jeho pôvodnej úlohy je stále možné, no pravdepodobnosť úspechu bola nízka, a preto bol ochotný riskovať vlastné vypnutie v prospech celého roja.

Soares zároveň upozorňuje, že záznamy neposkytujú dokonalý pohľad do toho, ako AI „premýšľa“. Ide skôr o akési poznámky, v ktorých modely opisujú svoje ďalšie kroky a plánovanie. Aj tento obmedzený pohľad však podľa neho ukazuje správanie, ktoré si zaslúži bližšie skúmanie.

Výskumník preto odporúča pozrieť si aj správy o incidentochtretích strán, ktoré podobné experimenty analyzujú podrobnejšie a pracujú priamo so záznamami jednotlivých agentov. Práve tie podľa neho poskytujú lepší obraz o tom, čo sa počas testov skutočne dialo.