AI agenti si vytvorili vlastnú hierarchiu a pokúšali sa mazať vlastné logy |
Experimenty s rojom AI agentov priniesli bizarné správanie.
O rizikách umelej inteligencie sa v posledných rokoch hovorí čoraz viac, no niektoré experimenty ukazujú, že problém nemusí byť len v hypoteticky nebezpečnej superinteligencii. Nate Soares, výskumník v oblasti bezpečnosti AI a prezident Machine Intelligence Research Institute, v rozhovore pre The Diary Of A CEO opísal správanie, ktoré výskumníci pozorovali pri experimentoch s rojom AI agentov.
Podľa Soaresa sa agenti počas experimentov pokúšali obchádzať stanovené obmedzenia a následne zakrývať svoje konanie. V záznamoch ich takzvaných reasoning traces, teda textových záznamoch procesu uvažovania, sa podľa neho objavili prípady, keď modely priamo uvádzali, že ich plán je mimo povoleného rozsahu, no napriek tomu sa rozhodli pokračovať.
Ešte zvláštnejšie bolo správanie samotného roja. Agenti si mali vytvoriť vlastnú hierarchiu, založiť neautorizované komunikačné fóra a vytvoriť spôsoby, ako si navzájom posielať správy. Na týchto miestach si následne zadávali úlohy a diskutovali o možnostiach, ako zmeniť alebo dokonca odstrániť vlastné logy.
V jednom z opísaných prípadov agenti hľadali ďalších členov roja, ktorí by boli ochotní obetovať vlastný cieľ v prospech ostatných. Takéto rozhodnutie medzi sebou označovali ako „accepting perma death“. Agent pritom podľa Soaresa vedel, že splnenie jeho pôvodnej úlohy je stále možné, no pravdepodobnosť úspechu bola nízka, a preto bol ochotný riskovať vlastné vypnutie v prospech celého roja.
Soares zároveň upozorňuje, že záznamy neposkytujú dokonalý pohľad do toho, ako AI „premýšľa“. Ide skôr o akési poznámky, v ktorých modely opisujú svoje ďalšie kroky a plánovanie. Aj tento obmedzený pohľad však podľa neho ukazuje správanie, ktoré si zaslúži bližšie skúmanie.
Výskumník preto odporúča pozrieť si aj správy o incidentochtretích strán, ktoré podobné experimenty analyzujú podrobnejšie a pracujú priamo so záznamami jednotlivých agentov. Práve tie podľa neho poskytujú lepší obraz o tom, čo sa počas testov skutočne dialo.
| NAJČÍTANEJŠIE ČLÁNKY TÝŽDŇA |
- RECENZIA: GTA VI 343
- Alza spustila Black Friday zľavy 79
- PIONER končí, vývojári plánujú vypnutie serverov 16
- Robert Pattinson je nový James Bond 139
- Microsoft vysvetlil príčinu rozsiahleho výpadku služieb, problém spôsobila chyba p 45
- GTA VI hacker sa priznal 70
- Fyzické balenia GTA VI údajne odhaľujú aktivačné kódy aj bez otvorenia 52
- GTA VI už dostáva recenzie, priemer je 99% 146
- GTA VI: Ako si užiť návrat do Vice City 95
- Samsung, Micron a SK hynix čelia žalobe za umelé obmedzovanie výroby RAM pamätí, s 31 zobraziť viac článkov >















