Anthropic nenechal svoju AI použiť na sledovanie obyvateľov a drony, americká armáda sa hneď obrátila na OpenAI

Spor medzi Anthropic (Claude AI) a americkým ministerstvom obrany sa vyhrotil okolo dvoch konkrétnych požiadaviek. Firma odmietla umožniť použitie svojich AI modelov na masový domáci dohľad a zároveň odmietla odstrániť bezpečnostné poistky brániace nasadeniu modelov v plne autonómnych zbraňových systémoch bez človeka v rozhodovacej slučke.

Ministerstvo obrany podmienilo pokračovanie približne 200-miliónového kontraktu tým, že Anthropic musí súhlasiť s „akýmkoľvek zákonným použitím“ svojich modelov. Firma to odmietla. Podľa vyjadrenia generálneho riaditeľa Daria Amodeia ide o hranicu, ktorú prekročiť nemôže.

Sporné oblasti

Konflikt sa sústredil na dva body:

• Masový domáci dohľad
  Anthropic odmieta, aby jeho modely boli použité na plošné sledovanie amerických občanov. Podľa Amodeia dnešné AI systémy dokážu automaticky agregovať veľké množstvo legálne získaných dát o pohybe, online aktivite či kontaktoch a vytvoriť detailný profil jednotlivca bez individuálneho súdneho príkazu. Tvrdí, že právny rámec zatiaľ nereflektuje rozsah, v akom AI umožňuje takúto agregáciu dát.
• Plne autonómne zbrane bez človeka v rozhodovacej slučke
  Firma odmieta odstrániť guardrails, ktoré bránia využitiu modelov v systémoch schopných samostatne vyberať a zasahovať ciele bez priameho ľudského rozhodnutia. Podľa Anthropic nie sú súčasné pokročilé AI modely dostatočne spoľahlivé na to, aby niesli takúto zodpovednosť.

Anthropic deklaroval, že aj v prípade straty kontraktu je pripravený umožniť plynulý prechod na iného dodávateľa, aby nedošlo k narušeniu operácií, no svoje zásady meniť neplánuje.

Reakcia Bieleho domu a Pentagonu

Situácia následne nabrala politický rozmer. Trump hneď nariadil federálnym agentúram okamžite prestať používať technológie Anthropic. Označil firmu ako radical left, lebo nechce nechať terorizovať obyvateľov krajiny. Následne Pentagon firmu označil ako „supply chain risk“, teda riziko v dodávateľskom reťazci, kategóriu bežne vyhradenú pre zahraničných protivníkov ako Huawei.

Podľa dostupných informácií majú utajované systémy, ktoré využívajú model Claude, približne šesť mesiacov na jeho úplné odstránenie. Spor sa tak z obchodnej roviny presunul na úroveň federálnej bezpečnostnej politiky.

Anthropic pritom patrí medzi významných dodávateľov AI pre americkú vládu. Ako prvá firma z oblasti tzv. frontier modelov nasadila svoje systémy v klasifikovaných vládnych sieťach a poskytovala upravené modely pre potreby národnej bezpečnosti vrátane spravodajskej analýzy, simulácií, operatívneho plánovania a kybernetických operácií. Jeho AI sa napríklad podieľalo na chytení Madura.

OpenAI uzatvorilo dohodu

Armáda a vláda sa hneď obrátila na OpenAI, ktorý sa zastával postoja Anthropicu no krátko po eskalácii sporu oznámil Sam Altman, že OpenAI dosiahlo dohodu s ministerstvom obrany o nasadení svojich modelov v klasifikovanej sieti.

Altman zároveň uviedol, že OpenAI zdieľa rovnaké dve základné zásady:

• Zákaz masového domáceho dohľadu
• Zachovanie ľudskej zodpovednosti pri použití sily vrátane autonómnych zbraňových systémov

No podľa jeho slov sú však tieto princípy zakotvené aj v zákonoch a politike ministerstva obrany a boli zapracované priamo do dohody.

OpenAI preto plánuje nasadiť modely výhradne v cloudových sieťach, doplnené o technické bezpečnostné mechanizmy a špecializované tímy dohľadu. Bude tak dohliadať na ich využitie.

Je teraz OpenAI v problémoch?

Teda nevieme, nakoľko to OpenAI myslí vážne s dohľadom a obmedzovaním, ale americká vláda nemala nič iné poruke a musela sa s niekým dohodnúť. Eventuálne mali ešte Google, ale tam vzťahy s armádou nie sú dobré. Už mali protesty zamestnancov a neriskovali by to.

Tu je dôležite, čo na to teraz povedia zamestnanci OpenAI a či vo firme zostanú. AI inžinieri sú veľmi cenení a veľmi ľahko prejdú ku konkurencii, hlavne ak ich firma robí niečo tak nemorálne. Záleží na tom, či im to Altman bude vedieť vysvetliť a uistiť ich, že skutočne nedovolí tie dva sporné body.