Mozille našiel AI model Mythos vo Firefoxe 271 bezpečnostných chýb

Mozilla bližšie ukázala, ako počas dvoch mesiacov využila AI model Anthropic Mythos na hľadanie zraniteľností vo Firefoxe. Výsledkom má byť 271 bezpečnostných chýb, pričom podľa Mozilly pri nálezoch prakticky nevznikali falošné pozitíva.

Téma prichádza po tom, čo CTO Mozilly nedávno vyhlásil, že vďaka AI asistovanému vyhľadávaniu zraniteľností môžu byť „zero-day“ chyby na ústupe a obrancovia konečne získavajú výraznejšiu výhodu. Takéto tvrdenie prirodzene vyvolalo skepsu, keďže AI nástroje pri analýze kódu často produkujú presvedčivo znejúce, ale nepresné alebo úplne vymyslené bug reporty.

Mozilla teraz vysvetľuje, že tentoraz nešlo len o jednoduché zadanie modelu, aby našiel chybu v konkrétnom bloku kódu. Kľúčom mal byť vlastný agentový harness, teda systém, ktorý AI model vedie cez konkrétne úlohy, dáva mu prístup k nástrojom a necháva ho pracovať v prostredí podobnom tomu, ktoré používajú vývojári Firefoxu.

AI nedostala len kód, ale aj nástroje vývojárov

Podľa Mozilly predchádzajúce pokusy s AI asistovaným hľadaním chýb často narážali na problém takzvaného „slopu“. Modely síce produkovali množstvo reportov, ale veľká časť z nich po kontrole ľudskými vývojármi neobstála. Boli v nich nepresnosti, vymyslené detaily alebo problémy, ktoré sa nedali reálne reprodukovať.

Pri Mythose Mozilla postupovala inak. Model nedostal len pokyn analyzovať kód, ale aj prístup k nástrojom, ktoré mu umožnili čítať a upravovať súbory, vytvárať testovacie prípady a spúšťať ich cez existujúce testovacie a fuzzingové systémy Firefoxu. Pri hľadaní pamäťových chýb používala Mozilla špeciálny sanitizer build prehliadača, ktorý vie zachytiť nebezpečné správanie v pamäti.

Model tak mohol dostať konkrétny zdrojový súbor a úlohu nájsť problém. Následne vytvoril testovací vstup, napríklad špecifický HTML kód, ktorý by mohol chybu vyvolať. Ak test skutočne spôsobil pád alebo odhalil problém, nasledovalo ďalšie overovanie.

Druhý AI model kontroloval výstupy prvého

Mozilla do procesu zapojila aj druhý AI model, ktorý hodnotil výstup prvého modelu. Až potom sa výsledky dostávali k ľudským vývojárom. Podľa Briana Grinsteada z Mozilly práve tento postup priniesol dôveru, ktorú tím pri starších AI nástrojoch nemal.

Grinstead tvrdí, že pri chybách, ktoré prešli týmto procesom, sú falošné pozitíva takmer nulové. Vývojári tak podľa neho dostali jasný spôsob, ako problém reprodukovať, opraviť a následne pridať test, aby sa chyba do kódu neskôr nevrátila.

Mozilla zároveň odtajnila 12 Bugzilla reportov zo spomínaných 271 chýb. Každý z nich obsahuje aj testovací prípad, teda kód, ktorý problém vyvoláva. Podľa Mozilly tieto prípady spĺňajú rovnaké kritériá ako bežné bezpečnostné chyby vo Firefoxe.

Väčšina nálezov patrila medzi vážnejšie chyby

Z celkových 271 chýb nájdených pomocou Mythosu bolo 180 označených ako sec-high. Ide o najvyššiu internú kategóriu Mozilly pre interne nahlásené bezpečnostné chyby. Takéto zraniteľnosti môžu byť potenciálne zneužiteľné pri bežnom používaní prehliadača, napríklad po otvorení webovej stránky.

Ďalších 80 chýb dostalo označenie sec-moderate a 11 bolo zaradených do kategórie sec-low. Vyššia kategória sec-critical je podľa článku vyhradená pre aktívne zneužívané zero-day chyby.

Časť kritiky sa týka aj toho, že zraniteľnosti nemajú vlastné CVE označenia. Mozilla však vysvetľuje, že pri interne nájdených bezpečnostných chybách to bežne nerobí. Podobné opravy často zlučuje do jedného balíka a detailné reporty v Bugzille necháva niekoľko mesiacov skryté, aby chránila používateľov, ktorí ešte nestihli aktualizovať prehliadač.

Veľké tvrdenia budú ďalej narážať na skepsu

Ani nové vysvetlenia pravdepodobne neukončia debatu o tom, či je AI v hľadaní zraniteľností skutočne prelomová. Kritici môžu namietať, že Mozilla ukázala len vybrané úspešné prípady a že AI sektor má stále silnú motiváciu nafukovať očakávania okolo svojich nástrojov.

Mozilla však tvrdí, že v tomto prípade nejde o marketing konkrétneho modelu alebo firmy. Podľa Grinsteada chce tím hlavne ukázať, že pri správne navrhnutom procese môže AI asistované hľadanie chýb fungovať výrazne lepšie než staršie pokusy, ktoré produkovali najmä hromady neoverených reportov.

Dôležité je práve spojenie AI modelu s jasnými testovacími signálmi. Model nestačí nechať len čítať kód a písať domnienky. Musí mať možnosť svoje podozrenia overiť, pripraviť reprodukovateľný test a prejsť ďalšou kontrolou. Až vtedy sa z AI nástroja nestáva len generátor možných problémov, ale praktický pomocník pri hľadaní reálnych zraniteľností.

V prípade Firefoxu Mozilla tvrdí, že tento prístup už priniesol stovky bezpečnostných opráv. To ešte neznamená koniec zero-day zraniteľností, ale ukazuje to, že AI môže pri obrane softvéru dostať konkrétnejšiu a praktickejšiu rolu než len produkovanie presvedčivo znejúcich reportov.