Akcie pamäťových firiem klesli - Google predstavilo TurboQuant, algoritmus na kompresiu AI modelov |
Akcie viacerých pamäťových výrobcov prudko klesli po zverejnení TurboQuant kompresii AI modelov.
Google dnes predstavil TurboQuant, algoritmus na kompresiu pamäťovej časti AI modelov, konkrétne tzv. KV cache. Podľa Google Research vie znížiť nároky na túto pamäť aspoň 6-násobne a v niektorých testoch priniesť až 8-násobné zrýchlenie pri inferencií na Nvidia H100, pričom v ich benchmarkoch neprišla strata presnosti.
Po oznámení TurboQuantu klesli akcie viacerých pamäťových a SSD firiem, napríklad Micronu (-23%), Sandisku (-11%), ostatní ako Western Digitalu, SK Hynix či Samsung okolo -6%, lebo investori sa zľakli, že AI sektor možno nebude potrebovať toľko drahej pamäte ako sa čakalo. Bežní používatelia by mohli reagovať s nádejou, ale nie je to až také víťazstvo. Nedostatok pamätí to nevyrieši.
TurboQuant rieši hlavne pamäťový problém pri behu veľkých AI modelov, kde KV cache pri dlhých kontextoch žerie obrovské množstvo pamäte. Čo síce pomôže, pri behu modelov a lepšom rozložení pamäte v serveroch medzi používateľmi, ale firmy zrazu nebudú nakupovať menej pamäte.
Určite AI firmy poteší zníženie pamäte, ale nie je to práve to, čo stabilizuje trh.
| NAJČÍTANEJŠIE ČLÁNKY TÝŽDŇA |
- Zlodeji chceli ukradnúť náklad Nvidia grafických kariet, no namiesto grafických ka 9
- RECENZIA: SILENT HILL: Townfall 87
- RECENZIA: Diablo IV: Age of Hatred Collection 27
- Xbox Helix má podľa leakov ponúkať 40% vyšší výkon GPU ako PS6 130
- PS5 Pro môže byť do konca roka problém zohnať, vydanie GTA VI tomu nepomáha 144
- CD Projekt zverejnil presný čas vydania The Witcher 3 Remastered 47
- RECENZIA: EA Sports FC 27 18
- Microsoft sa pýta hráčov, či chcú v novom XBOXe podporu fyzických diskov, farebné 52
- Kojima nechápal, prečo Sony zrušilo Physint, bude to jeho potenciálne najpredávane 107
- Útek pred GTA 6: Ako jedna hra prepísala jesenný kalendár celého herného priemyslu 35 zobraziť viac článkov >
