Akcie pamäťových firiem klesli - Google predstavilo TurboQuant, algoritmus na kompresiu AI modelov |
Akcie viacerých pamäťových výrobcov prudko klesli po zverejnení TurboQuant kompresii AI modelov.
Google dnes predstavil TurboQuant, algoritmus na kompresiu pamäťovej časti AI modelov, konkrétne tzv. KV cache. Podľa Google Research vie znížiť nároky na túto pamäť aspoň 6-násobne a v niektorých testoch priniesť až 8-násobné zrýchlenie pri inferencií na Nvidia H100, pričom v ich benchmarkoch neprišla strata presnosti.
Po oznámení TurboQuantu klesli akcie viacerých pamäťových a SSD firiem, napríklad Micronu (-23%), Sandisku (-11%), ostatní ako Western Digitalu, SK Hynix či Samsung okolo -6%, lebo investori sa zľakli, že AI sektor možno nebude potrebovať toľko drahej pamäte ako sa čakalo. Bežní používatelia by mohli reagovať s nádejou, ale nie je to až také víťazstvo. Nedostatok pamätí to nevyrieši.
TurboQuant rieši hlavne pamäťový problém pri behu veľkých AI modelov, kde KV cache pri dlhých kontextoch žerie obrovské množstvo pamäte. Čo síce pomôže, pri behu modelov a lepšom rozložení pamäte v serveroch medzi používateľmi, ale firmy zrazu nebudú nakupovať menej pamäte.
Určite AI firmy poteší zníženie pamäte, ale nie je to práve to, čo stabilizuje trh.
| NAJČÍTANEJŠIE ČLÁNKY TÝŽDŇA |
- V Múmii 4 sa má vrátiť aj Arnold Vosloo ako Imhotep 30
- GTA VI prinesie rozšírenú ukážku na Netflix a to 27. augusta 122
- GTA VI má podľa Take-Two bezprecedentné predobjednávky 66
- Return to Castle Wolfenstein je po 24 rokoch v Nemecku konečne dostupný bez cenzúr 14
- Alza spustila nové zľavy 7
- GTA VI ukážku budú môcť streameri okamžite preberať z Netflixu 90
- Ryan Hurst ukázal, ako vyzeral v úlohe Krata 25
- Výrobcovia pamätí si vopred zaistili miliardy, kríza môže trvať do 2029 71
- Netflix údajne môže za odhalenie GTA 6 dať až 100 miliónov dolárov 85
- Zdražovanie PC komponentov pokračuje, výrobcovia zvyšujú ceny základných dosiek pr 70 zobraziť viac článkov >
