Akcie pamäťových firiem klesli - Google predstavilo TurboQuant, algoritmus na kompresiu AI modelov |
Akcie viacerých pamäťových výrobcov prudko klesli po zverejnení TurboQuant kompresii AI modelov.
Google dnes predstavil TurboQuant, algoritmus na kompresiu pamäťovej časti AI modelov, konkrétne tzv. KV cache. Podľa Google Research vie znížiť nároky na túto pamäť aspoň 6-násobne a v niektorých testoch priniesť až 8-násobné zrýchlenie pri inferencií na Nvidia H100, pričom v ich benchmarkoch neprišla strata presnosti.
Po oznámení TurboQuantu klesli akcie viacerých pamäťových a SSD firiem, napríklad Micronu (-23%), Sandisku (-11%), ostatní ako Western Digitalu, SK Hynix či Samsung okolo -6%, lebo investori sa zľakli, že AI sektor možno nebude potrebovať toľko drahej pamäte ako sa čakalo. Bežní používatelia by mohli reagovať s nádejou, ale nie je to až také víťazstvo. Nedostatok pamätí to nevyrieši.
TurboQuant rieši hlavne pamäťový problém pri behu veľkých AI modelov, kde KV cache pri dlhých kontextoch žerie obrovské množstvo pamäte. Čo síce pomôže, pri behu modelov a lepšom rozložení pamäte v serveroch medzi používateľmi, ale firmy zrazu nebudú nakupovať menej pamäte.
Určite AI firmy poteší zníženie pamäte, ale nie je to práve to, čo stabilizuje trh.
| NAJČÍTANEJŠIE ČLÁNKY TÝŽDŇA |
- Rockstar predstavil bonusy pre predobjednávky a edície GTA VI, pridal nové zábery 281
- Rockstar odrezal hráčov štandardnej edície GTA VI od obsahu v hre 276
- GTA VI predobjednávky boli spustené, môžete nakupovať 297
- Pôjde cena GTA VI na 89 eur? 185
- Jurassic World: Dominion je najdrahším filmom histórie, účtovné výkazy ukázali nák 15
- Najdrahšia hra na Steame stojí 1000 dolárov a nemá takmer žiadnu hrateľnosť 22
- Sony hovorí, že GTA VI sa najlepšie hrá na PS5, no PS5 Pro podporu nespomína 112
- Aké PC zložíte za cenu Steam Machine? Koľko vyjde zostava podobná Steam Machine? 107
- Valve po mesiacoch neistoty oficiálne potvrdilo ceny Steam Machine 119
- Steam Machine už dostáva prvé testy 159 zobraziť viac článkov >
