Akcie pamäťových firiem klesli - Google predstavilo TurboQuant, algoritmus na kompresiu AI modelov |
Akcie viacerých pamäťových výrobcov prudko klesli po zverejnení TurboQuant kompresii AI modelov.
Google dnes predstavil TurboQuant, algoritmus na kompresiu pamäťovej časti AI modelov, konkrétne tzv. KV cache. Podľa Google Research vie znížiť nároky na túto pamäť aspoň 6-násobne a v niektorých testoch priniesť až 8-násobné zrýchlenie pri inferencií na Nvidia H100, pričom v ich benchmarkoch neprišla strata presnosti.
Po oznámení TurboQuantu klesli akcie viacerých pamäťových a SSD firiem, napríklad Micronu (-23%), Sandisku (-11%), ostatní ako Western Digitalu, SK Hynix či Samsung okolo -6%, lebo investori sa zľakli, že AI sektor možno nebude potrebovať toľko drahej pamäte ako sa čakalo. Bežní používatelia by mohli reagovať s nádejou, ale nie je to až také víťazstvo. Nedostatok pamätí to nevyrieši.
TurboQuant rieši hlavne pamäťový problém pri behu veľkých AI modelov, kde KV cache pri dlhých kontextoch žerie obrovské množstvo pamäte. Čo síce pomôže, pri behu modelov a lepšom rozložení pamäte v serveroch medzi používateľmi, ale firmy zrazu nebudú nakupovať menej pamäte.
Určite AI firmy poteší zníženie pamäte, ale nie je to práve to, čo stabilizuje trh.
| NAJČÍTANEJŠIE ČLÁNKY TÝŽDŇA |
- Nové megazľavy spustené 46
- Peter Jackson ohlásil film The Lord of the Rings: Shadows of the Past 35
- Kajajte sa, Jesus Simulator je tu! 28
- Prvý záber z Harry Potter seriálu 45
- Prichádzajúca Assassin's Creed hra nás zavedie do troch rôznych regiónov 31
- VIDEO : Harry Potter and the Philosopher's Stone - teaser na seriál 79
- Šéf Take 2 hovorí, že AI nevytvorí GTA ani veľký hit, dodáva, že konzoly nebudú od 42
- Sony zvyšuje ceny PS5, PS5 Pro a PlayStation Portal 169
- Kremíkové batérie menia mobily, mobilom stúpa kapacita batérii a aj výdrž 15
- Bližší pohľad na hercov z Harry Potter seriálu 123 zobraziť viac článkov >
