Akcie pamäťových firiem klesli - Google predstavilo TurboQuant, algoritmus na kompresiu AI modelov |
Akcie viacerých pamäťových výrobcov prudko klesli po zverejnení TurboQuant kompresii AI modelov.
Google dnes predstavil TurboQuant, algoritmus na kompresiu pamäťovej časti AI modelov, konkrétne tzv. KV cache. Podľa Google Research vie znížiť nároky na túto pamäť aspoň 6-násobne a v niektorých testoch priniesť až 8-násobné zrýchlenie pri inferencií na Nvidia H100, pričom v ich benchmarkoch neprišla strata presnosti.
Po oznámení TurboQuantu klesli akcie viacerých pamäťových a SSD firiem, napríklad Micronu (-23%), Sandisku (-11%), ostatní ako Western Digitalu, SK Hynix či Samsung okolo -6%, lebo investori sa zľakli, že AI sektor možno nebude potrebovať toľko drahej pamäte ako sa čakalo. Bežní používatelia by mohli reagovať s nádejou, ale nie je to až také víťazstvo. Nedostatok pamätí to nevyrieši.
TurboQuant rieši hlavne pamäťový problém pri behu veľkých AI modelov, kde KV cache pri dlhých kontextoch žerie obrovské množstvo pamäte. Čo síce pomôže, pri behu modelov a lepšom rozložení pamäte v serveroch medzi používateľmi, ale firmy zrazu nebudú nakupovať menej pamäte.
Určite AI firmy poteší zníženie pamäte, ale nie je to práve to, čo stabilizuje trh.
| NAJČÍTANEJŠIE ČLÁNKY TÝŽDŇA |
- Disney vraj rozmýšľa nad zrušením poslednej Star Wars trilógie z hlavného príbehu 81
- RECENZIA: World of Warcraft: Midnight 32
- Alza rozbehla nové zľavy 16
- Pri vydaní GTA 6 môžu hráčov prekvapiť ceny konzol 100
- RECENZIA: Dragon Quest VII Reimagined 4
- Vyjde lepšie zloženie PC, alebo kúpenie skladaného PC? Pozrime sa na ceny na jar 2 38
- Chrome potichu sťahuje 4 GB AI model do vášho PC 78
- Porovnanie rozdielov výkonu v Windows 11 Xbox mode 38
- Prieskum ukazuje, že väčšina hráčov si už hry nekupuje za plnú cenu 52
- Steam štatistiky ukazujú, že napriek cenám pamätí používatelia prechádzajú na 32GB 63 zobraziť viac článkov >
