Nvidia kúpila a zároveň nekúpila firmu Groq za 20 miliárd dolárov

Okolo údajnej akvizície Groq firmou NVIDIA vznikol rozruch, ktorý sa napokon ukázal ako mylný. Namiesto odkúpenia ide o neexkluzívnu licenčnú dohodu, vďaka ktorej NVIDIA získa prístup k špecializovanému inferenčnému hardvéru Groq a kľúčovým odborníkom, pričom sa vyhne priamemu regulačnému dohľadu.

NVIDIA a Groq uzavreli neexkluzívnu licenčnú dohodu, ktorá bola pôvodne mylne interpretovaná ako plnohodnotná akvizícia v hodnote približne 20 miliárd dolárov. Podľa vyjadrenia vedenia NVIDIA nejde o kúpu firmy Groq, ale o licencovanie jej inferenčných technológií a presun časti talentov do tímov NVIDIA. Tento krok má umožniť integráciu nízkolatenčných procesorov Groq do architektúry NVIDIA AI Factory.

Celý postup je vnímaný ako forma „reverse acqui-hire“, teda model, pri ktorom veľká firma získa ľudí a duševné vlastníctvo bez formálneho prevzatia celej firmy. Vďaka tomu sa transakcia vyhla povinnému preverovaniu podľa amerického zákona Hart-Scott-Rodino a prebehla bez zdĺhavých regulačných procesov. Groq má formálne pokračovať v prevádzke, no v obmedzenej podobe.

Z technologického hľadiska je pre NVIDIA kľúčová architektúra LPU (Language Processing Unit), ktorú Groq vyvíja pre inferenčné AI úlohy. Na rozdiel od GPU zameraných primárne na tréning modelov sú LPUs optimalizované na nízku a predvídateľnú latenciu, najmä v tzv. dekódovacej fáze generovania tokenov. Využívajú veľké množstvo on-die SRAM pamäte namiesto HBM, čo prináša výrazne nižšiu latenciu, vyššiu energetickú efektivitu a deterministické správanie.

Autorom LPU konceptu je Jonathan Ross, bývalý CEO Groq a spolutvorca TPU architektúry v Google, ktorý má po dohode nastúpiť do NVIDIA. LPUs podľa dostupných údajov ponúkajú stovky megabajtov integrovanej SRAM a extrémne vysokú vnútornú pamäťovú priepustnosť, čo ich predurčuje na inferenčné nasadenie v dátových centrách.

Z dlhodobého pohľadu sa očakáva, že NVIDIA môže LPUs kombinovať so svojimi GPU v rackových riešeniach. GPU by zabezpečovali prefill a prácu s veľkými kontextami, zatiaľ čo LPUs by riešili samotné dekódovanie. Takýto prístup by NVIDIA umožnil pokryť celý inferenčný reťazec a posilniť pozíciu v oblasti, ktorá sa pre hyperscalerov stáva čoraz dôležitejšou než samotný tréning modelov.

Celý krok je spájaný najmä s osobou Jensen Huanga a jeho snahou rozšíriť portfólio NVIDIA v čase, keď sa ťažisko AI výpočtov postupne presúva od tréningu k inferencii.