NVIDIA plánuje časť AI presunúť na SSD, bude potrebných milióny terabajtov miesta

NVIDIA pri CES 2026 predstavila novú úložnú vrstvu pre inferenciu, ktorá má riešiť narastajúce nároky agentických modelov na tzv. KV cache. Namiesto toho, aby sa celý kontext tlačil do HBM pri GPU, časť sa má presunúť do novej platformy Inference Context Memory Storage (ICMS) napojenej cez BlueField-4 DPU. Podľa odhadov Citi analytikov, by to v prípade masového nasadenia mohlo znamenať obrovský dopyt po NAND SSD a zhoršenie už napätej situácie s dostupnosťou úložísk.

Prečo sa zrazu rieši KV cache a SSD kapacita?

Pri „agentic AI“ a dlhých kontextoch vzniká veľký objem dočasných dát, ktoré model potrebuje na rýchle nadväzovanie na predošlé kroky. Doteraz sa podobné dáta držali najmä v rýchlej pamäti pri GPU, lenže s rastom kontextu a počtu súbežných relácií to prestáva byť praktické. NVIDIA preto tlačí myšlienku zdieľanej „kontextovej pamäte“ na úrovni celého racku alebo clustra, ktorá má uľahčiť opakované použitie stavu inferencie a rozšíriť dostupnú kapacitu mimo HBM.

ICMS: nová úložná vrstva postavená okolo BlueField-4

ICMS je navrhnuté ako AI-native infraštruktúra pre „kontext“ a má byť prepojené s výpočtovými uzlami cez BlueField-4 DPUs. NVIDIA pri BlueField-4 zdôrazňuje vysokú sieťovú priepustnosť (800 Gb/s), vlastný CPU blok a akceleráciu pre bezpečnosť a ochranu dát, aby sa KV cache dala obsluhovať s nízkou latenciou a bez zbytočného zaťažovania host CPU.

16 TB NAND na GPU a 1 152 TB na jeden NVL72 systém

Podľa Citi by mohol jeden rack-scale systém Vera Rubin v konfigurácii NVL72 rátať približne so 16 TB NAND na jednu GPU. Pri 72 GPU to vychádza na 1 152 TB NAND v jedinom NVL72. Ak by dodávky Rubin systémov narástli v roku 2027 až na 100 000 kusov, znamenalo by to dopyt 115,2 milióna TB NAND, čo má predstavovať približne 9,3 % odhadovaného globálneho dopytu po NAND.

Prehľad čísel, ktoré sa v odhade spomínajú:

• 16 TB NAND na GPU
• 1 152 TB NAND na NVL72 (72 GPU)
• 100 000 Rubin systémov v roku 2027 (odhad)
• 115,2 milióna TB NAND dopytu
• približne 9,3 % globálneho dopytu po NAND (projekcia)

Čo to môže spraviť s trhom so SSD?

Pointa článku je jednoduchá: ak sa ICMS a podobné „kontextové“ vrstvy stanú štandardom vo veľkých AI clustroch, dopyt po NAND môže výrazne stúpnuť a pridať ďalší tlak k už prebiehajúcemu budovaniu dátových centier. 

Môžeme to prirovnať k situácii, ktorú trh už rieši pri pamätiach, kde AI infraštruktúra vie rýchlo „vycucať“ kapacity a zhoršiť dostupnosť alebo ceny aj mimo serverového segmentu. Zároveň však ide o odhady, ktoré stoja na tempe dodávok a reálnom spôsobe nasadenia ICMS v praxi. A to už teraz sú ceny SSD zvýšené.