RTX Neural Texture Compression vie znížiť nároky na VRAM aj o viac ako 80%, prvé benchmarky ukazujú záťaž

Tom’s Hardware sa pozrel na pripravovanú technológiu RTX Neural Texture Compression, skrátene NTC, ktorú Nvidia predstavuje ako jednu z kľúčových neurálnych noviniek pre budúcnosť grafiky. To čakáme, že bude všeobecne budúcnosť používania textúr, keďže to bude fungovať na všetkých kartách.

Ide o AI systém na kompresiu a dekompresiu textúr, ktorý využíva Tensor jadrá a podľa testov vie výrazne znížiť pamäťové nároky. Vo zverejnenej ukážke dokáže znížiť spotrebu textúrovej pamäte približne o 85%.

Technológia funguje tak, že pôvodné textúry prevedie do kombinácie malej neurónovej siete a latentných dát. Textúry sa potom jednotlivé texely dekomprimujú priebežne pri použití. Nvidia pritom zdôrazňuje, že nejde o generatívny systém, ale o deterministickú rekonštrukciu. Na filtrovanie sa používa Stochastic Texture Filtering, teda STF, ktorým sa dosiahne správne filtrovanie textúr.

Medzi najzaujímavejšie výhody patrí:

• zníženie spotreby textúrovej pamäte približne o 85% v režime Inference on Sample
• podpora až 16 kanálov naraz, zatiaľ čo BC formáty pracujú len s 1 až 4 kanálmi
• lepšia zhoda s referenčnými textúrami než pri BCn kompresii v niektorých scénach
• možnosť znížiť aj veľkosť dát na disku a objem prenášaných dát cez PCIe
• podpora nielen na Nvidia GPU, ale aj na AMD a Intel hardvéri

 Neural Texture Compression má teraz v DirectX 12 tri režimy:

• Inference on Load - neznižuje VRAM pamäť, znižuje veľkosť súborov
  Základný systém dekomprimuje textúry už pri načítaní levelu a prevádza ich do BC formátov. Výhodou je nulový dopad na výkon pri renderovaní a menšie nároky na miesto na disku či prenos cez PCIe. Nevýhodou je, že tento režim neznižuje spotrebu VRAM oproti klasickým BCn textúram. Reálne tak vo výsledku ušetrí len na veľkosti hry, čo ale stále môže byť zaujímavé, keďže textúry môžu byť o 85% menšie.
• Inference on Sample - zamerané na maximálne zníženie VRAM pamäte
  Prináša najväčšiu úsporu VRAM, ale zároveň má cenu vo výkone, keďže dekompresia prebieha priebežne počas renderovania.
• Inference on Feedback - kompromis medzi pamäťou a záťažou
  Je kompromis medzi oboma prístupmi a dekomprimuje len textúrové tiles potrebné pre aktuálny pohľad. To je niečo, čo už teraz optimalizované hry robia a do budúcnosti by to ešte bolo komprimované.

Výhodou NTC má byť aj vyššia efektivita oproti tradičnej blokovej kompresii. Nvidia zároveň ukazuje, že pri rovnakom rozpočte VRAM môže NTC zachovať citeľne viac detailov než BCn textúry. V testovanej scéne boli textúry v režime Inference on Sample takmer identické s referenčnými nekomprimovanými materiálmi. Tieto ukážky sme si už dávali pri ohlásení, hlavná zmena bola zníženie pamäte zo 6.5GB na 970MB.

Tu to v jednotlivých režimoch vyzerá nasledovne:

Testy

Testy prebehli na ukážke RTX Neural Texture Compression sample s Sponza scénou a Colorful Curtains balíkom. Dôležité však je, že išlo len o jednoduchú ukážku so základným forward renderovaním a TAA alebo DLSS. Reálne hry spracúvajú grafiku na viac úrovniach a dopad na výsledný výkon môže byť menší ako v tech deme

Výsledky najnáročnejśieho Inference on Sample na jednotlivých GPU vyzerali takto:

• RTX 5090, 4K: dopad režimu Inference on Sample bol relatívne nízky aj vo vysokom rozlíšení
• RTX 5070, 1440p: rozdiel oproti Inference on Load bol približne 0,50 až 0,70 ms
• RTX 5070, 4K: dopad stúpol na približne 1,20 ms
• RTX 5060, 1080p: rozdiel bol približne 0,60 až 0,70 ms
• RTX 5060, 1440p: dopad už presiahol 1 ms
• RTX 5060, 4K: rozdiel sa blížil k 2 ms
• RTX 4060 Laptop GPU, 1080p: dopad bol približne 0,70 až 0,85 ms

Nemáme priamo framerate, ale pri 60 fps je to by to bol dopad okolo 2 fps až po 6 fps pri RTX5060 4K ale to pri tej karte aj tak nebudete púšťať. Reálne sa zdá, že aj pri nižších kartách to nemusí byť problém a ušetrilo by sa veľa VRAM. Ale je to len tech demo a priamo hrách môže byť dopad menší.

Developer Alexey Panteleev z Nvidie vysvetlil, že vhodnosť Inference on Sample režimu bude závisieť aj od konkrétnej implementácie v hre, od počtu renderovacích priechodov, práce s materiálmi a celkovej zložitosti shaderov. Zároveň dodal, že hry nemusia NTC používať na všetky textúry, ale len tam, kde to dáva zmysel.

Odporúča:

• režim On Sample má zmysel hlavne tam, kde hra naráža na limit VRAM
• ak hra po znížení kvality textúr stále beží dostatočne rýchlo, NTC môže byť čistý prínos
• nie všetky textúry musia byť komprimované cez NTC
• niektoré špecifické mapy, napríklad displacement mapy, môže byť lepšie ponechať mimo NTC

Potrebný je antialiasing

Dôležitou podmienkou je aj anti-aliasing. Stochastic Texture Filtering síce pomáha pri kvalite filtrovania, ale bez vyhladzovania spôsobuje výrazný šum. Ten sa podľa testu najlepšie odstráni pri zapnutom DLSS. TAA ho väčšinou potlačí, ale nie úplne. Režim Inference on Sample pritom STF vyžaduje, a teda bez kvalitného AA riešenia nemusí obraz vyzerať ideálne.

Tu sú hlavné vizuálne a praktické obmedzenia:

• bez AA môže byť obraz citeľne zašumený
• TAA šum väčšinou obmedzí, ale nie úplne
• DLSS čistí obraz najlepšie
• STF sa pri Inference on Sample nedá vypnúť
• technológia tak zatiaľ najlepšie zapadá do hier, ktoré už počítajú s DLSS alebo podobným vyhladzovaním

Stále je to len začiatok nasadzovania technológie, takže na reálne