Nvidia nám na Gamescome za zatvorenými dverami ukázala budúcnosť DLSS. AI už nemá len zrýchľovať hry, ale vylepšovať ich obraz

Keď Nvidia v posledných rokoch hovorila o DLSS, väčšinou išlo o pomerne ľahko uchopiteľný koncept. Hra sa vyrenderuje v nižšom rozlíšení, neurónová sieť dopočíta chýbajúce detaily a výsledkom má byť obraz podobný alebo v niektorých prípadoch lepší ako pri natívnom renderovaní. Postupne sa pridalo generovanie snímok, ray reconstruction a ďalšie technológie, ktoré posúvali hranice toho, čo vlastne ešte znamená „renderovať hru“.

Na tohtoročnom Gamescome sme však mali možnosť za zatvorenými dverami vidieť niečo podstatne ambicióznejšie. Nvidia nám detailne predstavila novú generáciu DLSS 5 - technológiu, ktorá už nemá byť iba nástrojom na zvýšenie výkonu alebo rekonštrukciu obrazu. Jej cieľom je vstúpiť priamo do procesu tvorby výsledného obrazu a pomocou generatívneho AI modelu pridávať vizuálne informácie, ktoré klasický renderovací proces z rôznych dôvodov nedokáže vytvoriť.

Nvidia nám pritom neukazovala iba hotové zábery typu „predtým a potom“. Veľká časť prezentácie bola venovaná tomu, čo sa deje pod povrchom. Videli sme pracovné nástroje, rôzne verzie modelu, možnosti jeho nastavovania, automatické masky, jednotlivé vrstvy efektu a predovšetkým spôsob, akým chce Nvidia nechať vývojárom kontrolu nad tým, čo AI v obraze vlastne robí.

A to je pravdepodobne najdôležitejšia vec celej technológie. Nvidia sa nesnaží postaviť AI nad vývojárov a nechať ju svojvoľne „vylepšovať“ hotovú hru. Aspoň podľa prezentácie chce DLSS 5 fungovať ako ďalšia vrstva renderovacieho pipeline, ktorá rešpektuje existujúcu scénu, jej geometriu a obsah, ale dokáže obohatiť výsledný obraz o množstvo jemných vizuálnych detailov. Stále pritom vychádza z toho, čo už v obraze je, nevie si vymyslieť niečo úplne nové..

Každá hra je kompromis

Prezentácia sa začala zaujímavým návratom k základom počítačovej grafiky. Jeden z predstaviteľov Nvidie, ktorý pred príchodom do herného priemyslu pracoval aj vo filmovom priemysle a na vizuálnych efektoch, pripomenul zásadný rozdiel medzi filmovým a herným renderovaním. Pri filme môže jeden záber vznikať celé hodiny. Jeden frame môže renderovať sedem, pätnásť alebo dokonca štyridsať hodín. Výsledný obraz môže obsahovať obrovské množstvo simulácií svetla, odrazov, tieňov a ďalších efektov, pretože divák výsledok uvidí až po tom, čo je celý proces hotový.

Videohra taký luxus nemá. Hra musí vytvárať desiatky alebo stovky obrazových snímok každú sekundu. Každá z nich navyše môže závisieť od toho, čo hráč práve urobil. Pohol kamerou, stlačil tlačidlo alebo sa zmenila situácia v hernom svete. Preto je prakticky každá hra kompromisom medzi umeleckou víziou a dostupným výkonom.

Umelec by mohol pridať viac geometrie. Svetelný dizajnér viac zdrojov svetla. Materiály by mohli byť komplexnejšie. Scéna by mohla obsahovať presnejšie odrazy, simuláciu svetla alebo jemnejšie detaily povrchov. V určitom momente však hra prestane bežať v reálnom čase. Jednoducho by nefungovala. A práve tu chce Nvidia nájsť nové miesto pre generatívnu AI.

Myšlienka DLSS 5 je v zásade jednoduchá, hoci technicky ide o mimoriadne komplikovaný problém. Klasický renderer vytvorí scénu tak, ako ju definuje hra. Určí geometriu, objekty, materiály, textúry, pohyb a základné vzťahy medzi svetlom a povrchmi. Generatívny model následne dostane hotový obraz a má za úlohu doplniť doň ďalšie vizuálne informácie. Nie však meniť scénu. To je veľmi dôležitý rozdiel.

AI nesmie zmeniť príbeh

Pri každej diskusii o generatívnej AI vo videohrách prirodzene vzniká jedna zásadná otázka: čo ak AI jednoducho začne veci vymýšľať? Generatívne modely, ktoré dnes poznáme, fungujú práve na schopnosti vytvárať nový obsah. Dostanú textový prompt alebo referenciu a vytvoria obraz, video alebo inú informáciu. To je však pri videohrách problém.

Hra nemôže dovoliť, aby sa model rozhodol, že postava bude vyzerať trochu inak. Nemôže zmeniť objekt. Nemôže premiestniť predmet. Nemôže zmeniť tvár postavy alebo odstrániť jazvu, ktorá je dôležitou súčasťou príbehu. Nvidia preto pri prezentácii opakovane zdôrazňovala jednu vec: generovanie musí zostať úplne verné zdrojovému obrazu. Ak má postava jazvu, AI môže zmeniť spôsob, akým na jej pokožke reaguje svetlo. Môže pridať jemnejšie tieňovanie. Môže vytvoriť presvedčivejšie odrazy alebo simulovať jemné vlastnosti pokožky. Jazva však nesmie zmiznúť.

„DLSS môže zmeniť obraz, ale nesmie zmeniť príbeh,“ bola v zásade hlavná myšlienka, ktorá sa počas prezentácie neustále vracala. Model preto nevychádza z abstraktného textového popisu. Je priamo podmienený vyrenderovaným frameom hry. Renderovaný obraz mu presne hovorí, čo sa v scéne nachádza. Kde sú postavy. Kde sú objekty. Ako vyzerá kompozícia. Aká je identita jednotlivých prvkov.

Pri vývoji modelu Nvidia navyše využíva ďalšie informácie dostupné v renderovacom procese, napríklad textúry povrchov, normály alebo informácie o vzťahoch medzi svetlom a scénou. Model sa tak učí rozpoznávať, aká je základná štruktúra obrazu. Výsledkom má byť systém, ktorý môže zlepšovať vizuálny vzhľad bez toho, aby menil základnú realitu, ktorú vytvoril samotný herný engine.

A Nvidia zachádza ešte ďalej. Podľa prezentácie má byť výsledok pixelovo verný zdrojovému obrazu v tom zmysle, že ak sa už v pôvodnom renderi nachádza určitý artefakt alebo chyba, DLSS 5 ho nemusí jednoducho „opraviť“ a riskovať tým zmenu obsahu scény. Ak je chyba v zdroji, bude aj po nasadení DLSS 5. Je to zvláštny kompromis. Na jednej strane chceme od AI, aby obraz obohatila. Na druhej strane jej Nvidia stanovuje veľmi prísne hranice v tom, čo nesmie robiť. Práve schopnosť nájsť rovnováhu medzi týmito dvoma vecami bude podľa všetkého rozhodujúca.

Nejde len o vyššie rozlíšenie

To najzaujímavejšie sme však videli priamo na ukážkach. DLSS 5 podľa prezentácie nepracuje iba s detailmi, ktoré si človek tradične spája s upscalingom. Nvidia hovorila o pridávaní množstva takzvaných mikro vizuálnych signálov. Ide napríklad o presvedčivejšie kontaktné tiene, ambientné zatienenie, jemnejšie odrazy, lepšie správanie svetla na pokožke alebo presnejšiu simuláciu materiálov.

Vývojári nám ukazovali detailné porovnania na postavách. Rozdiel často nebol v tom, že by AI zrazu vytvorila nový objekt. Namiesto toho sa menilo množstvo veľmi jemných vecí. Svetlo lepšie reagovalo na pokožku. V okolí očí sa objavili presvedčivejšie tiene a odrazy. Tvár získala väčšiu hĺbku. Lepšie pôsobil kontakt medzi jednotlivými časťami oblečenia. Veľmi často sa spomínal subsurface scattering, teda spôsob, akým svetlo preniká do určitých materiálov a následne sa v nich rozptyľuje. Typickým príkladom sú ľudské uši alebo listy rastlín.

Ak zasvietite cez ucho, svetlo do určitej miery prenikne cez jeho materiál a rozptýli sa. Výsledkom je charakteristický efekt, ktorý pri nedostatočnej simulácii môže v digitálnom obraze chýbať. Podobne fungujú listy rastlín. Presná simulácia takýchto efektov je výpočtovo náročná a hry pri nej musia robiť kompromisy. DLSS 5 chce výsledný obraz obohatiť práve o podobné detaily bez toho, aby ich musel herný engine simulovať v rovnakej kvalite priamo počas renderovania. To je zároveň dôvod, prečo Nvidia novú technológiu neprezentuje ako náhradu ray tracingu.

Práve naopak. „Better input, better output“ je filozofia, ktorú nám pri ukážke prakticky demonštrovali. DLSS 5 dokáže pracovať aj s klasickým rasterizovaným obrazom a zlepšiť jeho vizuálny vzhľad. Ak však dostane kvalitnejší vstup - napríklad scénu využívajúcu ray tracing alebo path tracing - má viac informácií, z ktorých môže vychádzať. Výsledok potom môže byť ešte lepší. Generatívna AI teda nemá ray tracing nahradiť. Má sedieť nad existujúcim renderovacím pipeline a posúvať jeho výsledok ďalej.

Vývojár si môže vybrať, čo AI zmení

Práve tu sa prezentácia dostala k možno najdôležitejšej praktickej časti. Generatívna AI je sama osebe nástroj, ktorý môže vytvárať veľmi rozdielne výsledky. Čo je „realistickejší obraz“? Viac kontrastu? Silnejšie tiene? Teplejšie osvetlenie? Výraznejšie materiály? Neexistuje jedna univerzálna odpoveď. Nvidia preto vytvorila systém, v ktorom má vývojár k dispozícii viac modelov a viac vrstiev kontroly.

Počas prezentácie sme videli napríklad rôzne varianty modelu. Vývojár nemusí vybrať jeden model pre celú hru. Môže používať iný model v exteriéroch, iný v interiéroch a ďalší napríklad počas filmových scén. Každý môže byť trénovaný alebo nastavený tak, aby poskytoval mierne odlišný výsledok. K dispozícii sú aj globálne nastavenia intenzity.

Structure intensity upravuje predovšetkým jemnú štruktúru obrazu - detaily tieňov, ambientného zatienenia, odrazov a ďalších prvkov, ktoré dodávajú scéne väčšiu hĺbku. Tone intensity naopak pracuje viac s farebným a svetelným charakterom obrazu. Vývojár môže napríklad ponechať pôvodné farby a osvetlenie prakticky nedotknuté, ale využiť AI na zvýraznenie jemných štruktúr a detailov. Alebo môže použiť obe vrstvy. Alebo ich aplikovať iba v konkrétnych situáciách. A práve tu sa dostávame k tomu, čo bolo na ukážke možno najpôsobivejšie.

AI vie, na čo sa pozerá

DLSS 5 podľa Nvidie dokáže analyzovať samotný obraz a vytvárať automatické masky jednotlivých prvkov. Model vie rozpoznať, že určitá časť obrazu je postava. Iná je prostredie. Ďalšia je konkrétny predmet. To znamená, že vývojár nemusí nutne aplikovať rovnakú intenzitu efektu na celý obraz. Môže napríklad vylepšiť iba tváre postáv. Alebo iba vegetáciu. Alebo iba konkrétny typ objektov.

Počas ukážky Nvidia demonštrovala situáciu, kde bol celý obraz ponechaný v pôvodnom stave, zatiaľ čo generatívne vylepšenie bolo aplikované iba na konkrétnu postavu. A model dokáže rozpoznať, že tvár aj ruky, medzi ktorými je oblečenie, je stále tá istá postava, takže rovnaké nastavenie aplikuje na tvár aj dlane. Neskôr bolo možné meniť intenzitu aj na jednotlivých častiach scény.

Teoreticky teda môže existovať hra, ktorá použije DLSS 5 veľmi konzervatívne. AI bude vylepšovať iba drobné detaily tvárí. Ale iná hra môže model využiť omnoho agresívnejšie a nechať ho obohatiť prakticky celý obraz. Vývojár pritom zostáva tým, kto určuje výsledok. A to je podľa Nvidie zásadný rozdiel medzi nástrojom pre tvorbu hier a autonómnym generatívnym systémom. Model síce vykonáva samotnú prácu, ale umelecké rozhodnutia majú zostať v rukách ľudí.

Jeden frame dnu, jeden frame von

Technologicky je celý problém ešte komplikovanejší. Bežné generatívne video modely môžu pri vytváraní výsledku pracovať s viacerými frameami naraz. Potrebujú vidieť pohyb v čase, aby dokázali zabezpečiť, že postava vyzerá rovnako a jej pohyb je konzistentný. Videohra však nemá k dispozícii budúce snímky. Hra nevie, čo hráč spraví o zlomok sekundy. Preto musí systém fungovať prakticky v režime jeden frame dnu, jeden frame von.

Každý nový obraz vzniká na základe aktuálnej situácie. A napriek tomu musí výsledok zostať stabilný. Ak AI vytvorí mierne inak vyzerajúcu pokožku v každom frame, obraz začne blikať. Ak sa tiene budú neustále meniť, výsledok nebude použiteľný. Nvidia preto pri prezentácii veľa hovorila o temporálnej konzistencii. Jedným z nástrojov, ktoré pri tom využíva, sú motion vectors, teda informácie dostupné v herných enginoch, ktoré opisujú, kam a ako sa jednotlivé pixely medzi snímkami pohybujú. Model tak nemusí hádať pohyb celej scény. Hra mu ho pomáha definovať.

A práve kombinácia presne definovaného renderovaného vstupu a informácií o pohybe má umožniť generovanie jednotlivých frameov bez toho, aby sa obraz v čase rozpadal.

Generatívna AI v hre, nie v datacentre

Ďalší veľký problém je výkon. Generatívne modely schopné vytvárať realistické video sú veľké a pomalé. Bežne môžu na vytvorenie výsledku potrebovať minúty alebo dokonca hodiny. Taký systém sa samozrejme nedá jednoducho spustiť popri hre. Nvidia preto zdôrazňovala, že DLSS 5 nie je univerzálny generatívny model. Nemôžete mu zadať textový prompt a požiadať ho, aby vytvoril obrázok mačky.

Je to špecializovaný model s jednou konkrétnou úlohou: vziať renderovaný obraz hry a zvýšiť jeho vizuálnu kvalitu. Práve vďaka tomuto úzkemu zameraniu má byť podstatne efektívnejší. A podľa čísel, ktoré Nvidia počas prezentácie ukazovala, sa vývoj technológie za pomerne krátky čas výrazne zrýchlil.

Pri prvých verejných ukážkach mala technológia bežať na dvoch RTX 5090. Neskôr ju Nvidia dokázala optimalizovať tak, aby bežala na jednej RTX 5090, pričom prezentovaná verzia bola podľa vývojárov viac ako päťkrát rýchlejšia než skorší prototyp. Aj z leakov dnes už vieme, že beží nielen na RTX 5080, ale aj slabších kartách.

Zároveň má byť aktuálny model menší, vyžadovať menej videopamäte, ponúkať lepší výsledok a dávať vývojárom väčšiu mieru kontroly. To je pri tejto technológii možno ešte dôležitejšie než samotné čísla FPS. Ak je model možné optimalizovať v priebehu niekoľkých mesiacov na násobne vyšší výkon, DLSS 5 sa nachádza na úplnom začiatku vývojovej krivky. A Nvidia to ani neskrýva. Sama prezentáciu uzatvárala myšlienkou, že toto má byť začiatok novej generatívnej éry počítačovej grafiky.

Konečne sa aj divákom venuje pozornosť

Jednou z veľkých hier, ktoré budú DLSS 5 na PC podporovať hneď pri vydaní, bude aj NBA 2K27. Na Gamescome sme si mohli hru s touto technológiou vyskúšať - vyzerala lepšie a bežala skvele. Navyše bežala ako na veľkom hernom rigu s RTX 5080, tak aj na notebooku s RTX 5060 a tiež cez GeForce Now. Nové detaily v obraze naozaj vyčnievali, hráči pôsobili realistickejšie a vernejšie.

Až tam si uvedomíte, ako veľké množstvo zdanlivo zanedbateľných detailov výrazne zlepší celkový výsledok. Jemný tieň na pomedzi pokožky a dresu spôsobí, že oblečenie pôsobí realistickejšie a je badať rozdiel medzi dvoma povrchmi. Pot naozaj pôsobí uveriteľne. Na pokožke až vidíte ten športový výkon. Veľké hviezdy NBA majú s hrou každý rok dva tie isté problémy - nie sú spokojní so svojimi štatistikami a s tým, ako vyzerajú. V aktuálnej hre zostal už len ten prvý problém.

Nie je to však len o hviezdach na palubovke a osobne som rád, že konečne ožívajú aj tribúny. V športových hrách sú žalostné, roky vyzerajúce rovnako a neraz až strašidelne. Je na to dobrý dôvod, šetrí sa tam výkon. DLSS 5 ale aj na tváre divákov pridáva množstvo nových detailov, vďaka ktorým pri pohľade medzi fanúšikov nemáte dojem, že ste sa vrátili o dve dekády dozadu. Samozrejme, ako aj píšem vyššie, input je slabý, takže výsledok nie je nejaký detailný zázrak. Ale rozhodne sú to tak dva kroky vpred oproti základu.

Pre zaujímavosť ukážka výkonu DLSS5:

Budúcnosť grafiky môže byť kombináciou dvoch svetov

Po prezentácii na Gamescome je najzaujímavejšie predovšetkým to, kam Nvidia týmto smeruje. Doterajšie DLSS sa vo veľkej miere snažilo robiť existujúci renderovací proces efektívnejším. DLSS 5 chce pridať ďalšiu vrstvu. Klasická grafika vytvorí svet, určí geometriu, objekty, textúry, pohyb, svetelné vzťahy. Generatívny model následne obohatí to, čo už existuje. Nvidia tento princíp opisuje ako kombináciu tradičnej simulácie a generatívnych modelov. Prvá časť definuje realitu hry a stanovuje hranice, ktoré sa nemôžu meniť. Druhá pridáva vizuálnu vrstvu navyše.

A práve táto kombinácia môže byť omnoho realistickejšou predstavou budúcnosti hernej AI než myšlienka, že neurónová sieť jedného dňa jednoducho nahradí celý renderer. Po tom, čo sme technológiu videli naživo, však bude ešte dôležité sledovať niekoľko vecí. Prvou je samozrejme obrazová stabilita. Nvidia môže ukázať najlepšie možné zábery vo vlastnej ukážke, ale skutočná skúška príde až v rôznych herných enginoch, s rôznymi štýlmi grafiky, rýchlym pohybom kamery a komplexnými scénami. Videli sme dve hry, kde to je reálne naplno nasadené a vyzerali skvele. Čo ale ďalšie stovky?

Druhou je kontrola vývojárov. Na prezentácii sme videli veľmi detailný systém nastavení a možností, ako upravovať intenzitu efektov a jednotlivé časti obrazu. Ak sa tieto nástroje dostanú do rúk štúdií v dostatočne praktickej forme, môžu byť rovnako dôležité ako samotný model.

A treťou je samozrejme hardvér. Aj keby Nvidia dokázala technológiu v priebehu niekoľkých mesiacov výrazne zrýchliť, stále ide o mimoriadne náročný proces. Otázkou bude, na akom hardvéri bude v praxi fungovať a ako rýchlo sa jej výhody dostanú z najvýkonnejších kariet aj na dostupnejšie GPU. Je jasné, že zvlášť v dnešnej situácii na trhu sa hráči nepohrnú za novými kartami, takže mnohí zostávajú so staršími modelmi.

Už teraz však môžeme povedať, že prezentácia na Gamescome nepôsobila ako ďalšia evolúcia klasického DLSS. Nvidia nám ukazovala niečo ambicióznejšie. Doteraz AI v hernej grafike predovšetkým pomáhala vytvoriť viac pixelov, zrekonštruovať obraz alebo generovať ďalšie snímky. Ďalší krok má byť o tom, aby sa AI stala súčasťou samotného procesu tvorby výsledného obrazu. Nie ako náhrada umelca. Nie ako systém, ktorý si sám vymýšľa nový svet. Ale ako ďalšia vrstva medzi tým, čo dokáže vyrenderovať herný engine, a tým, ako realisticky môže výsledná scéna pôsobiť na obrazovke.

Či je DLSS 5 naozaj ďalším veľkým zlomom v počítačovej grafike, ukážu až hry. Po uzavretej prezentácii na Gamescome však už nejde iba o hypotetickú víziu. Nvidia má funkčný systém, konkrétne nástroje pre vývojárov a veľmi jasnú predstavu o tom, kam chce celý renderovací proces posunúť.

A možno je práve toto na celej ukážke najzaujímavejšie. Nevideli sme len ďalšiu funkciu grafickej karty. Videli sme náznak toho, ako by mohli hry v budúcnosti pristupovať k samotnému vytváraniu obrazu.