Nvidia Lyra 2.0 generuje 3D svety z jedného obrázka s konzistentným pohybom kamery a exportom do 3D modelov

Nvidia Research predstavilo Lyra 2.0, nový framework na generovanie veľkých 3D svetov z jedného obrázka. Projekt je zaujímavý tým, že sa nesústredí len na krátku ukážku pohybu kamery, ale na vytvorenie trvalejšieho prostredia, v ktorom sa dá pohybovať, vracať sa na už videné miesta a následne ho previesť do 3D podoby použiteľnej aj mimo samotnej ukážky. Nvidia už model zverejnila aj na Hugging Face.

Today, we released Lyra 2.0, a framework for generating persistent, explorable 3D worlds at scale, from NVIDIA Research.

Generating large-scale, complex environments is difficult for AI models. Current models often “forget” what spaces look like and lose track of movement over… pic.twitter.com/l6oTNMl5mV

- NVIDIA AI Developer (@NVIDIAAIDev) April 15, 2026

Lyra 2.0 podľa oficiálneho popisu dokáže:

• z jedného obrázka vytvoriť kamerou riadenú prechádzku scénou
• udržiavať dlhšie trajektórie kamery s vyššou 3D konzistenciou
• vracať sa do už navštívených častí prostredia bez výrazného rozpadu scény
• prevádzať výsledok do 3D Gaussians aj mesh modelov
• exportovať scénu ďalej do simulačných nástrojov, napríklad do Nvidia Isaac Sim
• doplniť generovanie aj o voliteľný textový prompt popri vstupnom obrázku.

Hlavný problém, ktorý sa Nvidia snaží vyriešiť, je spoľahlivosť pri generovaní rozsiahlejších prostredí. Bežné modely pri dlhšej generácii často zabúdajú, ako vyzerali staršie časti priestoru, a pri návrate na rovnaké miesto začnú meniť objekty, geometriu či celkový vzhľad scény. Druhým problémom je postupné nabaľovanie chýb v čase, ktoré vedie k driftu, teda k rozchádzaniu detailov a polohy prvkov v obraze. Nvidia tieto dva javy v paperi označuje ako spatial forgetting a temporal drifting.

Podľa paperu to Lyra 2.0 rieši takto:

• udržiava 3D geometriu pre každý frame
• z tejto pamäte vyťahuje relevantné staršie zábery
• vytvára husté priestorové korešpondencie medzi minulými a novými pohľadmi
• pri tréningu využíva self-augmented histories, teda vlastné zhoršené výstupy
• učí sa drift opravovať, nie ho len ďalej prenášať.

V praxi systém funguje tak, že z obrázka najprv generuje kamerou riadené walkthrough video a to potom „zdvihne“ do 3D priestoru cez feed-forward rekonštrukciu. Výstupom môžu byť 3D Gaussian splats alebo klasickejšie mesh modely, ktoré sa dajú exportovať ďalej. Nvidia na projektovej stránke priamo ukazuje, že takto vytvorenú scénu vie napojiť aj na Isaac Sim, kde môže slúžiť ako základ pre robotickú navigáciu, simulácie a interakciu v priestore.

Every photo on your phone is now a portal.

Lyra 2.0 by NVIDIA - explorable 3D world gen from single images!
-long-horizon camera trajectories with 3D consistency;
- DMD-distilled 4-step inference;
- outputs 3D Gaussians + meshes via Wan 2.1-14B;
- minimal drift.

Game devs… pic.twitter.com/fwejBEGq5h

- Wildminder (@wildmindai) April 15, 2026

Pre herných vývojárov a tvorcov simulácií je zaujímavé hlavne toto:

• koncept art alebo jediná fotografia môže slúžiť ako základ prostredia
• model vie scénu ďalej rozvíjať podľa pohybu kamery
• vygenerovaný priestor nie je len video kulisa, ale dá sa previesť do 3D formátu
• výsledok môže pomôcť pri prototypovaní levelov, testovaní kompozície alebo tvorbe simulačných svetov.

Stále však treba dodať, že ide primárne o výskumný projekt, nie o bežne nasadený hotový nástroj pre komerčný vývoj hier. Nvidia zverejnila paper na arXive, projektovú stránku, GitHub repozitár aj stránku na Hugging Face, no z toho automaticky nevyplýva okamžité nasadenie do bežných produkčných pipeline. Skôr ide o ukážku smeru, kam sa môže posunúť generovanie 3D svetov z 2D vstupov.