NVIDIA Lyra 2.0 tworzy eksplorowalne światy 3D na podstawie jednego zdjęcia

NVIDIA pokazała Lyra 2.0, framework oparty na sztucznej inteligencji, który potrafi przekształcić pojedynczy obraz w trójwymiarowe środowisko możliwe do zwiedzania. Rozwiązanie pozwala użytkownikowi poruszać kamerą poza granice pierwotnej fotografii, zachowując spójność generowanego świata.

Lyra 2.0 łączy generowanie wideo i rekonstrukcję 3D

Projekt został opracowany przez NVIDIA Spatial Intelligence Lab. Lyra 2.0 wykorzystuje generowanie wideo z pomocą AI oraz techniki rekonstrukcji przestrzennej, aby tworzyć nowe widoki sceny zgodnie z ruchem kamery wybranym przez użytkownika.

W przeciwieństwie do klasycznych generatorów obrazu do wideo, które zwykle tworzą z góry określoną sekwencję, Lyra 2.0 umożliwia sterowanie trajektorią kamery. Kolejne ujęcia są generowane stopniowo, gdy użytkownik eksploruje wirtualne otoczenie.

Badania nad technologią zostały pierwotnie opublikowane w kwietniu 2026 roku, a NVIDIA ponownie zwróciła na nie uwagę przed konferencją SIGGRAPH Asia 2026.

Problem spójności przestrzeni

Jednym z najważniejszych elementów Lyra 2.0 jest próba rozwiązania dwóch typowych ograniczeń generatywnej AI: zapominania przestrzennego oraz dryfu czasowego.

• Zapominanie przestrzenne oznacza sytuację, w której model traci informacje o wcześniej wygenerowanych obszarach, co może prowadzić do niespójnych struktur po powrocie do tych samych miejsc.
• Dryf czasowy polega na stopniowym narastaniu błędów wizualnych i geometrycznych podczas dłuższego procesu generowania.

Aby ograniczyć te problemy, badacze NVIDIA zastosowali system pamięci przestrzennej kierowany geometrią 3D. Mechanizm wyszukuje istotne wcześniejsze klatki i wykorzystuje je do utrzymania spójności sceny. Model jest również trenowany na własnych niedoskonałych wynikach, co ma pomagać w korygowaniu narastających błędów zamiast ich pogłębiania.

Eksport do środowisk 3D i szybsze generowanie

Wygenerowane sekwencje mogą zostać przekształcone w reprezentacje 3D Gaussian Splats oraz siatki polygonalne. Dzięki temu środowiska da się renderować z różnych punktów widzenia, a także eksportować do narzędzi takich jak NVIDIA Isaac Sim, wykorzystywanych m.in. w symulacjach robotycznych.

NVIDIA wskazuje również na istotne usprawnienia wydajności. Przygotowany model destylowany ogranicza proces generowania wideo z 35 kroków odszumiania do czterech. Według danych z pracy badawczej czas generowania segmentu obejmującego 80 klatek spada z około 194 sekund w pełnym modelu do około 15 sekund na pojedynczym GPU NVIDIA GB200.

Firma zaznacza jednak, że nie należy utożsamiać tego z generowaniem świata w czasie rzeczywistym. Taki proces nadal pozostaje wymagający obliczeniowo.

Ograniczenia i możliwe zastosowania

Lyra 2.0 jest obecnie przeznaczona głównie do scen statycznych. Generowanie dynamicznych środowisk oraz sporadyczne niespójności wizualne pozostają wyzwaniami dla tej technologii.

Mimo ograniczeń rozwiązanie może mieć znaczenie dla tworzenia środowisk w grach, wirtualnej rzeczywistości oraz symulacjach. W odróżnieniu od części eksperymentalnych systemów generujących eksplorowalne światy, Lyra 2.0 rekonstruuje wyniki do postaci jawnej geometrii 3D, którą można renderować i wykorzystywać w środowiskach symulacyjnych.

NVIDIA udostępniła implementację Lyra 2.0 w serwisie GitHub, a wagi modelu trafiły na Hugging Face. Korzystanie z nich podlega jednak ograniczeniom licencji badawczej NVIDIA.