Новая модель Genie 2 научилась имитировать 3D-мир в реальном времени и управление героем

Google представила модель Genie 2, которая может генерировать базовую модель мира в 3D-плоскости, базовое управление и персонажей на основе всего одного изображения или текстового запроса. Модель может имитировать шутеры, симуляторы и «бродилки», а визуально Genie 2 способна создавать как реалистичную, так и мультяшную графику.

Принцип работы модели очень схож с той, что была использована при воссоздании Doom через нейросеть. В Genie 2, как таковой, нет 3D-графики — вместо неё модель имитирует пространство, объём и прочие элементы, а сама графика создаётся за счёт кадров с изображениями, сделанными быстрой генерацией.

На показанных в роликах примерах Genie 2 может создать «игру» с базовым управлением, где игрок может ходить по миру и взаимодействовать с ним тем или иным образом. Судя по всему, в отличие от модели GameNGen, Genie 2 гораздо лучше запоминает то, что происходило несколько секунд назад — в том же Doom поднятые аптечки могли вновь появиться несколько секунд спустя, если игрок отворачивался на некоторое время. Последнее из показанного сложно заметить на примерах Genie 2.

Однако на данном этапе сложно судить о том, насколько качественно работает Genie 2, поскольку Google демонстрирует отрывки «геймплея» до 20 секунд — результат может сильно отличаться спустя, например, минуту «геймплея». Тем не менее результат уже сегодня можно назвать впечатляющим.

Когда Genie 2 появится в открытом доступе — неизвестно.