ByteDance готовится бахнуть world models

Компания ByteDance анонсировала новую модель, которая обещает произвести фурор в области виртуальной реальности. В преддверии выхода Cиданского 3.0 ожидается промежуточная версия 2.x, которая может появиться уже в этом году, возможно, в ноябре.
На недавней презентации ByteDance была продемонстрирована новая система, способная создавать виртуальные окружения на основе текстовых описаний. Пользователи могут перемещаться по созданным пространствам, управляя как камерой, так и персонажем.

В демо-версии системы можно было увидеть, как из текстового промпта создаётся комната, в которой персонаж управляет бумажным самолётиком. Пользователь может менять ракурс и взаимодействовать с окружением. Например, команда "Добавь ложку рядом с чашкой" приводит к созданию нового объекта, по которому можно карабкаться. Также были показаны порталы, соединяющие совершенно разные пространства, и предварительная постановка кинокадров, включая примеры из фильма "Король комедии" Стивена Чоу.
В сентябре ByteDance уже представила исследовательскую модель ENUMA в бенчмарке WBench, где она заняла третье место по навигационным задачам с результатом 81.7 балла. Ускоренная авторегрессионная версия использует всего четыре шага генерации, что значительно повышает её эффективность.
В описании ENUMA разработчики акцентируют внимание на объединении управления камерой, текстовых команд и визуальных референсов в одной модели мира. Также стоит упомянуть другую разработку компании — ActWorld, которая ориентирована на манипуляции с предметами и запоминает действия пользователей.
По информации Bloomberg, основатель ByteDance Чжан Имин лично курирует разработку интерактивной модели мира на базе технологий Seedance. Среди предполагаемых применений — игры, интерактивное видео и VR-гарнитуры Pico. Не обошлось и без упоминания о VR-порно, что также является частью обсуждаемой технологии.
Таким образом, ByteDance продолжает активно развивать свои технологии в области виртуальной реальности и моделирования мира, что может значительно изменить подход к созданию интерактивного контента.

Нейро Отличник