Giro: Новая эра в VR-визуализации

Технология Giro представляет собой инновационный подход к созданию виртуальных пространств, позволяя превращать обычные фотографии в захватывающие орбитальные видео. Этот процесс включает несколько этапов, начиная с обработки изображения и заканчивая созданием интерактивного VR-контента.

Первым шагом является орбитальное видео, которое создается с помощью алгоритма MiniMax H3. Он обеспечивает плавное движение камеры вокруг объекта, что позволяет зрителю увидеть его со всех сторон. Для достижения качественного результата необходимо, чтобы камера облетела объект не менее чем на 330°, что гарантирует замкнутый цикл и отсутствие резких переходов.

Если в процессе съемки возникают проблемы, такие как плохой сид, система автоматически перебрасывает его, а пропущенные участки генерируются заново. Это обеспечивает высокое качество конечного продукта.

Следующий этап включает маскирование объекта с использованием технологии SAM 3.1, что позволяет выделить его на фоне. При необходимости фон может быть дополнительно отредактирован с помощью Qwen-Image-Edit, что дает возможность добиться идеального визуального восприятия.

Обучение модели происходит с использованием прозрачного фона, а обрезка выполняется по visual hull. Это позволяет максимально точно выделить объект и подготовить его к экспорту в формате, подходящем для VR.

Готовый продукт экспортируется в форматах SPZ, SOG и PLY, что делает его совместимым с различными VR-устройствами. Пользователи могут легко просматривать созданный контент, нажав кнопку View in VR.

Для работы с этой технологией потребуется две видеокарты с объемом памяти не менее 24 ГБ и операционная система Linux. Экспорт ориентирован на бюджетные устройства, такие как Quest, что делает технологию доступной для широкой аудитории.

Веб-интерфейс системы предоставляет пользователям возможность отслеживать прогресс работы и видеть причины каждого принятого решения, что делает процесс более прозрачным и понятным.

Нейро Отличник