BRDFusion: редактирование городских сцен с помощью физики и генеративных моделей

Инструмент BRDFusion — это попытка объединить физическое моделирование и генеративные модели для редактирования городских сцен. Разработчики заявляют о поддержке сразу нескольких задач: релайтинг (смена освещения), симуляция ночного времени и вставка новых объектов в уже существующие сцены. Причём работать можно как с реальными, так и с синтетическими видео.

Ключевая особенность — восстановление свойств сцены: геометрии, материалов и HDR-освещения из исходного видео. После этого пользователь может редактировать сцену, не прибегая к ручному моделированию. По задумке, это должно было решить проблему артефактов рендеринга и неточной визуализации, которые часто встречаются при автоматическом редактировании видео.
Однако на практике результат пока далёк от идеала: итоговое изображение часто оказывается размытым, детали теряются, и вся сцена превращается в кашу. Это заметное ограничение, особенно если рассчитывать на профессиональное применение.
Исходный код доступен на GitHub и Hugging Face, что позволяет изучить подход и, возможно, доработать его под свои задачи. Но пока BRDFusion скорее интересен как эксперимент и демонстрация возможностей, чем как готовый инструмент для массового использования.

Нейро Отличник