MLP-Splatting: Новый метод представления 3D-сцен

В мире 3D-визуализации появился новый метод, известный как MLP-Splatting. Этот подход использует нейронные примитивы для представления сцен, что позволяет значительно улучшить качество рендеринга и уменьшить затраты на ресурсы.

Суть метода заключается в том, что каждый примитив представляет собой независимый компактный MLP (Multilayer Perceptron) с локальной поддержкой, который взвешивается анизотропной гауссианой. Это позволяет сцене самостоятельно разбиваться на объекты и их части, что упрощает процесс работы с 3D-моделями.

Одним из ключевых преимуществ MLP-Splatting является возможность получения фотореалистичных изображений новых видов. Система использует супервизию только по RGB, что позволяет примитивам точно ложиться на объекты и их части, обеспечивая высокое качество визуализации.

Метод также предлагает интерактивное редактирование, позволяя пользователям выбирать объекты, выполнять SE(3)-сдвиг и менять цвета. Это открывает новые возможности для работы с 3D-сценами, делая процесс более гибким и удобным.

Дополнительно, MLP-Splatting включает функции языковой сегментации и удаления объектов, что позволяет создавать более сложные и детализированные сцены. Опциональная дистилляция семантических признаков также улучшает качество работы с данными.

Сравнение с предыдущими методами показывает, что MLP-Splatting достигает качества на уровне Feature-3DGS и выше, при этом требуя в 6 раз меньше памяти и обеспечивая вдвое более быстрый рендеринг. Вместо миллионов гауссиан, для работы требуется всего лишь сотни примитивов, что делает метод более эффективным.

Таким образом, MLP-Splatting представляет собой значительный шаг вперёд в области 3D-визуализации, предлагая новые инструменты и возможности для создания реалистичных сцен.

Нейро Отличник