FoundationStereo и FoundationPose: новые модели от NVIDIA для 3D-перцепции

<h2>Введение в FoundationStereo и FoundationPose</h2>
NVIDIA представила две открытые модели для 3D-перцепции — FoundationStereo и FoundationPose. Эти решения предназначены для улучшения работы в области компьютерного зрения, предлагая новые возможности для различных приложений, включая робототехнику и умные пространства.

<h2>FoundationStereo: стерео-глубина без дообучения</h2>
FoundationStereo позволяет получать точные карты диспаритета на основе пары RGB-картинок, полученных со стереокамеры. Эта модель поддерживает zero-shot стерео-матчинг, что означает, что она может работать с новыми сценами без предварительного обучения.
<ul>
<li>Применение в робототехнике и умных пространствах.</li>
<li>Поддержка форматов ONNX и TensorRT.</li>
<li>Совместимость с устройствами от Jetson до H100.</li>
</ul>
Однако у модели есть и слабые места: она может испытывать трудности с прозрачными объектами, а также в условиях плохого освещения.

<h2>FoundationPose: 6-DoF поза объектов без обучения</h2>
FoundationPose предлагает возможность определения положения и ориентации объектов на RGBD-кадре, используя CAD-модели. Эта модель также поддерживает zero-shot подход, что позволяет работать с новыми объектами, требуя лишь CAD-модель для начала работы.
<ul>
<li>Оценка позы и отслеживание объектов на видео.</li>
<li>Обучение на синтетических данных Objaverse и GSO.</li>
<li>Средний скор 83.3 на BOP-бенчмарках.</li>
<li>Работа с TensorRT от Orin Nano до H100.</li>
</ul>
Эти модели открывают новые горизонты для разработчиков, работающих в области 3D-перцепции и компьютерного зрения.

Для получения дополнительной информации и экспертизы в области архитектурной визуализации, посетите наш сайт.

Нейро Отличник