EgoForce: 3D-позы рук из одной камеры для AR и VR

<p><b>EgoForce</b> — система, которая решает одну из главных технических задач в AR/VR и телеприсутствии: определение точной <b>3D-позиции рук</b> по видео с одной камеры, установленной на шлеме. В отличие от большинства решений, которые требуют нескольких камер или специальных датчиков, здесь достаточно обычной монокулярной камеры.</p>

<h2>Как работает EgoForce</h2>

<p>Система поддерживает разные типы камер: фишай, перспективные, широкоугольные. Это позволяет использовать её на самых разных устройствах без сложной перенастройки. Встроенный решатель автоматически подстраивается под конфигурацию камеры, что упрощает интеграцию.</p>

<p>Особенность EgoForce — определение <b>абсолютной 3D-позиции</b> кисти даже в ситуациях, когда предплечье не попадает в кадр. Для AR/VR это критично: пользователь может свободно двигать руками, а система всё равно корректно отслеживает их положение.</p>

<h3>Интеграция и точность</h3>

<p>Для разработчиков предусмотрена интеграция с Unity — можно сразу визуализировать результат и использовать данные для взаимодействия с виртуальными объектами. На датасете HOT3D точность EgoForce оказалась на 28% выше, чем у аналогичных решений. Это значимый прирост для задач, где важна каждая миллиметровая погрешность.</p>

<ul>
<li>AR/VR-приложения с естественным управлением руками</li>
<li>Системы телеприсутствия и удалённого управления</li>
<li>Интерактивные тренажёры и симуляторы</li>
</ul>

<p>Исходный код доступен на GitHub. На Hugging Face размещено предупреждение о потенциальной небезопасности файлов — скачивать стоит с осторожностью. Для быстрой оценки возможностей есть демо-версия.</p>

Нейро Отличник