S-Space: Новая 3D-карта для мультимодальных моделей

Исследование MirroS представило интересные результаты, касающиеся мультимодальных моделей. В процессе анализа были обнаружены 3D линейные подпространства, которые позволяют моделям эффективно кодировать объекты в трехмерном пространстве с координатами по горизонтали, вертикали и глубине.

Эти подпространства обладают рядом уникальных характеристик:

<ul><li>Кодируют непрерывные позиции объектов (X, Y, расстояние).</li><li>Персистентны между промптами и ракурсами.</li><li>Объединяют визуальное и языковое восприятие, включая объекты, находящиеся за пределами видимого.</li><li>Позволяют каузально изменять параметры для управления пространственными оценками.</li><li>Обеспечивают более точное чтение подпространства по сравнению с нативной рассуждалкой модели.</li></ul>

Данная методология была протестирована на нескольких моделях, включая Molmo2-ER, MolmoAct2, Qwen3.5-4B и Qwen3.6-27B. Результаты показали, что использование S-Space может быть полезным не только для улучшения качества пространственных рассуждений, но и для диагностики, выявляя слабые места моделей в принятии перспективы.

Таким образом, S-Space открывает новые горизонты для понимания и управления пространственными оценками в мультимодальных системах. Это исследование подсказывает путь к более надежным пространственным рассуждениям и действиям, что может значительно улучшить взаимодействие с моделями.

Дополнительную информацию можно найти на GitHub.

Нейро Отличник