MOSS-VL: визуально-языковая модель, которая отвечает в реальном времени

Команда OpenMOSS выпустила MOSS-VL — открытое семейство визуально-языковых моделей, которое работает не с готовым видеофайлом, а с живым потоком кадров. Модель анализирует изображение по мере его поступления и формирует ответ параллельно, не дожидаясь окончания записи.

Обычно системы видеоанализа либо ждут полного ролика, либо опрашивают кадры через внешний планировщик с фиксированным интервалом, например раз в секунду. MOSS-VL устроена иначе: реалтайм-обработка встроена прямо в архитектуру, и модель сама решает, когда пора реагировать, а когда — нет.

Разработчики описывают три встроенных поведения модели:

<ul><li>ответ в любой момент — реакция формируется, как только в кадре появляется достаточно информации для вывода</li><li>проактивное молчание — если ситуация в кадре ещё не прояснилась, модель не спешит с ответом</li><li>своевременная коррекция — когда новые кадры меняют картину, модель уточняет или исправляет уже данный ответ</li></ul>

По характеристикам модель насчитывает 11 миллиардов параметров и работает с контекстом до 256K токенов, что позволяет удерживать в памяти достаточно длинные видеопотоки без потери контекста. Для более лёгкого запуска доступны квантованные версии FP8 и NF4 — они снижают требования к памяти при инференсе.

Код, веса модели и демо-версия опубликованы в открытом доступе, так что MOSS-VL можно протестировать самостоятельно, без обращения к закрытому API.

Нейро Отличник