MiniCPM-V 4.7: Новая мультимодальная модель от OpenBMB

Компания OpenBMB представила новую серию мультимодальных моделей под названием MiniCPM-V 4.7, которая включает две версии: 35B-A3B и 1B. Эти модели предназначены для работы с различными типами данных, включая текст, изображения и видео, что делает их универсальными инструментами для решения множества задач.

Одной из ключевых особенностей MiniCPM-V 4.7 является возможность мультимодального понимания, что позволяет моделям эффективно обрабатывать и анализировать данные из разных источников. Это открывает новые горизонты для применения в таких областях, как STEM-рассуждения, оптическое распознавание символов (OCR) и анализ длинных видео.

Модели также поддерживают локальный запуск на устройствах iOS и Android, что делает их доступными для широкой аудитории пользователей. Это особенно важно для тех, кто хочет использовать мощные инструменты прямо на своих мобильных устройствах.

В версии 35B-A3B реализовано гибридное сжатие визуальных токенов с коэффициентами 4× и 16×, что позволяет значительно уменьшить объем данных без потери качества. Это особенно полезно для работы с большими объемами информации, где важна скорость обработки.

Среди других интересных характеристик:
<ul>
<li>Self-Replay Fine-Tuning — метод донастройки, который позволяет адаптировать модель под новые задачи без потери общих качеств.</li>
<li>На iPad Pro M4 модель 35B-A3B демонстрирует скорость обработки более 17 токенов в секунду, что делает её одной из самых быстрых в своем классе.</li>
<li>LES (Lookahead Expert Scheduling) предзагружает веса экспертов, обеспечивая 5× ускорение при идентичном выводе.</li>
<li>Модель показывает высокие результаты на OCRBench, с результатом 90.4, что на 5.2 пункта выше, чем у конкурента Qwen3.6.</li>
<li>Конкурентоспособные результаты на 34 бенчмарках подтверждают эффективность и надежность новой модели.</li>
</ul>

Для разработчиков и исследователей, заинтересованных в использовании MiniCPM-V 4.7, доступны репозитории на GitHub и Hugging Face, где можно найти дополнительную информацию и примеры использования.

Нейро Отличник