Lance: мультимодальная модель от ByteDance, которая удивляет на практике

ByteDance представила Lance — мультимодальную модель с 3 миллиардами параметров, которая работает с изображениями и видео: понимает, генерирует и редактирует их. При этом модель показывает результаты, которые превосходят более крупные решения с 7 миллиардами параметров и выше на ряде бенчмарков. Это редкий случай, когда компактность не мешает эффективности.

В основе Lance лежит архитектура с MoE-путями (Mixture of Experts) и многозадачной синергией. Даже если детали этих технологий не всем знакомы, результат очевиден: модель уверенно справляется с задачами, где требуется одновременно анализировать и создавать визуальный контент.
<h3>Что умеет Lance</h3>

Исходный код и веса доступны на GitHub и HuggingFace, что позволяет исследователям и разработчикам тестировать модель на своих задачах.

Визуальные примеры работы Lance можно увидеть на опубликованных изображениях и видео. Модель не только создает новые визуальные объекты, но и корректно вносит изменения в уже существующие, что особенно важно для задач редактирования.
Если вам интересны детали реализации или хочется попробовать модель в деле, обратите внимание на официальные репозитории. Для специалистов по компьютерному зрению и генеративным моделям это может быть полезным инструментом для экспериментов.