TIPS от Google DeepMind: модель, которая понимает и что на картинке, и где

Google DeepMind выпустила TIPS — модель для извлечения признаков из изображений, которая в отличие от привычного CLIP не просто определяет содержание картинки, но и сохраняет информацию о расположении объектов на ней. Разница на первый взгляд небольшая, но она меняет набор задач, для которых модель годится.

CLIP отлично справляется с ответом на вопрос «что изображено», потому что считает признаки для всей картинки целиком. Для классификации этого достаточно. Но как только нужно понять, где именно находится объект — для сегментации, детекции или оценки глубины — такой подход теряет полезную информацию. TIPS решает эту проблему иначе: признаки считаются не только для изображения целиком, но и для каждого патча отдельно.

Это открывает прямой путь для задач, где важна геометрия сцены, а не только распознавание категорий:

<ul><li>Zero-shot классификация по текстовым описаниям без дополнительного обучения</li><li>Сегментация изображений на основе покадровых признаков</li><li>Оценка глубины сцены</li><li>Детекция объектов с сохранением их точного положения</li></ul>

Отдельно стоит отметить, что модель умеет работать с изображениями других разрешений через интерполяцию позиционных эмбеддингов — не нужно переобучать её под каждый новый размер входа.

По параметрам TIPS — это целая линейка моделей. Основная версия содержит 1.1B визуальных параметров и 389M текстовых, работает с эмбеддингом размерности 1536 при разрешении 448. Но есть и лёгкие варианты — от S/14 с 22M параметров до g/14 low-res для слабого железа, так что выбор конфигурации зависит от доступных вычислительных ресурсов. Суммарно линейка укладывается в район 2B параметров, а распространяется модель по лицензии Apache 2.0, что снимает вопросы с коммерческим использованием.

Нейро Отличник