Youtu-Parsing-Omni: Новая омнимодальная парсинг-модель от Tencent

Компания Tencent представила Youtu-Parsing-Omni, компактную омнимодальную парсинг-модель, способную обрабатывать различные типы данных и преобразовывать их в структурированный формат JSON. Эта модель, основанная на трансформере с 5 миллиардами параметров, предлагает универсальное решение для работы с документами, изображениями, аудио и видео.

Основные возможности Youtu-Parsing-Omni включают:
<ul>
<li>Парсинг документов, включая текст, таблицы и формулы, с учётом порядка чтения и лейаута.</li>
<li>Обработка изображений, графиков и блок-схем, а также распознавание геометрических фигур.</li>
<li>Анализ аудио с возможностью распознавания речи (ASR), определения спикеров и идентификации акустических событий.</li>
<li>Обработка видео, включая извлечение кадров, распознавание текста (OCR) и анализ сцен.</li>
<li>Унифицированный JSON-конверт для семи различных задач.</li>
<li>Распознавание химических структур с помощью технологии ChemOCR и нот с помощью PDMX.</li>
</ul>

Модель демонстрирует выдающиеся результаты на различных бенчмарках, включая OmniDocBench v1.6 с показателем 96.96 и OmniParsingBench с 75.08, что ставит её на второе место после Gemini-3-Pro. Кроме того, доступен плагин vLLM для быстрого сервинга, что делает использование модели ещё более удобным.

Youtu-Parsing-Omni представляет собой значительный шаг вперёд в области омнимодального парсинга, предлагая мощные инструменты для обработки и анализа данных. Для разработчиков и исследователей это открывает новые горизонты в работе с мультимедийной информацией.

Дополнительную информацию можно найти на GitHub и learn2play.fun.

Нейро Отличник