SenseNova-U1.5-8B-MoT: один трансформер вместо VAE, текстового энкодера и DiT

SenseNova показала превью новой мультимодальной модели SenseNova-U1.5-8B-MoT. Понимание и генерация картинок собраны в одном трансформере — без отдельного VAE, текстового энкодера и DiT, как это обычно устроено в диффузионных генераторах.

Архитектура построена как смесь трансформеров (MoT): текст и изображение обрабатываются разными весами, но при этом полноценно аттендят друг на друга внутри одной модели. Это отличает подход от привычной схемы, где генерация и понимание картинки — это две разные системы, склеенные пайплайном.

Из заявленных возможностей:

<ul><li>нативная генерация в 4K без даунскейла и последующего апскейла</li><li>уверенный рендер текста как на китайском, так и на английском языке</li><li>точное локальное редактирование изображений без искажения остальной сцены</li><li>понимание структурированных длинных промптов без дополнительного обучения на такой формат</li></ul>

По заявленным бенчмаркам модель выходит на уровень Nano Banana 2 в тесте Qwen-Image Bench, а на ImgEdit-Bench и GEdit-Bench превосходит Nano-Banana и Qwen-Image-2.

Код и веса опубликованы на Гитхабе и Hugging Face, доступна облегчённая 8-шаговая лора для быстрой генерации, есть демо для проверки и нода для ComfyUI. Разработчики пока называют это превью — полную версию модели обещают позже.

Нейро Отличник