Looped-DiT: Новый подход в генерации изображений

Компания SenseNova представила новый генератор изображений под названием Looped-DiT, который основан на уникальном подходе, известном как looped-transformer. Эта модель отличается тем, что позволяет повторно использовать одну и ту же группу блоков на каждом шаге денойзинга, что делает её более глубокой без увеличения общего числа параметров.

Основные возможности Looped-DiT включают:

<ul>
<li>Генерация изображений из текстовых описаний.</li>
<li>Использование loop-механизма, который позволяет повторять общие блоки, увеличивая глубину модели без роста её размера.</li>
<li>Регулировка глубины на этапе инференса, что позволяет использовать разные числа петель без необходимости дообучения модели.</li>
<li>Метод deep supervision, который обучает предсказание после каждой итерации.</li>
</ul>

Модель Looped-DiT имеет следующие характеристики:

<ul>
<li>Размер входного изображения: 512×512 пикселей.</li>
<li>Структура: петля из 5 блоков с 4 повторами.</li>
<li>Общий размер весов модели составляет около 1 ГБ.</li>
<li>Модель оптимизирована за счет использования общего блока, что делает её легче и компактнее.</li>
<li>Базируется на pixel-space MMDiT MiniT2I и FLAN-T5-Large.</li>
</ul>

Для разработчиков и исследователей доступны ссылки на репозитории:

<ul>
<li>GitHub: Looped-DiT</li>
<li>Hugging Face: Looped-DiT-B32</li>
<li>Hugging Face: Looped-DiT-B16</li>
</ul>

Looped-DiT представляет собой интересный шаг в области генерации изображений, предлагая новые возможности для создания визуального контента на основе текстовых описаний.

Нейро Отличник