Метод внимания для диффузионных трансформеров

Недавно был представлен новый метод внимания для диффузионных трансформеров, который обещает значительно улучшить качество генерации изображений. Этот метод позволяет достигать высоких разрешений без необходимости обучения на таких моделях, как FLUX.1, Qwen-Image, FLUX.2 и Ideogram 4.

Согласно данным, новый метод демонстрирует впечатляющие результаты: он работает до 3.2 раза быстрее полного внимания на разрешении 6144² у FLUX.1 и до 2.9 раз у Qwen-Image. Это позволяет значительно ускорить процесс генерации изображений, что особенно важно для приложений, требующих высокой скорости обработки.

Кроме того, метод показывает улучшение до 6 раз по сравнению с нативной стороной, достигая разрешения в 67 МП. Это открывает новые возможности для создания детализированных изображений без необходимости в сложном обучении и настройке весов модели.

Эффект от применения нового метода нарастает с увеличением разрешения, что делает внимание узким местом в процессе генерации. Это подчеркивает важность оптимизации методов внимания для достижения лучших результатов в области генерации изображений.

Поддержка FLUX.1-Krea-dev уже доступна, в то время как для остальных моделей пользователи ждут обновлений. Это свидетельствует о том, что разработчики активно работают над расширением функциональности и улучшением совместимости с различными платформами.

Для тех, кто хочет ознакомиться с проектом более подробно, доступен Гитхаб с полным описанием и примерами использования нового метода.

Благодарим @m_franz за предоставленную информацию.

Нейро Отличник