CO2Jump: новый подход к совместной генерации текста и изображений

В лаборатории Google DeepMind представили CO2Jump — необычный training‑free сэмплер для диффузионных моделей. Его особенность в том, что текст и изображение корректируют друг друга прямо в процессе генерации, а не по отдельности, как это обычно бывает.

В классических диффузионных моделях генерация идёт либо из текста в картинку, либо из картинки в картинку. В CO2Jump оба потока — текстовый и визуальный — работают параллельно и на каждом шаге делятся информацией. Это позволяет им взаимно улучшать результат, делая итоговую работу более согласованной и точной.
Ещё один важный момент: для внедрения метода не требуется дообучение моделей. CO2Jump встраивается поверх уже существующих решений, что заметно упрощает его использование на практике.
<h3>Где CO2Jump показывает себя лучше всего</h3>
<ul>
<li>Редактирование изображений по текстовому описанию</li>
<li>Решение визуальных головоломок, где важно согласование текста и картинки</li>
</ul>
Пока что код обещают выложить позже, но уже сейчас видно, что у метода есть потенциал для задач, где требуется тесная связь между текстом и изображением.

Нейро Отличник