JoyAI-Video-Edit: потоковое редактирование видео на базе диффузионной модели

<p>Появилась новая авторегрессивная диффузионная модель <b>JoyAI-Video-Edit</b>, ориентированная на редактирование видео в реальном времени. Разработчики сделали акцент на потоковой обработке: теперь можно менять отдельные фрагменты ролика без необходимости пересчитывать всё видео целиком.</p>

<h2>Что умеет JoyAI-Video-Edit</h2>
<ul>
<li>Менять <b>стиль видео</b> по текстовому описанию (промпту).</li>
<li>Добавлять или удалять объекты прямо на ходу.</li>
<li>Заменять фон в реальном времени.</li>
<li>Вносить локальные правки без полной перегенерации ролика.</li>
</ul>

<p>Модель работает с разрешением до 720p и поддерживает скорость около 30 кадров в секунду на одном GPU. Это позволяет использовать её для задач, где важна минимальная задержка и высокая интерактивность.</p>

<h3>Технические детали</h3>
<p>В основе JoyAI-Video-Edit — диффузионная архитектура с 16 миллиардами параметров. Такой масштаб обеспечивает гибкость и качество генерации, а авторегрессивный подход позволяет редактировать только нужные части видео, не затрагивая остальное.</p>

<p>Исходный код доступен на GitHub и Hugging Face, однако демо-версия пока работает только по инвайтам.</p>

Нейро Отличник