<figure><img src="https://res.cloudinary.com/dcsny9dt4/image/upload/v1779305807/Slide_4_3_-_3_v0jsoi.png"></figure>
<p>Недавно стало известно, что <b>Flux.2-klein</b>, ранее известный как видеогенератор, теперь способен не только создавать статичные изображения, но и обрабатывать видео. Причём речь не о простом наложении фильтров, а о полноценной работе с последовательностью кадров.</p>
<video><source src="https://rss.neurootlichnik.ru/images/7b17fcec-3bd2-493a-a94a-01c64fb7dcf0/video_0.mp4" type="video/mp4"/></video>
<p>Суть алгоритма такова: берётся первый кадр короткого видео (несколько секунд), он редактируется по заданным инструкциям. Далее для каждого следующего кадра вычисляется <b>оптический поток</b> — это позволяет понять, как объекты перемещаются в кадре. Обработанный первый кадр трансформируется с учётом этих изменений, чтобы сохранить целостность эффекта на всём видео.</p>
<p>Для устранения артефактов используется <b>маска окклюзии</b>: она помогает избавиться от дублирующихся или "смазанных" областей. После этого трансформированный кадр и текущий оригинальный кадр подаются в Flux с промптом "Заполни замаскированные серым области" и исходным описанием задачи. Таким образом, модель дорабатывает только те части, где автоматическая трансформация не справилась.</p>
<p>Пока результат выглядит немного дёргано, но сам подход открывает интересные возможности для точного редактирования коротких видеофрагментов с помощью нейросетей. Flux.2-klein уже сейчас позволяет:</p>
<ul>
<li>Редактировать отдельные объекты на видео без ручной покадровой работы</li>
<li>Использовать сложные промпты для изменения стиля или деталей</li>
<li>Экспериментировать с автоматическим устранением артефактов</li>
</ul>
<p>Технология только начинает развиваться, но уже видно, что инструменты вроде Flux.2-klein могут сделать работу с видео гораздо гибче и быстрее.</p>
Нейро Отличник
www.neurootlichnik.ru