<figure><img src="https://res.cloudinary.com/dcsny9dt4/image/upload/v1779305806/Slide_4_3_-_7_vrgpdx.png"></figure>

<p>NVIDIA опубликовала метод дистилляции <b>CMD</b> (Context-Matched Distillation) для авторегрессивных моделей генерации видео. По заявлению авторов, это лучший результат среди авторегрессивных подходов — за счёт того, что метод убирает конкретное несоответствие, которое раньше мешало обучению.</p>

<video><source src="https://rss.neurootlichnik.ru/images/453235bf-8ae0-4d8e-8a85-9e6de944dfb2/video_0.mp4" type="video/mp4"/></video>

<video><source src="https://rss.neurootlichnik.ru/images/453235bf-8ae0-4d8e-8a85-9e6de944dfb2/video_1.mp4" type="video/mp4"/></video>

<video><source src="https://rss.neurootlichnik.ru/images/453235bf-8ae0-4d8e-8a85-9e6de944dfb2/video_2.mp4" type="video/mp4"/></video>

<p>Суть проблемы простая. Раньше учитель в процессе дистилляции видел весь клип целиком, включая кадры, которые ученик на своём шаге генерации ещё не мог знать. Супервизия строилась на условиях, которых не будет в момент реальной генерации — учитель ориентировался на будущее, а ученик работал только с уже сгенерированным прошлым. <b>CMD</b> убирает этот разрыв: каждый кадр оценивается учителем по тому же префиксу и тому же управляющему сигналу, которые были у ученика на этом конкретном шаге.</p>

<p>Из-за совпадения контекста генерация требует меньше шагов на кадр. Дополнительно появляется возможность вмешиваться в процесс во время генерации: задавать движение камеры, менять управляющие сигналы на ходу и получать длинные сцены без характерного для авторегрессивных моделей «расплывания» ближе к концу ролика.</p>

<h2>Что выложили</h2>

<p>В основе решения — модель <b>Cosmos-Predict2.5</b> на 2 миллиарда параметров. NVIDIA подготовила шесть чекпоинтов: варианты chunk-1 и chunk-4 для коротких и длинных клипов, каждый доступен в версии с контролем камеры и без него.</p>

<p>Код, веса и демо-версия выложены в открытом доступе — искать по названию метода <b>CMD</b> и базовой модели Cosmos-Predict2.5.</p>

Нейро Отличник

www.neurootlichnik.ru