<figure><img src="https://res.cloudinary.com/dcsny9dt4/image/upload/v1779305806/Slide_4_3_-_2_usuik5.png"></figure>
<p><b>OmniDirector</b> — свежий фреймворк от команды Kling, который решает одну из сложных задач в генерации видео: перенос движений камеры из одного ролика в другой без необходимости ручной разметки и кросс‑парных данных. Это не просто очередная модель, а инструмент, который умеет кодировать движения камеры как отдельное видео с сеткой движений — <b>camera grid</b>.</p>
<video><source src="https://rss.neurootlichnik.ru/images/e8f90ddb-db1b-4fce-8861-ab07820281b8/video_0.mp4" type="video/mp4"/></video>
<video><source src="https://rss.neurootlichnik.ru/images/e8f90ddb-db1b-4fce-8861-ab07820281b8/video_1.mp4" type="video/mp4"/></video>
<p>В основе OmniDirector — обучение на миллионах пар «сетка‑видео». Такой подход позволяет системе точно воспроизводить сложные траектории камеры, не теряя при этом синхронизации с действиями персонажей и общей динамикой сцены. Управление движением камеры интегрировано через иерархического агента, который координирует не только саму камеру, но и персонажей, а также их взаимодействие с окружающей средой.</p>
<p>OmniDirector особенно интересен для мультимодальных диффузионных трансформеров, где важно согласованное движение камеры и персонажей. Благодаря архитектуре, фреймворк способен интегрировать внешние сигналы управления, что открывает возможности для более сложных сценариев генерации видео.</p>
<p>Исходный код пока не опубликован, но команда Kling обещает выложить его на GitHub. Следить за обновлениями стоит тем, кто работает с <b>motion control</b> и <b>camera referencing</b> в генеративных видео‑системах.</p>
Нейро Отличник
www.neurootlichnik.ru