GRACE: Новый метод сжатия видео от KAIST AI и Kakao Corp

Недавно был представлен новый метод сжатия видео, разработанный KAIST AI в сотрудничестве с Kakao Corp. Этот метод, названный GRACE, позволяет значительно уменьшить количество токенов, необходимых для работы с видео, что в свою очередь приводит к повышению скорости обработки.
Основное преимущество GRACE заключается в том, что он использует видео-автоэнкодер, который сжимает предобученный автоэнкодер Wan21 без потери совместимости с DiT. Это означает, что пользователи могут получать высокое качество видео при значительно меньших затратах ресурсов.

Согласно тестам, GRACE демонстрирует ускорение до 11.1× при сохранении того же качества по VBench. Например, при разрешении 480×832 скорость обработки увеличивается до 11.1×, а при 736×1280 — до 15.5×.
Метод также предлагает асимметричный денойзинг, который позволяет очищать базу данных раньше, чем остаток, что дополнительно улучшает качество выходного видео.
Для разработчиков и исследователей GRACE предоставляет возможность легкой адаптации с использованием LoRA, что делает его доступным для различных приложений без необходимости переобучения DiT с нуля.
Таким образом, GRACE представляет собой значительный шаг вперед в области обработки видео, предлагая эффективные решения для оптимизации работы с большими объемами данных.

Нейро Отличник