MC-Sparse: Новая модель разреженного внимания для ускорения генерации видео и 3D

Недавно представленный метод MC-Sparse от компаний Fudan и Tencent Hybrid предлагает инновационный подход к разреженному вниманию, который значительно ускоряет процесс генерации видео и 3D-ассетов. Эта модель позволяет достигать ускорения в 1.8-2.3 раза без необходимости переобучения, что делает её особенно привлекательной для разработчиков и исследователей в области визуализации.

Основная идея MC-Sparse заключается в том, чтобы отсеивать лишние токены на уровне входа, что позволяет значительно ускорить процесс денойзинга. Это достигается благодаря нескольким ключевым особенностям:
<ul>
<li>Токен-уровневое разреженное внимание — метод, который обеспечивает drop-in ускорение без необходимости в повторном обучении модели.</li>
<li>Группировка похожих запросов в GPU-тайлы, что позволяет выбирать только важные ключевые токены.</li>
<li>Компенсация отброшенных вкладов через кэшированный остаток, что помогает сохранить качество выходных данных.</li>
<li>Применение на MiniMax-H3 для видео и генерации 3D-ассетов.</li>
</ul>

Среди важных параметров модели стоит отметить:
<ul>
<li>Ускорение видео на MiniMax-H3 в 1.80× и 2.32× для 3D.</li>
<li>Плотность внимания всего 15%.</li>
<li>Сохранение мелких деталей даже при значительном разрежении.</li>
</ul>

Модель также анализирует три источника потери качества, возникающие при разрежении: групповые ограничения, неточный отбор и отброшенный «хвост» вкладов. Она находит точные выборки один раз на anchor-шаге и переиспользует их на следующих шагах денойзинга, что позволяет значительно улучшить качество выходных данных.

Для тех, кто хочет подробнее ознакомиться с MC-Sparse, доступен репозиторий на GitHub: github.com/dodododddo/mcsparse.

Благодаря таким достижениям, как MC-Sparse, процесс генерации видео и 3D-ассетов становится более эффективным и доступным для широкой аудитории разработчиков.

Нейро Отличник