Open-VC Attention: Новая реализация для ускоренной генерации видео

Недавно была представлена открытая реализация VC-Attention от MachGen, предназначенная для архитектуры NVIDIA Blackwell. Эта новая версия демонстрирует впечатляющие результаты, обеспечивая почти в два раза большую скорость по сравнению с BF16 FlashAttention-4 на B200 при генерации видео-моделей, таких как MiniMax H3.

Одним из ключевых аспектов, способствующих такому ускорению, является использование метода ExpCast, который позволяет вычислять вероятности softmax без применения экспоненты, используя всего одну инструкцию FMA. Это значительно снижает вычислительные затраты и время обработки.

Кроме того, новая реализация включает в себя несколько оптимизаций:
<ul>
<li>Поиск максимума в середине окна ключей, что уменьшает количество рескейлов;</li>
<li>Варп-специализированный конвейер: загрузка, матричные умножения и softmax распределены по варпам;</li>
<li>Упакованный V в транспонированном виде, что позволяет тензорным ядрам считывать данные непрерывно;</li>
<li>Fusion подготовки входов в CUDA-граф, что также способствует ускорению.</li>
</ul>

Вместо использования метода V-Smooth, предложенного в предыдущих исследованиях, разработчики внедрили «V residual repair», который исправляет только наиболее проблемные токены V. Это решение позволяет достичь почти того же эффекта, но с меньшими затратами. Например, в 15-секундном ролике на MiniMax-H3 без ремонта лицо за визором терялось в темной области, в то время как с ремонтом 0.5% рендерится корректно.

Для тех, кто заинтересован в подробностях, исходный код доступен на GitHub.

Нейро Отличник