DiffusionART: Новая эра в обучении диффузионных моделей

Компания Kling AI представила DiffusionART — алгоритм дообучения диффузионных моделей, который значительно упрощает процесс генерации видео и изображений. По сравнению с традиционными методами, этот подход требует в 12 раз меньше GPU-часов, что делает его более доступным для разработчиков и исследователей.

Одной из ключевых особенностей DiffusionART является RL-дообучение, которое улучшает качество создаваемых моделей, их способность следовать заданным промптам и учитывать обратную связь. Это позволяет создавать более точные и качественные результаты, что особенно важно в сфере генерации контента.

Кроме того, алгоритм обеспечивает стабильное обучение без крахов, что является частой проблемой в подобных системах. Это достигается за счёт отсутствия необходимости в настройке EMA-расписания, что упрощает процесс обучения и делает его более предсказуемым.

DiffusionART работает на мощных моделях, таких как #HunyuanVideo-13B, #Wan21-I2V-14B и #SD35-M, что позволяет ему эффективно обрабатывать большие объёмы данных и генерировать высококачественный контент.

Суть работы алгоритма заключается в порядке операций: сначала агрегируются вознаграждения и конечные точки, а затем применяется регрессия с переиспользованием замороженной цели. Это позволяет устранить скрытую силу согласованности, которая часто приводит к нестабильности в обучении классических NFT.

Таким образом, DiffusionART представляет собой значительный шаг вперёд в области генерации контента, предлагая разработчикам новые инструменты для создания качественных видео и изображений с меньшими затратами ресурсов.

Нейро Отличник