Muse Image и Muse Video: генерация медиа с агентным подходом

Meta (запрещена в РФ) представила Muse Image и Muse Video — инструменты для генерации изображений и видео, которые учитывают социальный контекст и используют агентный подход. Muse Image уже занимает второе место на Arena по качеству картинок, а Muse Video пока доступен в режиме превью.

Главная особенность Muse Image — работа в режиме агента. Система не просто генерирует картинку по запросу, а самостоятельно ищет данные, пишет и исполняет код, дорабатывает результат через вычисления на этапе инференса. Для совместного планирования действий Muse Image интегрирован с Muse Spark, что позволяет комбинировать код и медиа для создания GIF, сайтов и даже простых игр.
<h3>Что умеет Muse Image</h3>
<ul>
<li>Пишет и исполняет код (например, строит графики или генерирует QR-коды) с помощью обучения с подкреплением.</li>
<li>Использует отрендеренные фигуры для повышения точности визуализации.</li>
<li>Работает в связке с Muse Spark для интеграции кода и медиа.</li>
</ul>

Muse Video построен на той же архитектуре, что и Muse Image, но ориентирован на генерацию видео с высокой детализацией и встроенной аудиодорожкой. Это расширяет возможности работы с визуальным контентом, позволяя создавать не только статичные изображения, но и динамичные ролики.

Muse Image уже доступен в Meta AI, Instagram Stories и WhatsApp (в отдельных странах). Muse Video пока находится в стадии превью. За техническими подробностями и примерами можно следить по публикациям @BrianMItro и @QuantumFast.

Нейро Отличник