GenCeption от Google DeepMind

<p>В лаборатории Google DeepMind представили <b>GenCeption</b> — универсальную модель для мультизадачного компьютерного зрения. Вместо привычного набора отдельных нейросетей для каждой задачи здесь работает единая feed-forward архитектура, способная справляться с разными типами визуального анализа.</p>

<h2>Что умеет GenCeption</h2>

<p>Модель покрывает сразу несколько направлений:</p>

<ul>
<li>оценка <b>глубины</b> сцены и <b>нормалей поверхности</b></li>
<li>определение <b>позы камеры</b></li>
<li>сегментация объектов</li>
<li>выделение 2D и 3D ключевых точек</li>
<li>работа с плотными и разреженными задачами</li>
</ul>

<p>Вместо того чтобы переключаться между специализированными решениями, GenCeption использует одну замороженную диффузионную text-to-video основу. Для каждой задачи добавляются только лёгкие специфичные "головы" — небольшие модули, которые отвечают за конкретный тип вывода.</p>

<h3>Обучение и применение</h3>

<p>Интересно, что модель обучалась на синтетических видео, но успешно работает и на реальных данных. Такой подход позволяет быстро масштабировать обучение и не ограничиваться только размеченными датасетами из реального мира.</p>

<p>Пока что код и веса GenCeption не опубликованы — сообщество ждёт их появления.</p>

Нейро Отличник