WithEveryone: фреймворк для групповых ИИ-портретов с точным сохранением лиц

Tencent Hunyuan и Fudan University показали WithEveryone — фреймворк для генерации групповых портретов, где в одном кадре может быть до десяти человек, и у каждого свой персональный референс лица. Это одна из самых заметных проблем в генеративке: чем больше людей на фото, тем быстрее модель путает лица, тела и позы между собой.

Разработчики решили эту задачу через разделение процесса на два этапа. Сначала модель занимается планированием: определяет, кто из референсных персон войдёт в кадр, где именно будет стоять каждый человек и как в целом выстроена композиция группы. Только после этого готовый layout используется как условие для финального рендера изображения.

Ключевая часть системы — механизм Layout CoT, цепочка рассуждений, которая жёстко привязывает конкретную личность к конкретному лицу, телу и ключевым точкам позы. Именно этот шаг должен убирать типичную для мультиперсонажных генераций путаницу, когда лицо одного человека случайно оказывается пришито к телу другого.

По сути, модель сначала строит структурный план сцены, а потом заполняет его деталями — а не пытается угадать расстановку и сходство лиц одновременно, как это часто происходит в существующих генераторах.

WithEveryone пока находится на стадии обучения. Авторы не обещают открытый релиз: команда указывает, что весами и кодом могут поделиться позже, а могут и не поделиться вовсе.

Нейро Отличник