FedorAiToolkit: обучение LoRA с учётом формы тела

В форке AI Toolkit под названием FedorAiToolkit появилась функция, которая может заинтересовать тех, кто работает с персонализацией нейросетевых моделей. Теперь инструмент поддерживает SAM 3D Body Scanning — это позволяет обучать LoRA не только на лицо, но и на форму тела пользователя.

Процесс обучения разбит на два этапа. Сначала идёт стандартное обучение LoRA или LoKr на фотографиях пользователя — обычно достаточно около 200 шагов. Затем начинается второй этап: модель генерирует изображения, после чего SAM 3D сканирует их, и обучение подгоняет LoRA под отсканированное тело и лицо. Такой подход помогает добиться более точного сходства с реальным человеком, особенно в полноразмерных портретах.

На видеокарте RTX 5090 обучение занимает примерно 30 минут для лица и около часа, если учитывать форму тела. Это реализовано для платформы Krea 2.

Для тех, кто ищет альтернативы, есть ещё проект BodyRec — он также помогает LoRA запоминать пропорции тела, но реализован по-другому.

FedorAiToolkit может быть полезен:

<ul>
<li>Тем, кто хочет добиться максимального сходства цифрового аватара с реальным человеком</li>
<li>Разработчикам кастомных LoRA для генерации портретов</li>
<li>Художникам и дизайнерам, работающим с персонализированными изображениями</li>
</ul>

В целом, добавление SAM 3D Body Scanning делает работу с LoRA более гибкой и точной, особенно для задач, где важна не только мимика, но и телосложение.

Нейро Отличник