Обучение модели Stable Diffusion в стиле фигурок PopMart
Идея проекта
Идея для обучения генеративной нейросети заключается в том, что бы обучить ее рисовать персонажей в стилистике фигурок Pop Mart. Pop Mart — это китайская компания, специализирующаяся на коллекционных дизайнерских игрушках. Для обучения я собрала датасет из квадратных картинок, в одинаковом разрешении, с фигурками из разных коллекций. В частности из коллекции Skullpanda.
Датасет
Был собран датасет из 52 квадратных картинок. Все они отформатированы под размер 512×512. При выборе изображений ключевой задачей было найти наиболее разные по цветам, формам и позам картинки, но при этом ± в одной стилистике. Все это послужило тому, что бы модель смогла считать стиль персонажей для генерации будущих картинок.
Процесс обучения
Итоговые изображения
Первые попытки сгенерировать персонажей были в полне удачные. Стилистика начинает прослеживаться, особенно в лице. Анатомия хромает. Было решено попробовать разные варианты lora_scale.
Подача и форма становится более похожа на оригинальные изображения, но анатомия так же хромает и все стала более «облачной». Было принято решение прописать негативный промпт.
