Обучение Stable Diffusion: Бебрийский стиль и орки-мутанты
Концепция
Концепция данной работы — обучить нейросеть Stabe Diffusion на работах художников из студии Blizzard, чтобы генерировать арты-заглушки для студенческих настольных игр.
Стиль назвал Бебрийским — ведь если бездумно совместить Близард и ИИ, то получается полная Бебра.
Датасет
Я решил делать упор на персонажей крупным планом. Для датасета было отобрано 62 иллюстрации.
Со временем, 18 иллюстраций были отсеяны по разным причинам: выбивались из общего стиля/не удалось обрезать, сохраняя композицию/плохо концетрировались на персонаже.
Оставшиеся 44 иллюстрации конвертировались в JPG, затем подрезались до формата 1:1. Разрешение 1024×1024.
Правила нейминга файлов датасета указаны слева. Белый — основные параметры. Синий — необязательные параметры.
Из-за такого нейминга мне было удобнее составлять промпты для обучения нейросети.
Несколько примеров из датасета
Результат
«illustration in BEBRIAN style, a huge character» Модель на 500 циклов обучения и на 250.
На результатах часто можно заметить нейросетевые артефакты — дублируются пальцы или элементы одежды, окружения.
Настраивая весы и выбирая степерь «обученности» нейросети можно получать разные результаты
«illustration in BEBRIAN style»
Даже абстрактные изображения сохраняют силуэт персонажа и стилизацию.
Итог
Во всех сгенерированных изображениях действительно прослеживаются общие черты — акцент на персонаже и «мультипликационная» стилизация в духе Blizzard.
В общем, мне кажется, что нейросеть справилась с задачей — можно быстро генерировать арты для прототипов своих настольных игр.
