Детские иллюстрации для книги Camelia | Обучение генеративной нейросети
Идея проекта
Мне захотелось обучить генеративную нейросеть для генерации персонажей для книги в стиле моего проекта Camelia — магазин растений-питомцев. Эти вымышленные существа никогда не оставят Вас в одиночестве, а также будут верными напарниками.
Цель моего проекта является посмотреть, насколько похоже нейросеть сможет создать иллюстрации в моем стиле для детской книги. Вымышленные растения могут быть абсолютно любой формы, однако им присуще мультяшные глаза и 2д-графика.
Здесь можно ознакомиться с проектом подробнее
Исходные изображения
Процесс обучения
Скачаем скрипт для обучения и библиотеку с Hugging Face с генеративной моделью.
Импортируем все необходимые библиотеки и инициализируем папку, в которой находятся изображения для обучения модели.
Фрагменты кода
Используем функцию для показа нескольких исходных изображений. На них присутствуют различные персонажи для детской книжки. Наша цель — с помощью генеративной нейросети создать большее количество персонажей в таком же стиле.
Сгенерируем для каждого изображения промпт, который будет использоваться для обучения Stable Diffusion.
Обучим модель с помощью скачанного скрипта и сохраним два чекпоинта — на 250 и 500 итерациях.
Серия изображений
В итоге, получилось что-то похожее на мой стиль: оттенки, мультяшные глаза, плоская иллюстрация. Хоть некоторые линии довольно абстрактные, я считаю, что у меня получилось обучить нейросеть моему стилю.
Так или иначе, нейросеть старается сохранять стилистику проекта. Например, на этом изображении точно читается оранжевый цветок с большим количеством глаз.
Результаты генераций