Обучение генеративной нейросети под стиль мультсериала Sponge Bob
ИДЕЯ
Я с детства обожаю мультсериалом SpongeBob SquarePants: необычные персонажи, яркая палитра и характерный юмор — именно этим меня он и зацепил. У меня даже есть альбом с собственными рисунками по мотивам мультфильма.
В проекте я обучаю генеративную нейросеть, способную создавать изображения в узнаваемой стилистике SpongeBob. Модель должна анализировать формы, цвета, текстуры и художественные особенности оригинальных изображений, чтобы затем генерировать уникальные изображения в заданном стиле по написанному промту.
ИСХОДНЫЕ ИЗОБРАЖЕНИЯ
Исходные изображения — 70 картинок с моей доски в Pinterest со снимками из мультсериала SpongeBob SquarePants.
Стилистическая особенность изображений: - четкий главный персонаж на переднем плане - чаще всего размытый фон какого-либо окружения (океан, стены и т. п.)
ПРОЦЕСС ОБУЧЕНИЯ
В своем проекте я использовала следующие инструменты: 1. Kaggle (с ускорением GPU P100) — для написания кода и выполнения генераций 2. Stable Diffusion — для обучения генеративной нейросети под стиль исходных изображений 3. Hugging Face — для получение токена для обучения нейросети, а также загрузки полученной модели на сайт
Обучение нейросети проводилось с помощью предоставленного нам учебного шаблона кода.
После этого были произведены следующие действия: - установка необходимых моделей и библиотек - сбор датасета с изображениями - обучение модели генерации (500 шагов)
При обучении модели были задействованы методы DreamBooth, отвечающий за внедрение стиля и его концепции, и LoRA, отвечающий за обеспечение обучения модели с использованием небольших вычислительных затрат.
Код для генерации изображений после обучения генеративной нейросети
ИТОГОВЫЕ ИЗОБРАЖЕНИЯ
Промты для изображений подписаны под картинками
sponge bob style a cute butterfly in the green forest
sponge bob style a big spider with 16 legs
sponge bob style a seahorse swims in the ocean
sponge bob style a bird on a branch sings
sponge bob style a field with mosquitoes
sponge bob style snail crawling on a tree, clear background
sponge bob style a fat rat in the box
sponge bob style family dinner
sponge bob style a dog is barking near the house
sponge bob style princess, clear image
sponge bob styly a hamster is sitting in a sock
sponge bob style big sponge with six little sponges
ИТОГ
В изображениях, получившихся в ходе генерации, прослеживаются общие черты, сходные со стилем исходных изображений. Можно видеть четкое изображение главного героя на переднем плане, а также размытый фон какой-либо местности (лес, океан, поле, стена и т. п.). Поэтому можно сделать вывод, что обучение нейросети прошло довольно успешно.
