Обучение нейросети Stable Diffusion для рисования в стиле Сатору Ноды
Цель проекта
Целью моего проекта было обучить нейросеть Stable Diffusion создавать изображения на основе стиля Сатору Ноды, автора «Золотого божества» и «Красных псов».
исходные изображения // Сатору Нода, «Золотое божество», 2014-2022
Итоговые изображения
В результате обучения нейросети получилось добиться смешанного результата — несмотря на то, что сеть хорошо улавливала уникальные черты лиц персонажей Сатору Ноды (большие уши, сильные челюсти, такие же геометричные носы), она плохо справлялась с фоном из-за композиции фреймов на странице и общего большого количества объектов на исходниках.
Изображения, полученные с помощью Stable Diffusion
В качестве промптов для нейросети я использовал базовую задачу получить портрет мужчины, опираясь на то, какие текстовые промпты я получил с помощью BLIP. В целом, несмотря на плохо проработанные детали, в полученных персонажах читаются черты персонажей оригинальной манги, слитые друг с другом во что-то, что при доработке вполне могло бы стать дизайном кого-то на фоне оригинальной манги или фанатским персонажем внутри вселенной. Забавно было увидеть также сходства с персонажами, которых в датасете точно быть не могло.
Изображения, полученные с помощью Stable Diffusion
Самые качественные изображения получались на 25 шагах при генерации, а на 50 и более нейросеть начинала отходить от стиля Сатору Ноды в какой-то общий манга-стиль и красить изображение, хотя их детализация и повысилась.
Изображения, полученные с помощью Stable Diffusion
В целом я бы сказал, что изображения получались примерно одного качества, однако при моей попытке сгенерировать элемент фона или женского персонажа, нейросеть, обученная преимущественно на бородатых солдатах, ломала композицию в некое подобие страницы с фреймами.
Изображение, полученное с помощью Stable Diffusion
Процесс обучения нейросети
Предварительным этапом стал сбор датасета и его кроп под подходящее для нейросети разрешение. Я решил собрать сет из примерно 30 картинок разрешением 512×512 пикселей для оптимизации и ускорения процесса обучения сети в ограниченном по времени Google Collab. Для изменения размера сразу нескольких изображений я использовал сервис BulkImageCrop.
Исходники для обучения нейросети
Далее я открыл в Google Colab код для обучения Stable Diffusion через Dream Booth и LoRA, представленный в лекции. С помощью возможностей среды по работе с файлами я импортировал датасет напрямую в Colab, подключив системе доступ к моему Google Drive. Далее, используя BLIP, я обозначил свой кастомный промпт для сети как «true ultimate SATORU NODA SUTAIRU!!!», который и позволил мне потом использовать плоды обучения нейросети для генерации изображений. Непосредственно для обучения я выставил параметры исходников 512×512 пикселей, с 1000 шагами итерации и чекпоинтом на 250 для оптимизации, а также вошел в сервис Hugging Face, чтобы сохранить модель в нем.
Вывод
Обученная мной нейросеть может создавать скорее идеи для дизайна персонажей, чем сами дизайны, которые у Сатору Ноды отличаются особой креативностью и эксцентричностью. Однако при этом, мне кажется, она хорошо может передать интенсивность, присущую его работам, и общую энергетику.
Описание применения генеративной модели
В проекте была использована генеративная модель Stable Diffusion XL для обучения её с помощью Dream Booth и LoRA для генерации изображений на основе стиля Сатору Ноды. BLIP для генерации промптов к исходникам. Hugging Face для того, чтобы иметь доступ к обучению нейросети и смочь сохранить модель.
Промптлист
1. true ultimate SATORU NODA SUTAIRU!!! , handsome man in uniform 2. true ultimate SATORU NODA SUTAIRU!!! , man, snowy field 3. true ultimate SATORU NODA SUTAIRU!!! , man, snowy field 4. true ultimate SATORU NODA SUTAIRU!!! , man portrait 5. true ultimate SATORU NODA SUTAIRU!!! , men fight 6. true ultimate SATORU NODA SUTAIRU!!! , boy, portrait, smug 7. true ultimate SATORU NODA SUTAIRU!!! , dark skin man 8. true ultimate SATORU NODA SUTAIRU!!! , handsome man in uniform 9. true ultimate SATORU NODA SUTAIRU!!! , man with a beard 10. true ultimate SATORU NODA SUTAIRU!!! , dark skin man 11. true ultimate SATORU NODA SUTAIRU!!! , woman smiling
