Идея проекта
В качестве изображений для обучения нейросети я решила взять свои иллюстрации, над которыми работала в этом модуле. В рамках кураторской дисциплины «Специальное проектирование» мы разрабатывали три концепции календаря.
Одной из моих концепций был календарь со злыми духами из мифологий разных культур — от всем известного славянского Чёрта, до далекого Токолоша из африканских легенд. Мне удалось нащупать специфический стиль рисования, на основе которого я захотела обучить нейросеть Stable Diffusion.
иллюстрации на носителях
Исходные изображения персонажей
Когда я работала над визуалом иллюстраций, я в первую очередь опиралась на традиционные техники рисования (хоть и рисовала в диджитале).
Мне было важно передать текстуры карандаша и угля, а также рисование «от пятна», чтобы создать загадочные силуэты мифических персонажей.
иллюстрации для датасета
Описание процесса обучения
Сперва подготовила всё необходимое:
Проверила параметры и состояние GPU, предоставленной Colab, чтобы убедиться, что GPU действительно активна и готова к работе.
Загрузила библиотеки bitsandbytes, transformers, accelerate, peft, чтобы обеспечить работу с большими моделями и их оптимизацию. А также установила последнюю версию библиотеки diffusers напрямую из GitHub.
Скачала готовый тренировочный скрипт DreamBooth для Stable Diffusion XL с поддержкой LoRA.
фрагменты кода
Далее начала подгружать датасет с картинками
Загрузила изображения с компьютера в Colab через окно выбора файлов.
Создала папку chert и скопировала туда все загруженные изображения.
Через image_grid, вывела все изображения для предпросмотра.
фрагменты кода
Загрузила все изображения из папки chert и сохранила их в виде списка с путями и объектами изображений. Далее создала файл metadata.jsonl с подписями для каждого изображения для модели DreamBooth. Проверила, что подписи к изображениям записались корректно.
Удалила ненужные объекты, чтобы облегчить работу Google Colab и сэкономить память. А также настроила корректное кодирование UTF-8 и выполнила базовую конфигурацию утилиты accelerate.
Авторизовалась в Hugging Face напрямую из Google Colab
фрагменты кода
- Установила библиотеку datasets, для работы с датасетами в формате Hugging Face и наконец-то запустила обучение DreamBooth LoRA на основе Stable Diffusion XL
фрагмент кода
Получила имя пользователя Hugging Face и адрес, куда будет загружена модель.
Загрузила веса на Hugging Face Hub и создала карточку модели.
фрагменты кода
Загрузила обученную LoRA-модель и получила пайплайн для генерации изображений.
Начала генерировать изображения в обученном стиле по разным промптам.
фрагмент кода
Результаты SDXL
prompt: digital drawing with charcoal texture of a horned forest creature crouching under the moonlight among tall trees
prompt: digital drawing with charcoal texture of a genie-like figure with pointed ears holding a curved sword in a desert vi
prompt: digital drawing with charcoal texture of a bat-like humanoid with wings spread wide in front of an ancient pyramid
prompt: digital drawing with charcoal texture of a horned satyr carrying a sack and broom through a snowy village under the moon
prompt: digital drawing with charcoal texture of a mysterious creature peeking from a frozen pond surrounded by pine trees and ice
prompt: digital drawing with charcoal texture of a mischievous forest imp grinning while sitting on a tree stump in a moonlit grove
prompt: digital drawing with charcoal texture of a tiger-headed warrior holding a spear on a tropical island with palm trees and huts
prompt: digital drawing with charcoal texture of a cheerful satyr playing a lyre under the sun near ancient ruins and cypress trees
prompt: digital drawing with charcoal texture of a humanoid creature with a horse’s head standing in a windy desert landscape, holding a long weapon
