Концепция
Для обучения была взята серия работ Гюстава Доре. В основном отбор был сделан его серии работ гравюр к «Божественной комедии» Данте Алигьери. Выбор был сделан для того, чтобы выдержать единую стилистику проекта. Исходный набор изображений состоит из 12 работ.
Автор Гюстав Доре
Идея для проекта заключалась в создании контрастной идеи к работам художника. Темой моего проекта стал Киберпанк, как-то, чего Гюстав Доре в свое время создать на своих картинах не смог бы.
Итоговые работы
photo collage in Dore style, cyberpunk, human robot
photo collage in Dore style, A girl in the cyberpunk style
photo collage in Dore style, portrait of a giant scary robot man with glowing eyes
photo collage in Dore style, A giant scary robot in the world of the future / photo collage in Dore style, cyberpunk city
photo collage in Dore style, A portrait of a human robot. It has a ton of wires and parts, don’t add anything other than the portrait, make it detailed and high-quality
Выводы
Работы получились немного разные, так как промт также был разный, на первых работах с девушкой и городом работы выглядят менее похожими на работы художника. Более интересным показалась последняя работа, здесь промт был более конкретный. Исходя из результата можно сделать вывод, что на итоговых работах есть сходство со стилем Доре — присутствует гравюрные линии, контрастность, композиционные решения. Но в то же время, из-за недостаточного количества исходного материала, получилось не совсем точный результат. Видно, что нейросеть брала что-то из картин и не обрабатывала — поэтому иногда появляются силуэты ангелов, и того, что не связано с промтом.
Техническая реализация
Для начала подключаю GPU для большей мощности. Убеждаюсь в подключении и работе видеокарты. Далее ставлю библиотеку bitsandbytes для обучения Stable Diffusion XL. Устанавливаю новейшую версию библиотеки diffusers с GitHub. Загружаю train_dreambooth_lora скрипт с GitHub для обучения модели. Загружаю свои файлы и проверяю.
Для поиска подписей к изображениям ставлю Blip. Создаю запрос для генерации промпта «photo collage in Dore style». При помощи Json делаю файл с подписями. Убираю Blip, для оптимизации работы Stable Diffusion.
Делюсь ключом от токена в Colab. Загружаю необходимые библиотеки и включаю процесс обучения.
Сохраняю файлы, получившейся обученной модели, на сайте Hugging Face. Далее загружаю исходную модель Stable Diffusion XL. Создаю промпты.
Использованные нейросети: LoRA, Stable Diffusion XL, Blip, DreamBooth
