Обучение генеративной нейросети Stable Diffusion стилю Эдгара Дега
Идея проекта
Меня всегда привлекали работы Эдгара Дега, поскольку мне нравится как он улавливает один момент в движении и ярко описывает его. Особенно мне нравились его работы на тему балета: художник умело погружает зрителя в волшебную атмосферу этого искусства, автор уделяет внимание цветам и текстурам, так например костюмы танцовщиц всегда выглядят невероятно воздушно.
Картина Эдгара Дега
Картины Эдгара Дега
Для своего проекта я выбрала картины, которые изображают одну из самых знаменитых тем художника, а именно рисунки балерин.
Картина Эдгара Дега
Отличительными особенностями творчества Дега можно назвать: смещенные композиции, то есть художник часто обрезает фигуры краями полотна, заслоняет одних персонажей другими, ставя их на разные планы; он умело работает со светом и тенью, что придает глубину его картинам; позы персонажей не выглядят постановочными, а скорее смотрятся как случайные моменты во времени, в своих работах он любил передавать ощущение от движения; также его интересуют разнообразные текстуры и материалы, что хорошо видно в работах с балеринами.
Картины Эдгара Дега
Для обучающей выборки я подобрала около 40 картин на которых изображены балерины Дега. Все эти работы объединены похожим авторским стилем, который я попыталась сымитировать с помощью обучения генеративной нейросети Stable Diffusion. После подборки изображений я обрезала их до квадрата 512×512 px, я уделяла внимание тому, чтобы ключевые элементы оставались внутри квадрата. Основой проекта послужил уже существующий код, который дообучает модель Stable Diffusion при помощи LoRa.
Описание процесса обучения
Проверяем подключен ли GPU, затем загрузжаем все необходимых библиотек
Затем загружаем картинки-референсы, которые будут использоваться для обучения модели. Проводим просмотр загруженных изображений:
Загружаем модель BLIP, чтобы сгенерировать автоматические подписи для описания картинок
Далее создаем файл с подписями к картинкам и создаем префикс для промптов «EDGAR»
Заходим на Hugging Face и передаем токен доступа. Затем переходим к обучению модели, а потом загружаем ее на Hugging Face
Теперь можем генерировать изображения на основе модели
Итоговая серия
Для начала я проверила насколько эффективно натренировалась модель. Для этого я попробовала создать несколько изображений максимально похожих на оригинальные рисунки. И я думаю, мне это удалось: я вводила промпт, описывающий примерную композицию и цветовую палитру картин, и искала самый подходящий результат. (слева оригинал, справа копия)
prompt: a ballerina in big light pink and blue tutu stands with both arms raised above hear head, with a wooden floor and big window in a background
prompt: a ballerina is stretching next to a bar in ballet class, front leg raised, in big white tutu, wooden floor and yellow wall in background
prompt: a ballerina in big light pink tutu jumps on the stage, with dark brown curtains in a background
prompt: tired ballerinas in big light blue tutus sit on a wooden bench, wooden floor and pale yellow wall behind them
Посмотрев на изображения балерин, я поняла, что их пышные пачки напоминают мне необыкновенные цветы. И для финальной серии я решила картины с танцовщицами трансформировать в изображения с цветами. Мне нужно было, чтобы каждый новый рисунок был в той же палитре, с тем же настроением и сохранил основные формы.
prompt: big smeared fluffy peony roses, warm shades of green, cold pink, red and black color palette
prompt: big smeared fluffy peony roses, warm shades of green, cold pink, red and black color palette
prompt: field covered in colorful wildflowers, warm shades of green, brown and warm yellow color palette
prompt: field covered in colorful wildflowers, warm shades of green, brown and warm yellow color palette
prompt: big white dandelions, pale red, blue, pale green and dark brown color palette
prompt: big white dandelions, pale red, blue, pale green and dark brown color palette
prompt: smeared fluffy pink peony, warm shades of green, cold pink and rich black color palette
prompt: smeared fluffy pink peony, warm shades of green, cold pink and rich black color palette
prompt: white lilies, purple and red brown color palette
prompt: white lilies, purple and red brown color palette
Анализ
В итоге, в финальных работах сохранилась авторская манера художника, так как в них присутствуют те же светотени — это сохраняет объем композиции. Повторяется и манера штриха, неточность образов, в которой есть какая-то недосказанность, а также работа с цветами и уникальная материальность всех предметов на картине.
