Обучение генеративной нейросети под стиль Клода Моне
Идея проекта
Целью проекта стало обучение генеративной нейросети стилю известнейшего художника Клода Моне. Он был одним из основоположников импрессионизма, в его работах много зелени и пейзажных мотивов, которые как бы «рябят» перед глазами.
Мне показалось, что для нейросети будет интересной задачей передать живописность полотен Моне в лучших традициях импрессионизма. Кроме того, с этической точки зрения для меня было важно, что работы Клода Моне уже стали общественным достоянием.
Мной был отобран датасет из 16 самых известных работ Клода Моне, больше всего передающих стиль художника. Я старалась подбирать разнообразные картины: зеленые и городские пейзажи, с людьми и без.
Применение генеративной модели
Подгружаю датасет в Google Colab
Далее я проверила выгрузку и сгенерировала к картинкам в датасете подписи
Далее был запущен код для экономии памяти, а также подготовка к обучению и вход на Hugging Face
А теперь наконец-то перехожу к самому обучению генеративной нейросети! Всего было 500 шагов с чекпоинтом на 250-м. Процесс обучения занял чуть более 40 минут
Сохранила полученную модель на Hugging face и приступила к генерации!
Генерация изображений
Первые пробы генерации я решила сделать на похожую на оригинальные картины Моне тематику: пейзажи и гуляющие люди.
На удивление, все было супер и сгенерированные картинки правда было сложно отличить от оригинальных полотен!
А вот с первой попыткой генерации людей были проблемы, но я решила что все дело в странном промте и пошла генерировать дальше
И следующая же генерация портрета удалась!
Попробовала сгенерировать людей в полный рост и все получилось! Теперь это моя любимая картинка из всех полученных
Начала пробовать чуть-чуть отходить от тематики картин Клода Моне, и результаты получились чуть хуже чем раньше
Если с проблемами кошек на правой картинке все понятно, то старик на левой мне показался недостаточно похожим на стиль Моне, хоть в коде я ничего и не меняла
Подумала что дело именно в стариках, но следующая генерация с ними стала отличной
Дальше я начала пробовать отходить от Моне еще дальше, но первая же проба с чем-то современным не сильно отличалась от другой подобной из начала
Попробовала сгенерировать чего-то совсем непохожее на Моне, все получилось!
Ну и в конце попыталась сгенерировать человека с современным гаджетом, и тут тоже все было хорошо!
Итоги
У нейросети прекрасно получилось обучиться стилю Клода Моне! Причем получается у нее максимально точно — все отличительные черты стиля переданы прекрасно. Конечно, сюжеты близкие к картинам художника генерируются лучше, но и современных вещей от нее можно добиться. Мне кажется, мой опыт обучения генеративной нейросети можно считать успешным!
Использовались: — Stable Diffusion — Google Colab
Ссылки: блокнот с кодом: https://colab.research.google.com/drive/1fFR6wxb2NIkgM0ZcwHHSFYCYXIauN9Ca?usp=sharing Hugging Face: https://huggingface.co/reppoly/monet_style_LoRA Датасет с изображениями: https://drive.google.com/drive/folders/1XmkAYALO2kk9F13rnJv6TM8w9d132bLD?usp=sharing
