Обучение генеративной нейросети под стиль Фредерика Гассама
В этом проекте представлена серия изображений, сгенерированных при помощи обученной нейросети Stable Diffusion.
Вдохновленная смелым подходом к цвету, динамикой мазков и глубоким пониманием света в картинах Фредерик а Чайльда Гассама, я решила использовать возможности нейросети для создания картин в его стиле. Целью проекта была попытка передать через современные технологии уникальную атмосферу и неуловимую легкость произведений мастера.
Фредерик Гассам известен своим неповторимым видением мира, которое сочетает в себе одновременно энергию движения и спокойствие природы. Его работы выделяются яркостью красок, эмоциональной насыщенностью и особой техникой нанесения краски. Эти качества делают его произведения особенно интересными для воспроизведения с использованием искусственного интеллекта.
Некоторые из исходных изображений авторства Ф. Ч. Гассама
Некоторые из исходных изображений авторства Ф. Ч. Гассама
Некоторые из исходных изображений авторства Ф. Ч. Гассама
На начальном этапе я сосредоточилась на простых и понятных мотивах. Это позволило лучше понять возможности нейросети и освоить основные принципы её работы. Простой пейзаж с полем и натюрморт стали отправной точкой работы.
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
А также был сгенерированы зимний пейзаж, и простой пейзаж с лодкой, на этот раз содержащие архитектурные элементы.
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Дальше я перешла к генерации изображений с людьми. Здесь задача стала чуть сложнее, поскольку лица и руки требуют особого внимания к деталям. А еще было создано изображение статуи, так как мне было интересно получится ли достоверно изобразить такой объект на примере картин с живыми персонажами. Несмотря на некоторые трудности с передачей четкости черт лица, результат получился впечатляющим, портреты действительно сохранили дух работ импрессиониста.
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Наконец, мне стало любопытно создание изображений животных, которые практически не встречались на реальных полотнах Гассама. Животные, созданные с помощью нейросети, также гармонично вписались в стилистику работ выбранного автора, правда я не совсем уверена что именно за животное получилось на первой картине…
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
В итоге можно сказать что первоначальную задумку удалось воплотить полностью, все получившиеся изображения максимально точно копируют манеру рисования Ф. Ч. Гассама, при этом также сочетаются по стилю между собой. Можно предположить, что импрессионизм идеально подходит для работы с генеративными нейросетями, потому что изначально подразумевает некоторую расплывчатость и нечеткость форм, скрывая тем самым небольшие ошибки в сгенерированных картинах.
Процесс
Для обучения нейросети я отобрала 100 картин Фредерика Чайльда Гассама. Я старалась выбрать максимально разные по сюжету работы: натюрморты, портреты, пейзажы созданные в разное время года.
Далее все найденные изображения были приведены к разрешению 512×512 и собраны в одну папку.
Работа была выполнена в Google Colab. Модель Stable Diffusion XL я обучала при помощи техники LoRA (Low-Rank Adaptation).
После проверки GPU и установки нужных зависимостей все изображения были загружены в блокнот
фрагмент кода
фрагмент кода
Используя библиотеку BLIP были созданы описания изображений и назначен префикс «photo collage in HASSAM style»
фрагмент кода
Наконец можно начинать обучение генеративной модели, а затем генерировать свои собственные изображения.
