Обучение нейросети под стиль Густава Климта
Концепция проекта
Цель проекта — разобраться, как работает обучение нейросети. Хотелось узнать насколько точно получиться воспроизвести особенности стиля и эстетики, композицию, цветовую гамму, фактуру.
Я выбрала работы художника Густава Климта. Он работал в стиле модерн и символизм, известен своим стилем — декоративностью, орнаментальностью и символикой. Цветовая палитра преимущественно в теплых тонах: желтый, оранжевый и коричневый. Характерные черты это — использование золота и серебра в качестве фона, узоры, геометрические фигуры и мотивы.
Датасет
Найти большое количество качественных и подходящих для обучения изображений оказалось достаточно сложно. Я собрала всего 16 изображений работ Густава Климта, которые наиболее точно отражают его стиль и почерк и могут быть использованы для обучения. Перед загрузкой я привела картинки к единому квадратному формату.
Процесс обучения
Настройка окружения. Для сохранения результатов обучения модели генерации изобрежений использовался Hugging Face. Вход в аккаунт осуществляется при помощи токена.
Обучение и сохранение модели генерации изображений будет осуществляться при помощи сторонних библиотек и скриптов, поэтому необходимо их скачать и установить. Импортируем сразу все используемые библиотеки.
Объявим все глобальные переменные в одном месте.
Для обучения модели генерации изображений необходимы изображения, на которых это обучение будет проходить. Для проверки их наличия продемонстрируем несколько из них.
Для обучения модели генерации изображений необходимы описания каждого изображения, для упрощения сгенерируем их при помощи BLIP.
Обучение модели генерации изображений.
После обучения модели, необходимо её сохранить, чтобы была возможность её использовать после удаления среды, в которой она обучалась.
Как происходила генерация изображений.
Результат обучения
1 — a painting of a colorful houses 2 — a painting of a house with a flowers in the foreground
Итоговая серия изображений демонстрирует сюжеты с персонажами и пейзажи с цветами в стиле художника.
a painting of a landscape
a painting of a colorful flowers
На основе сгенерированных фотографий я сделала вывод, что готовая модель лучше работает с пейзажами, домами и цветами.
a painting of a face of beautiful woman
a painting of a bird
Картины с людьми хорошо передают ключевые особенности узнаваемого стиля, такие как текстура, теплая или золотая цветовая гамма, паттерны на фоне, но персонажи выходят не всегда эстетичными и иногда лица дублируются и перекашиваются.
a painting of a woman
Вывод
В результате обучения нейросеть хорошо воспроизвела визуальные черты работ Густава Климта. Ей удалось отразить основные принципы стиля художника в итоговых изображениях.
