Обучение генеративной нейросети под стиль художника Джеймса Джина
Концепция
Джеймс Джин — американский художник тайваньского происхождения, известный умелой работой с цветом и сюрреалистичными сюжетами. Джеймс Джин обладает ярким и узнаваемым визуальным стилем, а каждая его работа выполнена с большим вниманием к деталям и похожа на волшебный сон, поэтому для обучения генеративной нейросети было выбрано именно творчество этого художника.
Все работы, использованные в процессе обучения и создания презентации, взяты с личного сайта художника.
Процесс обучения
Для обучения нейросети были взяты 100 работ, созданных в период с 2015 по 2024 годы. Для датасета я старалась выбирать картины, в которых наиболее отчётливо прослеживается стиль художника.
Я работала над проектом в Google Colab, ссылка на блокноты. После установки всех нужных библиотек и инструментов, я выбрала с устройства все файлы из датасета и загрузила их в Colab.
Далее для создания описаний к картинкам датасета я установила библиотеку BLIP. Описание каждой картинки должно начинаться со строки «An artwork in James Jean style…»
Для того, чтобы ускорить процесс обучения модели, я немного уменьшила разрешение изображений и параметр --max_train_steps.
Большинство картинок было сгенерировано в отдельном блокноте. Для генерации я использовала финальную модель (не промежуточные её версии). Однако я уменьшила параметр lora_scale до 0.81, поскольку при более высоких значениях модель выдавала слишком абстрактные изображения.
Итоговая серия изображений
В итоговой серии изображений я решила проиллюстрировать историю. В центре сюжета находится девочка, которая, играя с кошкой, засыпает и во сне попадает в волшебный лес. Гуляя по лесу, она знакомится с его обитателями.
«an artwork in James Jean style, a portrait of a beautiful long dark hair woman with a cute cat»/ «an artwork in James Jean style, a portrait of a beautiful long dark hair girl fallen asleep»
«an artwork in James Jean style, a mystical magic forest landscape» / «an artwork in James Jean style, a long path in a magical forest, high contrast, deep blue, light pink and pastel blue colors»
Первое место в лесу, куда героиня истории заходит во сне, — цветочная поляна. Она усыпана розами, пионами и хризантемами, вокруг которых порхают большие красочные бабочки.
«an artwork in James Jean style, a beautiful long dark haired girl walking through garden with beautiful flowers, roses and chrysantemums»
«an artwork in James Jean style, a garden full of giant tropical butterflies, pastel vermillion, blue and pink color palette»
«an artwork in James Jean style, a garden with beautiful flowers, roses and chrysantemums»
Далее девочка выходит к реке. В воде резвятся карпы с блестящей чешуёй, а вдалеке на противоположном берегу видно красивого величественного единорога. Героиня минует реку и идет вглубь леса, где встречает милых зайчиков и большого мудрого волка.
«an artwork in James Jean style, koi fish in the river, bright pastel colors» / «a magical river in the forest, bright pastel colors» / «James Jean style, a beautiful unicorn in a magical forest»
«an artwork in James Jean style, white bunnies among the beautiful flowers, white, bright orange light blue color palette»
«an artwork in James Jean style, a wolf in a mystic forest»
Внезапно впереди открывается светлая лесная тропинка. Девочка идет по ней вперед, выходит из чудесного леса и просыпается в объятиях мамы. Её волшебное приключение подошло к концу.
«an artwork in James Jean style, a long path in a magical forest, high contrast, deep blue, light pink and pastel blue colors»
«an artwork in James Jean style, a beautiful woman hugging her long dark haired daughter, a portrait of mother and daughter»
Выводы
Перед тем, как сопоставить получившиеся изображения с оригиналом и проанализировать их, я выделила следующие характерные признаки работ Джеймса Джина :
- Сюрреалистичные сюжеты, множество мифических существ
- Динамичные композиции с мягкими тягучими формами
- Обилие цветочных мотивов
- Яркая цветовая палитра, сочетание мягких пастельных и насыщенных неоновых оттенков
- Большое внимание к деталям, обращение к родной культуре и использование стилизованных национальных орнаментов
В целом, изображения достаточно точно передают подход выбранного автора. Как мне показалось, артефакты на сгененированных картинках появлялись чаще обычного, но в целом нейросеть хорошо справлялась с изображением людей и животных, композиции получились интересными, а все формы и линии так же, как и на оригинальных работах, очень плавные и обтекаемые, благодаря чему можно считать стиль Джеймса Джина.
Однако, на оригинальных работах художника присутствует больше деталей, и все орнаменты очень подробно проработаны. На сгенерированных же картинках цветы, деревья и все элементы заднего плана прорисованы в общих абстрактных формах. Кроме того, как мне показалось, нейросеть не всегда удачно работала с цветовой палитрой. По умолчанию картинки выходили не слишком контрастными, а более приглушёнными, и из-за этого иногда смотрелись грязно. Чтобы поправить это, я дополнительно прописывала желаемую цветовую гамму в промтах.
