Обучение генеративной нейросети в стиле художницы Анны Земанковой

Анна Земанкова — чешская художница, родившаяся в 1908 году. В работах она часто изображала детализированные цветы и растения, а также абстрактные формы, отсылающие к растительности и органике. Образы часто метафоричны и сюрреалистичны, будто из другой природной реальности. Картины зачастую выполнены в пастельных пришлушённых тонах.

Из материалов Анна использвала темперу, сухую или масляную пастель. Хорошо прослеживается, что художница неустанно экспериментировала: к нарисованному добавляется бисер, вышивка, тиснение, создание выпуклой текстуры и многое другое.

Мне стало интересным посмотреть, как стиль художницы раскрылся бы через другую природно-растительную тематику — насекомых. Бабочки, стрекозы, шмели и пчёлы — те, кто взаимодействует с растительным миром: неважно, просто сидит на цветке или опыляет его.

Проект выполнялся в рабочей среде Kaggle с ускорением GPU P100, куда импортировался исходный код и созданный датасет «anna-zemankova» из 170 изображений в формате jpg. Также была создана директория «zem» для копирования туда датасета.

Датасет был собран из 170 изображений работ Земанковой, которые находила в различных интернет-ресурсах. Допускала повтор некоторых работ, так как часто находила одно и то же произведение в немного отличающихся оттенках, — подумалось, что это может дать определённый эффект в обучении модели и с большей стороны раскроет творчество художницы.

Чтобы перевести работы в квадратный формат 512×512 пикселей, я использовала онлайн-сервис BatchTools.pro.

Для обучения модели нужно было создать подписи к изображением с одинаковым префиксом «photo collage in ZEMANKOVA style». После обучения промпты будут начитаться именно с этой фразы.

После обучения модели в процессе генераций изображений я пробовала менять разные параметры модели, выкручивая её влияние на максимум или на какую-то часть (0.5, 0.7, 0.8) или меняя параметры «контрольной точки» модели (500 — максимум, 250 — половина), или изменяя оба параметра одновременно. Ослабленное влияние модели влияло на итоговую генерацию по-разному: когда-то результат был близким к обученному стилю, а когда-то значительно отличался от него.

Результат также зависел от ключевых слов запроса. Я использовала нейросеть ChatGPT для помощи в генерации промптов и описания стиля художницы. Ниже несколько примеров наиболее влиявших на генерации слов: «photorealistic» «pastel» «organic» «clean» «gradient» «texture» «macro»

Для улучшения качества получившихся генераций я использовала следующие ресурсы: iLoveIMG, SnapEdit, но использовала их не для всех изображений, так как во многом зернистость и приглушённость являются особенностями работ Земанковой.

Добавленная в промпты характеристика «photorealistic» и настройки кода, создающие уменьшенное влияние модели на генерацию, добавляют реалистичности насекомым, но придерживаются заданного стиля.

Крылья стрекоз особенно перекликаются с заданным стилем, так как засчёт лёгкости, полупрозрачности и нежных оттенков отсялают к природным формам, к абстрактным растениям художницы.

Так как у Земанковой основными сюжетами являются растительные природные мотивы, мне захотелось также попробовать сгенерировать полуабстрактные органические формы.

Так как в работах Анны Земанковой прослеживается достаточно высокая степень детализации, я решела попробовать создать картинки, напоминающие макро-съёмку насекомого или растения.