Обучение генеративной нейросети под стиль Саши Робинсон
В качестве обучения нейросети я решила взять картины Саши Робинсон, чей уникальный стиль вызывает у меня искреннее восхищение. Ее произведения наполнены яркими цветами, которые словно оживляют серые будни и наполняют сердце радостью.
Примеры работ Саши Робинсон
Процесс обучения
Для начала я собрала 26 картинок 1:1 хорошего качества.
Далее загрузила в блокнот Google Colab все необходимые библиотеки.
После этого загрузила все необходимые изображения.
Далее я сгенерировала подписи в виде промптов с помощью BLIP.
После этого я зарегистрировалась на сайт Hugging Face, создала токен и ввела его в систему Google Colab. Далее создала настройки изображений будущей модели.
После всех этих действий я сохранила получившуюся модель и приступила к генерации изображений.
Ссылка на модель https://huggingface.co/Milana3/robinson_style_LoRA
Ссылка на блокнот с кодом https://colab.research.google.com/drive/1ZngLYBZcmKAbtyHDQOjmZ4Iqp1PBrs1H?usp=sharing
Генерация и анализ изображений
Я начала генерацию изображений, используя точные указания по цветовой палитре и стилю вазы. В результате изображения получились визуально близкими к стилю художницы: в них присутствуют характерные для неё элементы — интересные цветы, линии и точки, которые я специально включала в промты. Цветовая гамма также соответствует её уникальному стилю. Однако цветы на изображениях вышли слишком реалистичными, тогда как в работах художницы они более абстрактные.
Промты
1. photo collage in ROBINSON style, pink tulips in a blue polka dot vase 2. photo collage in ROBINSON style, white lilies in a striped vase
Генерации Stable Diffusion
Затем я решила попробовать указывать в промтах только цветы, без конкретных указаний на стиль вазы. На первом изображении получились абстрактные цветы, фон и сама ваза, что приблизило результат к стилю художницы. На втором изображении цветы всё ещё выглядели реалистично, но ваза уже содержала геометрические элементы, характерные для её работ.
Промты
1. photo collage in ROBINSON style, roses in a vase 2. photo collage in ROBINSON style, peones in a vase
Генерации Stable Diffusion
После этого я решила попробовать указывать в промтах не конкретные цветы, а их сезон. В результате изображения получились яркими и наивными — именно такими, какие часто встречаются в работах художницы. Однако в них всё же не хватало нужной степени абстракции, характерной для её стиля.
Промты
1. photo collage in ROBINSON style, spring flowers in a vase 2. photo collage in ROBINSON style, bright summer flowers in a vase
Генерации Stable Diffusion
Далее я решила поэкспериментировать с фоном и добавить больше абстракции, которой так не хватало в предыдущих изображениях. В первом случае я чётко указывала, какой именно фон мне нужен, а во втором — просила изобразить абстрактные элементы. В итоге получилось именно то, чего я добивалась: яркий, необычный фон, множество абстрактных деталей и характерный детский, наивный стиль, близкий к работам художницы.
Промты
1. photo collage in ROBINSON style, daisies in a vase, lines on the background 2. photo collage in ROBINSON style, mimosa in vase, abstract blue background 3. photo collage in ROBINSON style, abstract bright flowers in a vase 4. photo collage in ROBINSON style, flowers in a vase, on an abstract unusual background 5. photo collage in ROBINSON style, flowers in a vase, plain background 6. photo collage in ROBINSON style, flowers in a vase, plain bright background 7. photo collage in ROBINSON style, flowers in a vase, plain very bright blue background
Генерации Stable Diffusion
Генерации Stable Diffusion
И напоследок я решила попробовать указывать точное количество цветов в изображении. Однако нейросеть с этим справилась неудачно: вместо одного или трёх цветков, как я просила, она генерировала пышные букеты.
Генерации Stable Diffusion
В целом, нейросеть хорошо справилась с поставленной задачей — ей удалось создать изображения, визуально близкие к стилю художницы. Она переняла характерные особенности: абстрактную подачу, яркую цветовую палитру и геометрические фигуры на фоне. Однако с некоторыми параметрами, например, точным количеством цветов, нейросеть справляется хуже — вместо одного или нескольких элементов она генерирует целые букеты. Тем не менее, результат получился впечатляющим. Всё же нейросеть не способна полностью заменить художницу — она лишь имитирует её стиль и визуальные приёмы.
Ссылка на изображения:
https://drive.google.com/drive/folders/1EaU0DKwMgUrh9cAtHh5O4s_smA6GpozT
