Обучение генеративной нейросети Stable Diffusion под стиль Ellen Sheidlin
Елена Шейдлина
Елена Шейдлина — современная российская художница, ставшая известной во всём мире. Её работы известны своей нежностью, интересными и необычными сюжетами и сюрреалистичностью — они привлекают и пугают одновременно. и глубокой связью с природой.
Я уже давно слежу за творчеством Елены Шейдлиной, поэтому для своего проекта я решила взять именно её работы и посмотреть как нейросеть Stable Diffusion сможет справиться с задачей передачи стиля художницы. Главная цель проекта — обучить модель генерировать изображения, вдохновлённые её работами, и проанализировать насколько хорошо нейросеть сможет воссоздать её уникальный стиль.
Примеры работ Елены Шейдлиной, картины маслом
Процесс обучения
Для обучения Stable Diffusion я сделала датасет из 39 работ 18 работ Елены Шейдлиной, которые взяла из её творческого инстаграмма (запрещённого в РФ). После, я адаптировала готовый код из лекции под свой проект.
Код загрузки работ Елены Шейдлиной
Код для генераций описаний работ
Код для освобождения памяти и тренировки модели
Код запуска модели
Код проверки генерации итоговых изображений
Результирующая серия изображений
Первая серия изображений
Промпты для изображений выше:
prompt = «photo collage in Elena Sheidlin style, times square, new york»
prompt = «a painting in the style of Elena Sheidlin, a surreal forest with vibrant colors»
Меня не устраивало то, что изображения получались монохромными сами по себе и все в одной цветовой гамме — розово-фиолетовой.
Я решила изменить промпт, сделать его длиннее и точнее, но изображение всё равно получилось розовым.
Изображения с изменённым промптом
Промпт для изображения выше:
prompt = «A surreal and vibrant digital artwork in the style of Elena Sheidlin, featuring a dreamy portrait of a woman with exaggerated, whimsical facial features, surrounded by floating abstract shapes and pastel colors. Her expression is mysterious yet playful, with intricate details in the hair and clothing, blending realism with fantasy. The background is softly blurred with a mix of warm and cool tones, creating a dreamlike atmosphere. High detail, cinematic lighting, 8K resolution, ultra-realistic yet artistic.»
Со временем, изображения становились всё более похожи на стиль художницы и перестали быть монохромными.
Результирующая серия изображений
Промпты для изображений выше:
prompt = «A whimsical forest scene with vibrant colors, featuring magical creatures and intricate details, inspired by Ellen Sheidlin’s enchanting style.»
prompt = «A dreamy cityscape at twilight, with surreal architecture and a blend of fantasy elements, capturing the essence of Ellen Sheidlin’s artistic vision.»
prompt = «An ethereal portrait of a young woman surrounded by nature, with flowing hair and floral patterns, reflecting the delicate and imaginative style of Ellen Sheidlin.»
prompt = «A fantastical underwater world filled with colorful marine life and whimsical plants, depicted in the vivid and intricate manner characteristic of Ellen Sheidlin.»
Мне нравится, что получившиеся изображения передают нежность, эффект масляных красок и детализацию, которые присущи оригинальным работам Елены Шейдлиной.
ГенИИ и сайты, которые я использовала в проекте:
1. StabbleDiffusion 2. HugginFaceHub 3. DeepSeek (для генерации промптов) 4. Google Colab
