Обучение Stable Diffusion/ PIROSMANI
в последнее время меня привлекали работы грузинского художника нико пиросмани
Его работы могут показаться простыми, даже наивными, однако особенный язык цвета и специфическая перспектива позволяют передать что-то гораздо более глубокое, чем просто портрет прекрасной грузинки или живописный деревенский пейзаж.
В качестве финального продукта мне захотелось создать серию изображений, отражающий непростой для меня март — то, как я увидела его эмоционально, через призму мира Пиросмани.
обучение
Я практически не вносила изменений в код преподавателя, поэтому работа строилась на тех же этапах: 1/ Подготовка Загрузка нужных библиотек 2/ Импорт датасета и авторазметка 41 изображение 512 на 512 картин Пиросмани я загружала локально, а для разметки использовала базовый промпт — «painting in PIROSMANI artsyle» 3/ Обучение Для обучения модели я использовала следующие гиперпараметры. Сначала модель была обучена на 500 шагах, однако результат показался мне неудовлетворительным, поэтому я подняла его до 750.
4/ Сохранение и работа Затем обученную модель я загрузила в свой аккаунт на Hugging Face под названием yallzerno/pirosmani_style_LoRA, а потом использовала ее для создания финальных изображений
итоговая серия и анализ
Саму серию я решила организовать как исследования цвета и композиций — от простого к сложному. В параллель с этим идет и другая градация, по эмоциональной напряженности.
Я решила начать с чего-то простого — небольших бытовых натюрмортов в заданной гамме. Модель справилась хорошо не только с привычным для нее предметом (виноград), но и новым — монитор компьютера.
Далее я решила посмотреть на то, как она справится с изображением человека и животных. Она удивительно точно попала как в анатомию людей с большими круглыми лицами и миндалевидными глазами, так и животных с вытянутыми конечностями.
prompt: painting in PIROSMANI artsyle, young sad girl is standing in the middle of snowy field, girl is surrounded by little dark hares, night time, bright blue background
prompt: painting in PIROSMANI artsyle, close up portrait of a head of white [person/rabbit] with red eye, side profile view, solid white background
prompt: painting in PIROSMANI artsyle, wheat field landscape, [small lamb is hiding in wheat/ village in the distance], solid day light
Пейзажи тоже получились достаточно убедительными — от цвета и фактур до архитектуры.
prompt: painting in PIROSMANI artsyle, white girl with long dark hair is hugging girls with long dark hair, hair are blowing in the wind, bright white minimalistic airybackground
prompt: painting in PIROSMANI artsyle, [snake ourobouros is biting its tail/ hands shape a circle amoung a small ring] circular composition, solid red background
Мне было интересно посмотреть, насколько нейросеть чувствительна к промптам, связанным с композицией. По запросу «circular composition» получились интересные изображения, использующие в качестве круга или центральный объект, или фон.
Здесь же заметна небольшая проблема с отрисовкой рук. Стоит отметить, что много артефактов удалось устранить с помощью негативных промптов. Так с помощью negative_prompt = ’’ground, people, architecture, animals» получилось убрать все лишнее с картинок с небом.
prompt: painting in PIROSMANI artsyle, minimalistic red sky with bright white clouds
prompt: painting in PIROSMANI artsyle, people are standing by long yellow table with wine and oranges, solid minimalistic dark village background in the distance, frontal view
Одной из визитных карточек художника по праву считают картины с застольем. Несмотря на то, что в датасете было множество таких сцен, у нейросети были проблемы с отрисовкой большого количества лиц людей.
С повышением шагов шумоподавления (25 → 65) ситуация улучшалась, однако очевидно, что с меньшим количеством она справляется лучше.
prompt: painting in PIROSMANI artsyle, still life, tall [candles/ yellow dandelions], black solid background, central composition, front view
На изображении с ивой ярко проявились особенности живописи художника — типы мазков и тушевка.
prompt: painting in PIROSMANI artsyle, round [white dandelion/clocks], black solid background, central composition, front view
в заключении отмечу, что дообученная нейросеть действительно удачно переняла особенности стиля художника в разных аспектах — цвет, свет, композиция и техника — однако локальными артефактами все еще проигрывает живой руке гениального художника.
