Разработка персональной модели LoRA для Stable Diffusion на основе собственных фотографий
Цель — создание генератора идей, который воспроизводит характерные для фотостиля фактуры, цвета и композицию для поиска новых визуальных решений
У художников есть один из моих любимых лайфхаков для рисования сложных фонов — брать за референс фотографию интересных композ из разных предметов. Для меня таким вдохновением служат макрофотографии природы, однако, как оказалось, их у меня довольно мало, и не все такие интересные, как хотелось бы. С помощью генеративки я попробую создать новые формы и ракурсы своих фото из Карелии для дальнейшего использования в рисовании.
© неизвестный из Pinterest
Для референса было выбрано 13 макрофотографий с общей тематикой камни / трава / мох / земля
Генерации
Для начала мне стало интересно посмотреть, что за котов и птиц увидел BLIP при описании изображения. Сначала показалось, что он так воспринимает каменную лестницу, но, видимо, природные паттерны действительно можно считать за кошачьи.
(BLIP:
«prompt»: «mossrck_style, a cat sitting on a stone bench in a garden»…
«prompt»: «mossrck_style, a cat is sitting on a rock in the grass»)
1 «mossrck_style, a cat on the stone in woods» 2 «mossrck_style, a pile of cats on moss»
Птичкой оказался листочек, а каменную лестницу BLIP считал за скамейку. Общую стилистику это не испортило.
«mossrck_style, a bird on a moss bench»
Если же использовать ключевые слова (камень / трава / мох), то получается то, что нужно. Можно экспериментировать с процентным соотношением объектов в композиции и ре-генерировать под свою задумку.
«mossrck_style, stone with moss»
«mossrck_style, a moss in the sun»
1 «mossrck_style, single stone in woods» 2 «mossrck_style, a moss cat»
«mossrck_style, a single leaf on a cat»
«mossrck_style, a pile of leaves on the stone»
1 «mossrck_style, stone stairs in the sun» 2 «mossrck_style, broken stone tiles with moss»
1 «mossrck_style, a moss bench» 2 «mossrck_style, stone benches in the woods»
«mossrck_style, moss with leaves»
1 «mossrck_style, a pile if stones in woods in the sun» 2 «mossrck_style, a pile of stones on moss»
Модель очень сильно опирается на референсные изображения, это можно заметить по некоторым генерациям (объекты / цвет), однако, если писать уникальный сложный промт, то модель хорошо справляется с созданием чего-то нового, соответствуя основному стилю. Изображения четкие, свет лежит правильно, объекты различаемы — для цели проекта более чем достаточно.
Нейросеть выступает хорошим генератором идей и референсов для дальнейшей творческой работы, а не заменой процесса ★
Программа писалась в Google Colab в соответствии с приложенным к описанию задания кодом. Для загрузки архива был использован метод через Google Drive. А также файл был три раза переписан, чтобы Google наконец дал ОЗУ для обучения модели.
Описание применения ген. модели:
Stable Diffusion — базовая архитектура для обучения методом DreamBooth с применением технологии LoRADeepseek — консультация по устранению ошибок, возникающих в процессе применения кода