Идея проекта
Идея проекта — обучить нейросеть Stable Diffusion создавать иллюстрации в уникальном стиле. Главной характерной чертой моего стиля является сочетание разных текстур и паттернов. Задачей проекта было обучить нейросеть воспроизводить эти уникальные черты стиля.
Исходные изображения
В качестве исходных изображений я взяла свои иллюстрации из другого проекта. Я их обрезала в соотношении 1×1 и загрузила в датасет.
В примерах иллюстраций четко можно заметить характерные черты стиля: анатомия человека уходит на второй план, главная изюминка — сочетания разных текстур и наличие пейзажа.
Обучение нейросети
Для написания своего кода я взяла приложенный пример, изучила его и откорректировала под себя. Сначала у меня возникли некоторые трудности, чтобы решить и разобраться в ошибках, которые у меня возникают, я воспользовалась Chat GPT. Впоследствии код начал исправно работать и я создала модель «my_style_LoRa».
«illustration in my style, a boy plays with cats on the grass» «illustration in my style, children play with a ball in the field»
Стиль получившихся иллюстраций отдаленно напоминает мою стилистику: нелепая анатомия людей, сочетание разных текстур. Но все же результат меня не очень впечатлил, так как анатомия у людей в местах была крайне кривая (лишние конечности, смазанные лица)
часть кода
Чтобы нейросеть лучше считывала мою стилистику, я попробовала поменять caption_prefix с «illustration in my style, " на «a drawing in nyastkbstyle, „. Я подобрала несуществующее слово, чтобы нейросеть не терялась в разных стилистиках.
«a drawing in nyastkbstyle, two boys playing ball on the field»
На этих изображениях можно заметить более характерный пейзаж для исходных иллюстраций. Картинки больше похоже на оригинал, но все же встречаются проблемы с кривой анатомией и странными леталями.
«a drawing in nyastkbstyle, a little boy and a little girl are playing with a ball in an autumn forest» «a drawing in nyastkbstyle, a man is standing by the sea holding a cigarette»
Я пробовала обучать нейросеть с разным количеством шагов. Эти иллюстрации мало отличаются от оригинала, но все же их можно отличить. Текстуры и пейзаж взяты практически идеально, но лица сгенерированы с некоторыми чертами, не характерными стилю
Проблемы и инсайты
Обучив нейросеть, я столкнулась с рядом проблем, такие как лимит на использования GPU, недоученная модель и ошибки, причину которым мне пришлось искать с помощью Chat GPT.
Итак, моя работа не доведена до идеала, я поняла, что на обучение нейросети нужно вкладывать больше времени, подбирать более уникальные токены и использовать больше картинок, где нейросеть может вычислить явные характеристики стиля.
