Обучение нейросети стилю loish
Концепция
Я очень люблю стиль рисования художницы loish. В основном она изображает девушек в динамичных позах с развивающимися цветными волосами. Также у неё запоминающаяся графика, часто видно штрихи, а ещё интересно, что персонажи художницы схожи чертами лиц между собой и с ней самой. Так как у loish очень колоритный и интересный стиль, я решила обучить нейросеть Stable Diffusion на её артах.
Исходные изображения
Я собрала датасет из 40 изображений, предварительно подогнав их под разрешение 512×512px.
Процесс обучения
Я решила работать в Google Colab. Сначала я создала директорию для изображений, которые будут использоваться для обучения нейросети, и загрузила в неё все файлы.
Далее я использовала BLIP для автоматического создания подписей к картинкам, которые нужны для обучения нейросети. Также добавила к описаниям идентификатор токена концепции «LOISH-style art», записав всё в jsonl-файл.
Следующим шагом освободила память и подготовила всё для обучения.
Я решила обучать нейросеть на изображениях 512×512, но задать более высокие показатели для большей точности модели. Обучение заняло около 1,5 часов.
Далее сохранила модель, запустила и начала генерировать картинки.
Результат
Я генерировала изображения, свойственные артам loish. Создавала и просто персонажей, и немного сюжетные сцены.
«LOISH-style art, a painting of a shy woman with lond hair, blue, green and purpur», «LOISH-style art, a painting of a shy woman with lond hair, blue and purpur»
Модель хорошо передала стиль и черты персонажей художницы.
«LOISH-style art, a woman with long black hair and a blue shirt holding a pink rose», «LOISH-style art, a woman in a dress and short hair holding pumpkins»
«LOISH-style art, a woman with a bird on her shoulder», «LOISH-style art, a white woman with a bird on her shoulder, blue and purpur», «LOISH-style art, a woman with a bird on her shoulder, blue»
В сложных позах и ракурсах конечности часто получались странноватыми, иногда было несколько рук или положение кистей выглядело неестественно.
«LOISH-style art, a white woman with long hair swims underwater», «LOISH-style art, a white woman with long black hair swims blue underwater»
«LOISH-style art, a woman with a black hair and a white face», «LOISH-style art, a woman with a black hair and a white face, a heart in her hands»
В датасете для обучения нейросети было всего две картинки с таким дымным эффектом, однако модель очень хорошо справилась с генерацией подобных изображений.
«LOISH-style art, a woman with a black hair and a red flame», «LOISH-style art, a woman with a black hair and a white face, a flame in her hands»
«LOISH-style art, a painting of a woman standing in front of a large flower», «LOISH-style art, a painting of a woman with lond hair standing in front of a large flower, blue, green and purpur»
«LOISH-style art, a woman in a blue dress with a long hair and a flowing flowing dress», «LOISH-style art, a woman with long black hair and a blue dress»
Я пробовала писать одинаковые промпты, но задавать разные цвета, что в результате показалось довольно интересным.
«LOISH-style art, a woman with a raccoon», «LOISH-style art, a woman with a raccoon, blue and green», «LOISH-style art, a woman with a long hair and a raccoon, blue»
Также я попробовала создать изображения с котом, которого не было в датасете. Модель отлично передала стиль, котики хорошо получились.
«LOISH-style art, a woman with a cat», «LOISH-style art, a woman with a long hair and a cat, blue»
«LOISH-style art, a woman with long hair and a snake in her hand», LOISH-style art, a woman with a snake on her head
«LOISH-style art, a woman with red and blue hair is dancing», «LOISH-style art, a woman with blue hair is dancing»
В целом нейросеть достаточно хорошо следовала промпту и получались ожидаемые изображения.
Вывод
Модель смогла довольно точно передать стиль художницы. Прослеживается динамичность поз и легкость в движениях, присутствует характерная рисовка, показаны штрихи и плавность в переходах. Также нейросеть смогла передать цветовую палитру и мягкий свет, присущие стилю. Однако присутствуют и неточности. Иногда ломается анатомия, некоторые объекты смазаны, прослеживается неровность контуров в некоторых изображениях. Возможно, если использовать исходные изображения разрешением 1024×1024, получится более точный результат.
