Обучение генеративной модели на основе работ cactithorn

Цель моего проекта — это обучение нейросети рисовать в стиле художницы cactithorn, которая создаёт потрясающие портреты девушек. Стиль cactithorn уникальный и её картины обладают таинственной и где-то даже пугающей атмосферой. Моя задача — узнать насколько хорошо нейросеть сможет возпроизвести стиль cactithorn и передать необходимую атмосферу иллюстрациям.

Датасет изображений для обучения нейросети я собрала вручную из социальных сетей художницы cactithorn. Датасет состоит из 81 иллюстрации художницы. Для обучения нейросети Stable Diffusion я использовала предложенный в лекциях код SDXL DreamBooth LoRA, который доступен на GitHub. Процесс генерации изображений осуществляется с использованием промптов и префиксом «illustration in style cactithorn».

Как мне кажется, полученные сгенерированные изображения обладают общей стилистикой художницы. Портреты получаются необычными и с подсвеченными чертами лица, характерными для оригинальных работ.

После того как я сгенерировала портреты незнакомых людей, я решила посмотреть насколько хорошо нейросеть сможет сгенерировать портреты знаменитостей.

По итогу я могу сделать вывод, что нейросети удалось перенять основные элементы стиля и сделать необычные и пугающие одновременно иллюстрации. Однако изображения все равно не передают той «магии», которая присутствует на оригинальных работах художницы cactithorn. К тому же, не всегда получается сгенерировать изображения знаменитостей и передать все особенности их внешности. Тем не менее, я считаю, что у меня получилось выполнить свою цель и обучить нейросеть рисовать в определенном стиле даже известных людей.