Обучение нейросети Stable Diffusion для рисования в стиле My little Pony

Целью моего проекта было обучить нейросеть Stable Deffusion создавать изображения, основываясь на стиле мультфильма My little Pony.

Результат обучения дал в качестве итоговых изображений несколько картинок с пони, собранных из разных частей персонажей, которые были даны нейросети в качестве материала для обучения. Получить какие-то абсолютно новые черты было сложнее, однако фоны и пейзажи позади персонажей получались довольно похожими на те, что присутствуют в самом мультфильме.

В качестве промптов, я просила нейросеть сгенерировать изображения с пони в разных цветах, или в разном окружении, так же одной из задач стала генерация изображения сразу группы персонажей. Однако, группа далась нейросети сложнее — на большинстве итоговых изображениях можно заметить съехавшие черты лица или путаницу в конечностях. И все же, даже так, на картинках хорошо читаются характерные выражения лиц и позы персонажей.

Первым шагом к обучению нейросети стал сбор датасета, мой включал в себя около 23 картинок с одиночными персонажами и персонажами в группе, а так же самих скриншотов мультфильма, которые включали в себя еще и фрагменты фона.

После этого, я загрузила в Google Colab код для обучения Stable Deffusion через Dream Booth и LoRa, который нам предоставили в лекции. Я изменила фрагмент с загрузкой изображений и импортировала их напрямую в коллаб с моего устройства вручную, после этого с помощью BLIP я сформулировала свой промят и записала его как «a picture of pony in mylittlepony style». Так же в процессе я зарегестрировалась и зашла на свой профиль Hugging Face, чтобы сохранить модель в нем.

код в формате IPYNB

Нейросеть, которую я обучила с трудом может создавать новых персонажей и скорее генерирует их из частей тех, которые ей были даны в качестве датасета, но у нее получается передать стилистику, некоторые мимические особенности и присущую мультфильму цветовую палитру.

1. a picture of pony in mylittlepony style, in the forest
2. a picture of pony in mylittlepony style, in the castle
3. a picture of pony in mylittlepony style, at a picnic
4. a picture of pony in mylittlepony style, among the hills
5. a picture of pony in mylittlepony style, pony friend group