Обучение генеративной нейросети

Я несколько лет являюсь тату мастером, но проблемы с вдохновением при создании эскизов не позволяют мне выйти в полноценную работу на постоянной основе.

Поэтому я решила создать себе нейро-помощника, который будет быстро визуализировать для меня идеи.

В качестве базы изображений для обучения я собрала татуировке в стиле, который мне нравится больше всего.

Я использовала как фотографии готовых работ, так и эскизы моего наставника в сфере тату: Миши Спокойного.

1. Промпт: "photo of tattoo, a tattoo of a bat"

2. Пропмт: "photo of tattoo, a tattoo of a sheep with a bow"

Нейросеть хорошо справляется с короткими запросами и изображением животных, но в случае с овечкой не добавляет ей бантик. На мой взгляд удачнее вышло изображение летучей мыши, она выглядит нетривиально, а вот овечка гиперреалистична.

1. Промпт: "photo of tattoo, a tattoo of an open envelope with flowers sticking out of it"

2. Промпт: "photo of tattoo, a tattoo of a wood table with flowers in vase on it"

Обученная нейросеть достаточно хорошо справляется с комбинацией 2-ух элементов, но в случае генерации 3-ех элементов упорно игнорирует 3, как видно на 2-ом изображении отсутствует стол.

1. Промпт: "photo of tattoo, a tattoo of a retro camera"

2. Промпт: "photo of tattoo, a tattoo of a retro camera with a butterfly on it."

Так же нейросеть хорошо справляется с добавлением небольших элементов вроде бабочек вокруг фотоаппарата.

1. Промпт: "photo of tattoo, a moon"

2. Промпт: "photo of tattoo, a black cat"

Поскольку при обучении модели были использованы фото татуировок, у которых были не только реалистичные элементы, а сочетание разных стилей, нейросеть выдавала достаточно интересные и забавные артефакты.

Нейросети оказалось сложнее всего генерировать изображение ножей, поэтому получились забавные картинки:

1. Нож-бабочка
2. Птица, в груди которой нож

Нейросеть против насилия.

Вся работа по обучению модели была выполнена в Google Colab.

Первые шаги:

• импорт необходимых библиотек
• импорт в colab датасета с собранными изображениями
• проверка того, что датасет загружен.

После этого необходимо, чтобы нейросеть проанализировала все изображения, полученные из датасета и создала промпты, на которых в дальнейшем строиться обучение:

Промпт-префикс + промпт, полученный из анализа изображений.

Обучение модели длилось 43 минуты, после чего можно было приступать к генерации изображений.

Промпт для обученной модели состоит из:

Префикс + новый запрос.

Префикс остается неизменным на протяжении всех генераций.

В моем случае это: "фотография татуировки, "

При генерации нейросеть выдавала слишком розовый фон и много артефактов, приходилось поднимать количество steps, а это занимало значительно больше времени на одну генерацию.

Я попробовала сделать чекпоинт, задающий силу смешивания, и в итоге нейросеть при меньшем количестве steps выдавала изображения, которые мне нужны были по стилистике.