Обучение генеративной нейросети
Идея проекта
Я несколько лет являюсь тату мастером, но проблемы с вдохновением при создании эскизов не позволяют мне выйти в полноценную работу на постоянной основе.
Поэтому я решила создать себе нейро-помощника, который будет быстро визуализировать для меня идеи.
В качестве базы изображений для обучения я собрала татуировке в стиле, который мне нравится больше всего.
Я использовала как фотографии готовых работ, так и эскизы моего наставника в сфере тату: Миши Спокойного.
Серия итоговых картин обученной модели
1. Промпт: «photo of tattoo, a tattoo of a bat»
2. Пропмт: «photo of tattoo, a tattoo of a sheep with a bow»
Нейросеть хорошо справляется с короткими запросами и изображением животных, но в случае с овечкой не добавляет ей бантик. На мой взгляд удачнее вышло изображение летучей мыши, она выглядит нетривиально, а вот овечка гиперреалистична.
1. Промпт: «photo of tattoo, a tattoo of an open envelope with flowers sticking out of it»
2. Промпт: «photo of tattoo, a tattoo of a wood table with flowers in vase on it»
Обученная нейросеть достаточно хорошо справляется с комбинацией 2-ух элементов, но в случае генерации 3-ех элементов упорно игнорирует 3, как видно на 2-м изображении отсутствует стол.
1. Промпт: «photo of tattoo, a tattoo of a retro camera»
2. Промпт: «photo of tattoo, a tattoo of a retro camera with a butterfly on it.»
Так же нейросеть хорошо справляется с добавлением небольших элементов вроде бабочек вокруг фотоаппарата.
Артефакты
1. Промпт: «photo of tattoo, a moon»
2. Промпт: «photo of tattoo, a black cat»
Поскольку при обучении модели были использованы фото татуировок, у которых были не только реалистичные элементы, а сочетание разных стилей, нейросеть выдавала достаточно интересные и забавные артефакты.
Нейросети оказалось сложнее всего генерировать изображение ножей, поэтому получились забавные картинки:
1. Нож-бабочка 2. Птица, в груди которой нож
Нейросеть против насилия.
Обучение модели
Вся работа по обучению модели была выполнена в Google Colab.
Первые шаги:
- импорт необходимых библиотек - импорт в colab датасета с собранными изображениями - проверка того, что датасет загружен.
После этого необходимо, чтобы нейросеть проанализировала все изображения, полученные из датасета и создала промпты, на которых в дальнейшем строиться обучение:
Промпт-префикс + промпт, полученный из анализа изображений.
Обучение модели длилось 43 минуты, после чего можно было приступать к генерации изображений.
Промпт для обученной модели состоит из:
Префикс + новый запрос.
Префикс остается неизменным на протяжении всех генераций.
В моем случае это: «фотография татуировки, "
При генерации нейросеть выдавала слишком розовый фон и много артефактов, приходилось поднимать количество steps, а это занимало значительно больше времени на одну генерацию.
Я попробовала сделать чекпоинт, задающий силу смешивания, и в итоге нейросеть при меньшем количестве steps выдавала изображения, которые мне нужны были по стилистике.
Вывод
Обученная нейросеть по итогу отлично подходит для быстрой примерки идеи на кожу человека, что может значительно облегчить работу тату мастеров в данном стиле и быстро продемонстрировать клиенту возможные эскизы.
Данные идеи в любом случае будут требовать доработки, но для вдохновения отлично подходят.
