Обучение генеративной нейросети
Идея проекта
Я несколько лет являюсь тату мастером, но проблемы с вдохновением при создании эскизов не позволяют мне выйти в полноценную работу на постоянной основе.
Поэтому я решила создать себе нейро-помощника, который будет быстро визуализировать для меня идеи.
Татуировки: 1. Неизвестный автор. 2. Миша Спокойный.
В качестве базы изображений для обучения я собрала татуировке в стиле, который мне нравится больше всего.
Я использовала как фотографии готовых работ, так и эскизы моего наставника в сфере тату: Миши Спокойного.
Эскизы Миши Спокойного.
Серия итоговых картин обученной модели
Животные. Изображения, сгенерированные обученной моделью.
1. Промпт: «photo of tattoo, a tattoo of a bat»
2. Пропмт: «photo of tattoo, a tattoo of a sheep with a bow»
Нейросеть хорошо справляется с короткими запросами и изображением животных, но в случае с овечкой не добавляет ей бантик. На мой взгляд удачнее вышло изображение летучей мыши, она выглядит нетривиально, а вот овечка гиперреалистична.
Гриб. Изображения, сгенерированные обученной моделью.
Флористика + предмет. Изображения, сгенерированные обученной моделью.
1. Промпт: «photo of tattoo, a tattoo of an open envelope with flowers sticking out of it»
2. Промпт: «photo of tattoo, a tattoo of a wood table with flowers in vase on it»
Обученная нейросеть достаточно хорошо справляется с комбинацией 2-ух элементов, но в случае генерации 3-ех элементов упорно игнорирует 3, как видно на 2-м изображении отсутствует стол.
Бабочка на цветах. Изображения, сгенерированные обученной моделью.
Ретро фотоаппарат и бабочки. Изображения, сгенерированные обученной моделью.
1. Промпт: «photo of tattoo, a tattoo of a retro camera»
2. Промпт: «photo of tattoo, a tattoo of a retro camera with a butterfly on it.»
Так же нейросеть хорошо справляется с добавлением небольших элементов вроде бабочек вокруг фотоаппарата.
Артефакты
Луна и черная кошка. Изображения, сгенерированные обученной моделью.
1. Промпт: «photo of tattoo, a moon»
2. Промпт: «photo of tattoo, a black cat»
Поскольку при обучении модели были использованы фото татуировок, у которых были не только реалистичные элементы, а сочетание разных стилей, нейросеть выдавала достаточно интересные и забавные артефакты.
Ножи и птица. Изображения, сгенерированные обученной моделью.
Нейросети оказалось сложнее всего генерировать изображение ножей, поэтому получились забавные картинки:
1. Нож-бабочка 2. Птица, в груди которой нож
Нейросеть против насилия.
Обучение модели
Вся работа по обучению модели была выполнена в Google Colab.
Первые шаги:
- импорт необходимых библиотек - импорт в colab датасета с собранными изображениями - проверка того, что датасет загружен.
Скриншот с Google Colab.
После этого необходимо, чтобы нейросеть проанализировала все изображения, полученные из датасета и создала промпты, на которых в дальнейшем строиться обучение:
Промпт-префикс + промпт, полученный из анализа изображений.
Скриншот с Google Colab.
Обучение модели длилось 43 минуты, после чего можно было приступать к генерации изображений.
Скриншот с Google Colab.
Промпт для обученной модели состоит из:
Префикс + новый запрос.
Префикс остается неизменным на протяжении всех генераций.
В моем случае это: «фотография татуировки, "
Скриншот с Google Colab.
При генерации нейросеть выдавала слишком розовый фон и много артефактов, приходилось поднимать количество steps, а это занимало значительно больше времени на одну генерацию.
Я попробовала сделать чекпоинт, задающий силу смешивания, и в итоге нейросеть при меньшем количестве steps выдавала изображения, которые мне нужны были по стилистике.
Скриншот с Google Colab.
Скриншот с Google Colab.
Вывод
Мотылек. Изображения, сгенерированные обученной моделью.
Обученная нейросеть по итогу отлично подходит для быстрой примерки идеи на кожу человека, что может значительно облегчить работу тату мастеров в данном стиле и быстро продемонстрировать клиенту возможные эскизы.
Данные идеи в любом случае будут требовать доработки, но для вдохновения отлично подходят.
Трамвай. Изображения, сгенерированные обученной моделью.
