Обучение генеративной нейросети моему творческому стилю
1. Идея проекта
В этом проекте я решила обучить генеративную нейросеть Stable Diffusion в стиле моих работ, которые создавала на 1 курсе арт-практики. На гравюре была отображена песня «Если б я был султан» на современный лад, где главный герой упивается мечтами о счастливой беззаботной жизни с компьютерными играми и женщинами
ссылка на папку с исходными фотографиями https://drive.google.com/drive/folders/1QUkXq8nHM3tGuyqwm3IRUM9Cqt4l3IpA?usp=sharing
Главная цель проекта — посмотреть, насколько похоже сумеет нейросеть попасть в мой стиль.
2. Процесс обучения
Загрузка библиотек Diffusers, DreamBooth.
Создание локального названия local_dir = «./art/»
Загрузка изображений в Google Colab с помощью внутренней функции. Проверка как код видит данные для этого просим показать 5 изображений
4. Загрузка модели BLIP, которая создаёт подписи к картинкам. 5. Создание путей к изображениям. 6. Выбираем токен для стиля и смотрим на результат.
Для следующего шага я зарегестрировалась на сайте Hugging Face и получила токен. Затем внесла его в Colab и таким образом начала обучение нейросети.
Выбрано разрешение 512, выставлен максимальный шаг тренинга на 500, а чекпоинт установлен на 250. Так было сокращено время, затраченное на тренировку нейросети, и мне пришлось ждать всего полчаса.
Серия сгенерированных изображений
промт: сгенерируй похожее фото только мужчина лежит в кровати
промт: сгенерируй дядю с кошками вместо женщин в таком же арт стиле
К сожалению, моему компьютеру не хватило памяти на генерацию изображений, однако мне очень понравилось писать и изучать код. Поэтому я нагенерировала похожие изображения в нейросети Midjourney
Список использованных в проекте инструментов:
— Stable Diffusion — обучение генеративной нейросети под свой стиль; — Google Colab — выполнение кода и генераций; — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; — Figma — для коллажирования готовых работ; — Deepseek — для решения ошибок в коде.
