Идея проекта
Мне захотелось научить нейросеть воспроизводить определённый графический стиль и переносить его на новые объекты и сюжеты.Для этого я обучила Stable Diffusion на собственной подборке из 22 изображений, объединённых характерной чёрно-белой эстетикой: крупным растром, контрастными пятнами, имитацией трафаретной печати и состаренной поверхностью.
Подготовка изображений
Для обучения была собрана подборка из 22 изображений. Для обозначения изучаемого стиля использовалось специальное триггер-слово mystyleicon. Оно добавлялось в запросы при генерации и помогало обращаться к обученной визуальной концепции.
Мои фотографии из подборки для обучения
Процесс обучения
Для адаптации модели к конкретному визуальному стилю использовался метод LoRA (Low-Rank Adaptation).Обучение состояло из нескольких этапов:
- Подготовка изображений и текстовых описаний.
- Настройка окружения и загрузка базовой модели.
- Обучение LoRA на подготовленной выборке.
- Сохранение полученных весов.
- Подключение обученной LoRA к Stable Diffusion и тестирование генераций с помощью текстовых запросов.
Обучение было настроено на 800 шагов. Для экономии видеопамяти использовались gradient checkpointing и смешанная точность fp16. Также были заданы параметры сохранения промежуточных контрольных точек, чтобы иметь возможность обращаться к сохранённым состояниям модели.
После завершения обучения я подключила сохранённые веса LoRA к базовой модели Stable Diffusion 1.5. Это позволило проверить, как полученная модель воспроизводит изученную графическую стилистику при создании новых изображений.Генерация выполнялась с разрешением 512 × 512 пикселей. Для получения изображения использовались 35 шагов генерации и значение guidance scale 7.
Заключение
В результате проекта удалось адаптировать Stable Diffusion к выбранной графической эстетике. Генерация подтвердила, что обученную LoRA можно применять к разным сюжетам, сохраняя характерные визуальные особенности стиля.
