Идея проекта
Я обучила нейросеть созданию случайных графических партитур. Их можно сыграть интуитивно, опираясь на внутреннее ощущения ритма и звука.
Здесь собрана серия квадратных изображений, генерированных нейросетью, на которых представлены графические партитуры.
Список использованных в проекте инструментов:— ChatGPT для генерации изображений — Stable Diffusion — обучение генеративной нейросети под свой стиль — Google Colab — выполнение кода и генераций — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт
Метод
Базовая модель: stabilityai/stable-diffusion-xl-base-1.0. Метод: DreamBooth + LoRA, реализация Hugging Face Diffusers 0.35.2. Обучение выполнено на Apple GPU / Metal через mps. Разрешение обучения: 512 × 512. LoRA rank: 8; learning rate: 0.0001. Batch size: 1, накопление градиентов: 4. Количество шагов оптимизатора: 150. Обучались дополнительные веса адаптера; базовая модель была заморожена.
Проверка
Для сравнения использовались одинаковые запросы и seed при отключённой и подключённой LoRA. Сохранены обе версии, чтобы результат дообучения можно было оценить отдельно от влияния текстового запроса. Итоговая серия содержит 12 изображений с подключённым адаптером. Запросы, seed, сила LoRA и параметры генерации находятся в images.json. Сходство стиля оценивалось визуально; количественная метрика качества для этого небольшого датасета не заявляется.
Учебный пример: https://github.com/shwars/ai-for-creatives/tree/main/6-DiffusionTraining Обучающий скрипт: https://github.com/huggingface/diffusers/blob/v0.35.2/examples/dreambooth/train_dreambooth_lora_sdxl.py
Фрагмент кода
Код проекта
Результаты
Итоговые изображения больше похожи на абстрактные картины, но даже их можно воспринимать как графические партитуры.
