Эдгар Дега. Стиль и искусство
Идея проекта
Цель проекта — перенести уникальный стиль Эдгара Дега, великого французского импрессиониста, в цифровую эпоху с помощью машинного обучения. Особое внимание уделяется его знаменитой серии работ с балеринами — их изяществу, динамике движения и особой работе со светом.
Оригинальность подхода заключается в создании «цифрового двойника» художественного стиля Дега, способного генерировать новых балерин в никогда не существовавших позах и композициях, но с сохранением уникальной эстетики мастера.
Основные черты стиля Эдгара Дега — реалистичность и натурализм с научным подходом, динамичные асимметричные композиции и неожиданные ракурсы, передающие живое ощущение момента. В материалах он широко экспериментировал, особенно используя пастель, масло и графические техники, совмещая их на картоне. Характерны выразительные, уверенные штрихи, подчеркнутые вниманием к линиям и движению, что делает его картины живыми и эффектными, часто как остановленные кинокадры.
Исходные изображения
Описание процесса обучения
bitsandbytes — библиотека для 8-битной оптимизации (экономия VRAM);
transformers, accelerate, peft — от Hugging Face (обеспечивают модель, ускорение и LoRA);
diffusers — фреймворк диффузионных моделей;
Скачивает официальный тренировочный скрипт train_dreambooth_lora_sdxl.py, который будет использоваться для обучения.
Импортирует модули для:
работы с файловой системой (os);
загрузки файлов в Colab (files);
обработки изображений (cv2);
работы с GPU (torch);
фиксации кодировки (locale).
Создает папку ./edgardega/ для данных (твой датасет в стиле художника Эдгара Дега), загружает изображения с компьютера через интерфейс Colab и возвращается в /content.
Процесс: Отображение сетки из тренировочных изображений, которые используются для обучения модели. Показывает исходные данные, на которых будет обучаться Dreambooth LoRA.
Загружает модель BLIP — она автоматически создает подписи к изображениям. Эти подписи будут использованы как prompt’ы для DreamBooth, чтобы модель понимала содержание картинок в стиле Дега.
Загружает все изображения из папки edgardega/ и готовит их для подписи.
После генерации подписей — освобождает память GPU (иначе не хватит места для обучения Stable Diffusion XL).
Настраивает accelerate — фреймворк для параллельного обучения на GPU. (Создает конфиг с настройками устройства, mixed precision и т. д.)
Показывает файл с подписями (prompt’ами) для каждого изображения — результат работы BLIP. DreamBooth затем использует эти подписи как тексты для обучения.
Чему удалось обучить нейросеть?
Нейросеть была обучена на наборе изображений в стиле Эдгара Дега с использованием DreamBooth LoRA. В процессе обучения удалось:
Научить модель воспроизводить художественный стиль изображений из датасета.
Генерировать изображения, которые сохраняют цветовую гамму, композицию и характерные элементы, характерные для стиля Дега.
С помощью LoRA дообучение проходило эффективно с минимальным использованием GPU-памяти, что позволило использовать малый объем данных (10–50 изображений) без сильного переобучения.
Модель может интегрировать обученный стиль с произвольными промптами, создавая новые изображения в заданной эстетике.
Резюмируем итоги
DreamBooth + LoRA показал себя как удобный инструмент для кастомизации стиля модели без необходимости полного переобучения Stable Diffusion XL.
Даже с небольшим набором изображений (несколько десятков) можно добиться качественной генерации, однако важно контролировать переобучение через регуляризацию и использование class images.
Автоматическая генерация подписей с помощью BLIP ускоряет подготовку датасета и обеспечивает корректные текстовые промпты для обучения.
Метод позволяет создавать новые изображения в заданном стиле, которые можно использовать для художественных экспериментов или генерации визуального контента.
Основные ограничения: модель воспроизводит стиль, но иногда может комбинировать элементы оригинальных изображений слишком буквально, поэтому для творческих задач стоит проверять результаты визуально.
Итоги генерации
