Обучение генеративной нейросети — PACE TAYLOR

Когда я приступила к выбору художника для выполнения учебного задания, я обратила внимание на то, что нейросети уже давно используются для экспериментов в области искусства. Многие известные художники уже внедрены в алгоритмы, позволяющие воспроизводить их стиль. Желая реализовать более уникальный проект, я решила выбрать менее известного современного художника, Пейса Тейлора.

На втором году обучения по специальности дизайн одежды в рамках курса по арт-практике нам было задано изучить и воспроизвести стилистику определённого художника. Это задание предназначалось для расширения нашего арсенала техник стилизации. Выбор Пейса Тейлора был обусловлен его уникальным использованием цвета и материалов, особенно сочетанием мягкой текстуры пастели и остроты графитовых контуров.

В его технике можно выделить следующие особенности:

• Мастерское использование мягкой пастели для создания нежных переходов и текстур, придающих произведениям легкость и воздушность.
• Эмоциональная насыщенность, достигаемая за счет тщательной работы с цветом и оттенками на лицах и телах персонажей.
• Яркость цветовой палитры с применением нестандартных, неорганических оттенков, таких как синий и красный, создающих визуально смелые и запоминающиеся образы.
• Четкие графические контуры, сочетающиеся с размытыми участками, позволяющие управлять вниманием зрителя.
• Динамика и движение, оживляющие каждое произведение за счет неожиданных композиционных решений и изогнутых линий.

В рамках задания мы сначала создавали копии его работ, а затем переносили его стиль на нашу собственную серию работ, изображая одежду из коллекций мировых брендов.

В моем проекте я использовала модель Stable Diffusion XL, чтобы поэкспериментировать со стилем Пейса Тейлора, исследуя, как нейросеть может воспринимать и трансформировать его манеру в новые произведения искусства, вдохновляясь, а не копируя его творчество.

Подготовка данных и окружения На первом этапе происходит проверка аппаратного ускорения (GPU) и установка всех необходимых библиотек (bitsandbytes, transformers, accelerate, peft, diffusers, datasets). Создаётся локальная директория, куда пользователь загружает свои изображения. Затем, с помощью модуля PIL, формируется предварительный просмотр изображений, что помогает убедиться в корректности загруженного материала.

Аннотация и формирование метаданных Используется модель BLIP для автоматической генерации описаний (кадров) к каждому изображению. Полученные подписи дополняются префиксом «photo collage in pace taylor style», после чего формируется файл метаданных (metadata.jsonl). Этот этап обеспечивает синхронную связь между визуальным материалом и текстовыми описаниями, необходимыми для обучения.

Конфигурация обучения и запуск дообучения С помощью команды accelerate config происходит настройка обучающего окружения, а затем выполняется авторизация на Hugging Face Hub. После этого запускается скрипт train_dreambooth_lora_sdxl.py с детально прописанными параметрами: выбор предобученной модели Stable Diffusion XL, подключение соответствующего VAE, установка параметров обучения (например, размер батча, шаги градиентного накопления, скорость обучения и прочее) и применение техники LoRA для тонкой настройки модели под нужный стиль.

Сохранение результатов и публикация модели По завершении обучения веса модели (в формате LoRA) сохраняются в указанном выходном каталоге. Далее происходит автоматическая интеграция с Hugging Face Hub: создаётся репозиторий, генерируется карточка модели с описанием параметров обучения, и обученные файлы загружаются в репозиторий, что позволяет делиться результатами с сообществом.

Инференс и визуализация итоговых изображений На завершающем этапе происходит загрузка обученной модели с применением LoRA-слоёв через DiffusionPipeline. В коде демонстрируется генерация изображения по заданному текстовому запросу (например, «photo collage in pace taylor style, man with hat»). Проводится тестирование работы модели с различными вариантами (с дополнительным слиянием LoRA), а результат визуализируется для оценки качества и стилистической точности обученной нейросети.

В рамках проекта я решила генерировать изображения двух различных категорий. Первая категория включает картины с сюжетами, которые, по моему мнению, отражают интересы и обычный спектр тем Пейса Тейлора, подчеркивая его стиль и предпочтения в искусстве. Вторая категория — это изображения с абсолютно отстраненными и несвойственными художнику сюжетами и объектами.

Цель эксперимента — проверить, как нейросеть применяет изученную стилистику для создания произведений искусства, которые выходят за рамки традиционных тем и предметов, тем самым исследуя границы адаптации и творческого восприятия модели.