Обучение генеративной нейросети — PACE TAYLOR
Идея проекта
Когда я приступила к выбору художника для выполнения учебного задания, я обратила внимание на то, что нейросети уже давно используются для экспериментов в области искусства. Многие известные художники уже внедрены в алгоритмы, позволяющие воспроизводить их стиль. Желая реализовать более уникальный проект, я решила выбрать менее известного современного художника, Пейса Тейлора.
На втором году обучения по специальности дизайн одежды в рамках курса по арт-практике нам было задано изучить и воспроизвести стилистику определённого художника. Это задание предназначалось для расширения нашего арсенала техник стилизации. Выбор Пейса Тейлора был обусловлен его уникальным использованием цвета и материалов, особенно сочетанием мягкой текстуры пастели и остроты графитовых контуров.
Тейлор через свои работы исследует темы близости и интимности, что проявляется в тесном контакте персонажей и их эмоциональном взаимодействии.
В его технике можно выделить следующие особенности:
- Мастерское использование мягкой пастели для создания нежных переходов и текстур, придающих произведениям легкость и воздушность.
- Эмоциональная насыщенность, достигаемая за счет тщательной работы с цветом и оттенками на лицах и телах персонажей.
- Яркость цветовой палитры с применением нестандартных, неорганических оттенков, таких как синий и красный, создающих визуально смелые и запоминающиеся образы.
- Четкие графические контуры, сочетающиеся с размытыми участками, позволяющие управлять вниманием зрителя.
- Динамика и движение, оживляющие каждое произведение за счет неожиданных композиционных решений и изогнутых линий.
Иллюстрации автора к показу Maison Margela Spring 2020 Couture в стиле работ Пейса Тейлора.
В рамках задания мы сначала создавали копии его работ, а затем переносили его стиль на нашу собственную серию работ, изображая одежду из коллекций мировых брендов.
В моем проекте я использовала модель Stable Diffusion XL, чтобы поэкспериментировать со стилем Пейса Тейлора, исследуя, как нейросеть может воспринимать и трансформировать его манеру в новые произведения искусства, вдохновляясь, а не копируя его творчество.
Процесс обучения нейросети для генерации изображений
Подготовка данных и окружения На первом этапе происходит проверка аппаратного ускорения (GPU) и установка всех необходимых библиотек (bitsandbytes, transformers, accelerate, peft, diffusers, datasets). Создаётся локальная директория, куда пользователь загружает свои изображения. Затем, с помощью модуля PIL, формируется предварительный просмотр изображений, что помогает убедиться в корректности загруженного материала.
Аннотация и формирование метаданных Используется модель BLIP для автоматической генерации описаний (кадров) к каждому изображению. Полученные подписи дополняются префиксом «photo collage in pace taylor style», после чего формируется файл метаданных (metadata.jsonl). Этот этап обеспечивает синхронную связь между визуальным материалом и текстовыми описаниями, необходимыми для обучения.
Конфигурация обучения и запуск дообучения С помощью команды accelerate config происходит настройка обучающего окружения, а затем выполняется авторизация на Hugging Face Hub. После этого запускается скрипт train_dreambooth_lora_sdxl.py с детально прописанными параметрами: выбор предобученной модели Stable Diffusion XL, подключение соответствующего VAE, установка параметров обучения (например, размер батча, шаги градиентного накопления, скорость обучения и прочее) и применение техники LoRA для тонкой настройки модели под нужный стиль.
Сохранение результатов и публикация модели По завершении обучения веса модели (в формате LoRA) сохраняются в указанном выходном каталоге. Далее происходит автоматическая интеграция с Hugging Face Hub: создаётся репозиторий, генерируется карточка модели с описанием параметров обучения, и обученные файлы загружаются в репозиторий, что позволяет делиться результатами с сообществом.
Инференс и визуализация итоговых изображений На завершающем этапе происходит загрузка обученной модели с применением LoRA-слоёв через DiffusionPipeline. В коде демонстрируется генерация изображения по заданному текстовому запросу (например, «photo collage in pace taylor style, man with hat»). Проводится тестирование работы модели с различными вариантами (с дополнительным слиянием LoRA), а результат визуализируется для оценки качества и стилистической точности обученной нейросети.
Серии изображений
Серия изображений с классическими сюжетами для Пейса Тейлора.
В рамках проекта я решила генерировать изображения двух различных категорий. Первая категория включает картины с сюжетами, которые, по моему мнению, отражают интересы и обычный спектр тем Пейса Тейлора, подчеркивая его стиль и предпочтения в искусстве. Вторая категория — это изображения с абсолютно отстраненными и несвойственными художнику сюжетами и объектами.
Цель эксперимента — проверить, как нейросеть применяет изученную стилистику для создания произведений искусства, которые выходят за рамки традиционных тем и предметов, тем самым исследуя границы адаптации и творческого восприятия модели.
Серия изображений с нестандартными сюжетами для Пейса Тейлора.
Серия 1
picture in pace taylor style, girl with long hair and boy, kissing / picture in pace taylor, portrait, beautiful woman, face, colorful
picture in pace taylor style, one man, portrait, cafe, blue background / picture in pace taylor style, man driving a car, view from inside
picture in pace taylor style, an artist at work in their studio / a portrait in pace taylor styles howcasing a profile
picture in pace taylor, close up portrait man looking at himself in a mirror in a bathroom / picture in pace taylor, man gazing into a mirror framed by pale blue tiles, reflecting
Серия 2
picture in pace taylor style, joker, red background / picture in pace taylor, a close-up portrait of a fluffy kitten
picture in pace taylor, Matryoshka on the table / picture in pace taylor, sport male, playing sokker
picture in pace taylor style, woman in red dress, dancing / a close up portrait n pace taylor style, woman engrossed in a book, seated on a plush sofa
Даже при значительном отходе от оригинального контекста стиль Пейса Тейлора сохраняет свою узнаваемость. Это проявляется в нескольких ключевых элементах:
- Графический контур: чёткие, но мягкие очертания фигур и объектов, придающие композиции структурированность и цельность.
- Пастельная текстура: характерная фактура мазков, создающая ощущение мягкости и ручной работы.
- Спектр цветов: фирменное сочетание розово-бежевых, сиреневых, голубых и золотистых оттенков, формирующее узнаваемую атмосферу работ.
picture in pace taylor style, landscape new york city, view from above / a breathtaking urban sunset with the sky painted in hues of orange / a charming lady with a small dog walking down the street
picture in pace taylor style, jazz concert scene with musicians on stage / a steaming cup of coffee on a small table by a large window / a close up sketch of breakfast on a plate — eggs and vegetables
Вывод
В ходе проекта удалось успешно генерировать изображения, соответствующие стилистике Пейса Тейлора, подтверждая эффективность использования нейросети Stable Diffusion XL для имитации художественных стилей.
Особенно удачными оказались работы, где тематика совпадала с привычными мотивами художника. Эксперименты с абсолютно отстраненными темами показали, что нейросеть способна сохранять основные характеристики стиля Тейлора, такие как графический контур, мягкую пастель и спектр цветов. Однако такие произведения стоит рассматривать обособленно от автора, что открывает возможности для создания чего-то совершенно нового и расширения границ современного искусства.
Применение генеративной модели
- Для генерации промтов был использован ChatGPT.
- Для решения проблем с кодом применялся инструмент Gemeni 2.5 Pro.
