Обучение генеративной модели Stable Diffusion под стиль Янна Кебби
Идея
На втором курсе дисциплины Арт-практика студенты тренировали свои навыки путем копирования техник различных художников и иллюстраторов. В своих работах я пыталась повторить картины Янна Кебби. Это оказалось непростой задачей, так как художник сочетает разные стили рисовки и материалы в одной работе. Мне стало интересно насколько хорошо нейросеть сможет скопировать его неповторимый стиль.
Изображения для обучения
Янн Кебби известен своим уникальным стилем и использованием различных медиа в своих работах. Его творчество сочетает в себе элементы абстракции и реализма, что позволяет ему создавать глубокие многослойные произведения.
Для обучения генеративной модели я собрала датасет из 100 работ художника с различными сюжетами и техниками для того, чтобы обучение произошло как можно более эффективно.
Применение генеративной модели
В рамках проекта была создана генеративная модель, способная воспроизводить визуальный стиль французского иллюстратора Янна Кебби. На первом этапе был собран и подготовлен датасет, включающий репрезентативные работы художника.
В качестве базовой архитектуры использовалась модель Stable Diffusion XL (версия base-1.0). Для дообучения применялся метод DreamBooth, который позволил внедрить в модель характерные особенности авторского стиля. Этот подход обеспечил точную передачу визуальных элементов, присущих творчеству Янна Кебби.
Обучение проводилось в среде Google Colab с использованием ноутбука из репозитория TheLastBen/fast-stable-diffusion, что позволило задействовать облачные вычислительные ресурсы и существенно упростить процесс настройки модели.
Сгенерированные изображения
Одной из ключевых тем искусства Янна Кебби является исследование человеческих взаимодействий и эмоций. Он часто использует яркие цвета и динамичные формы, чтобы передать настроение и чувства, которые не всегда легко выразить словами. Его работы могут быть как очень личными, так и универсальными, отражая общее состояние общества и внутренний мир человека.
В генерациях важно было сохранить эти особенности. Одним из часто встречающихся сюжетов в творчестве художника стали сцены городской жизни, поэтому для генерации серии изображений были составлены соответствующие промпты.
Prompt: Create a series of images inspired by the style of Yann Kebbi. Focus on his unique blend of vibrant colors, whimsical forms, and intricate patterns. The concepts should incorporate themes of everyday life intertwined with surreal elements, highlighting the beauty in the mundane and the extraordinary. Include figures engaged in various activities that reflect a playful interaction with their environment, while maintaining a dreamlike quality. Let the imagery evoke emotions and provoke thought, capturing the essence of both the visual style and conceptual depth present in Kebbi’s work.
Итог
В сгенерированных изображениях прослеживаются многие черты стиля художника: смешение стилей рисовки, сочетание реализма и абстракции, некая абсурдность изображения, сюжет и настроение. Также на изображениях местами можно заметить характерную карандашную штриховку, контрастирующую с гладкой поверхностью масляной пастели, свойственную автору.
Но следует отметить и недостатки: невысокое качество изображений, как следствие обрезки изображений для формирования датасета. Другой недостаток — генерация рук и лиц, превратился в достоинство, так как в работах Янна Кебби не прослеживается анатомическая правдоподобность, наоборот, изображение конечностей и голов утрировано, что делает персонажей абсурдными и нелепыми, создает особый шарм.
Для доработки и адаптации модели под заданные цели при обучении и помощи с формулированием промпта применялся Chat GPT-4-turbo от OpenA. Но использование ИИ в данном проекте незначительно.
