Обучение генеративной нейросети Stable Diffusion под стиль Souther Salazar
Саутер Салазар (Souther Salazar) — художник из Портленда, известный своими яркими иллюстрациями и инсталляциями бесконечных миров с фантастическими ландшафтами и героями. В своих работах художник использует множество слоев и неограниченную цветовую палитру, создавая живые и разнообразные вселенные. Мне стало интересно обучить нейросеть StableDiffsion под необычный стиль Саутера и посмотреть насколько хорошо она сможет отобразить красочность и многогранность, которые присущи стилистике художника.
Souther Salazar, «A Little Bird Told Me» // Souther Salazar, «Half Asleep»
Souther Salazar, «Cave of Dreams» // Souther Salazar, «The Long Way Home»
Важнее всего было, чтобы нейросеть смогла передать в сгенерированных изображениях многофигурную композицию и обилие разных элементов.
Описание применения генеративной модели
Для обучения модели были отобраны все работы Салазара, которые являются картинами, с его сайта, всего их составило 26 штук. Каждая была подогнана под размер 1024×1024 пикселя. Далее использовался готовый код из лекции с изменением папок и названием модели.
Импорт необходимых библиотек
Загрузка всех изображений и проверка на корректную работу кода (загрузка превью)
Создание подписей к каждому изображению
Далее необходимо было сгенерировать токен на сайте HuggingFace и загрузить его в систему в самом коде. После, можно было приступать к обучению модели. Для этого были выбраны следующие параметры: разрешение было поставлено на 512 в пользу ускорения процесса, шаг обучения составлял 1000, автосохранение происходило каждые 250 шагов. В итоге весь процесс обучения составил 1 час 15 минут.
Обучение модели
Загрузка модели на Hugging Face
Генерация изображений
Сгенерированные изображения
Сгенерированное изображение // Оригинал Промпт — «art in SOUTHER SALAZAR style, landscape with abstract flowers»
На первом сгенерированном изображении уже прослеживаются характерные особенности стиля Саутера Салазара. Модель хорошо передала разнообразие в формообразовании объектов, а также цветовую палитру.
Промпт — «art in SOUTHER SALAZAR style, landscape with abstract flowers»
Промпт — «art in SOUTHER SALAZAR style, Majestic floating islands surrounded by clouds, with waterfalls falling into the endless sky and vibrant colors»
Нейросеть хорошо передает атмосферу и шумность окружения, однако все изображаемые элементы достаточно абстрактны и не распознаваемы, в работах Саутера Салазара объекты все же считываются, хоть и тоже могут относиться к абстракциям.
Далее я решила сгенерировать изображения, где акцент будет на живых существах.
Промпт — «art in SOUTHER SALAZAR style, A little dragon who befriends children and flies with them over the magical kingdom»
Промпт — «art in SOUTHER SALAZAR style, A vibrant forest with talking trees and friendly animals»
Всё-таки генерация живых существ у модели происходит менее удачно, чем дальних планов разных окружений. Отдельные объекты все же считываются, но все равно от просмотренного остается ощущение неполноты картины.
Промпты — «art in SOUTHER SALAZAR style, A hidden garden full of wonderful plants, fairy creatures and magical artifacts, illuminated by soft light», «art in SOUTHER SALAZAR style, a magical castle»
Промпты — «art in SOUTHER SALAZAR style, A snowy landscape with ice castles, sparkling snowflakes and cheerful snowmen p», «art in SOUTHER SALAZAR style, an underwater ecosystem with colorful corals»
После еще ряда сгенерированных изображений с пейзажами, я сделала вывод, что в целом нейросеть смогла передать стиль и основные особенности художника, такие как разнообразие цветовой палитры, многослойность, наложение объектов друг на друга, необычное и непохожее друг на друга формообразование. Однако, это все еще не может быть заменой самому художнику, поскольку у модели есть проблемы с генерацией живых существ (они либо смазанные, либо поломанные), от чего в итоге получается некая каша на изображении.
Промпты — «art in SOUTHER SALAZAR style, Majestic mountains with green slopes, waterfalls and small villages located at altitude», «art in SOUTHER SALAZAR style, A wide desert with golden dunes»
Генеративные ИИ и сайты, использованные в проекте: - StabbleDiffusion; - HugginFace; - ChatGPT 3.5 (для генерации промптов); - Google Colab
