Обучение генеративной нейросети по стилю работ Густава Климта
Концепция
Цель этого проекта — погружение в художественный мир Густава Климта через призму генеративной модели. Вдохновленная его уникальным стилем, я поставила перед собой задачу научить нейросеть воспроизводить его неповторимый почерк.
Для этого был собран тщательно отобранный корпус изображений, отражающих квинтэссенцию климтовского гения. Яркие краски, причудливые узоры и чувственные образы, пронизанные духом эпохи модерна, стали отправной точкой для создания модели, способной имитировать его художественную манеру.
«Поцелуй», Живопись, 1908
«Бетховен Фриз: Ода радости. Искра бога» (фрагмент) Фреска, 1902
«Стокле фриз. Объятие» (фрагмент) Живопись, 1909
«Бетховен Фриз. Три горгоны: болезнь, безумие и смерть» (фрагмент) Фреска, 1902
Особое внимание уделено декоративным элементам, столь характерным для Климта. Использование золота и серебра, словно драгоценные нити, вплетающиеся в ткань картины, придает его работам особую роскошь и глубину. Не менее важен и символизм, которым пронизаны его произведения, отсылающие к мифологическим сюжетам и тайнам человеческой души.
Именно эти характерные черты — богатая палитра, изысканный орнамент и символическая глубина — станут тем мерилом, по которому будет оцениваться успех генерации, позволяя сравнить результаты работы нейросети с оригиналами и выявить степень соответствия их художественному почерку мастера.
«Портрет Адели Блох-Бауэр I» (Золотая Адель) Живопись, 1907
«Церковь в Унтерах на озере Аттерзее» Живопись, 1916
Результирующая серия изображений
Основываясь на исходном промте: «painting in Klimt style, town with golden patterns and symbolic figures», я провела серию экспериментов с различными значениями интенсивности влияния нейросети. В результате, мое внимание привлек вариант, сгенерированный при коэффициенте влияния 0,3.
промт: «painting in Klimt style, town with golden patterns and symbolic figures» 0,3; 0,5; 0,8
Именно с таким коэффициентом влияния во всех нижепредставленных генерациях я сумела достичь оптимального баланса между узнаваемым стилем Климта и оригинальностью созданного изображения.
промты: «painting in Klimt style, town with golden patterns and symbolic figures», «painting in Klimt style, town of the future with ornate metallic hues»
промты: «painting in Klimt style, sea sparkling with gold and symbolic motifs», «painting in Klimt style, night with shimmering gold and intricate details»
промты: «painting in Klimt style, holiday village glowing with warm golden tones», «painting in Klimt style, cat on the table in the kitchen with intricate backdrop»
промт: «painting in Klimt style, forest with swirling patterns and earthy elegance»
Обучаясь на направлении «дизайн интерьеров», я поставила перед собой задачу переосмыслить наследие Густава Климта в контексте современного жилого и общественного пространства. Меня увлекла идея создать интерьеры квартиры и бара в ресторане, вдохновленные его неповторимой эстетикой.
промты: «painting in Klimt style, bar with people in lavish, decorative surroundings», «painting in Klimt style, a living room in a flat with opulent detailing»
Он стремился к синтезу искусств, интегрируя живопись, архитектуру и декоративные элементы в единое гармоничное целое. Его работы — это не просто картины, а тщательно продуманные композиции, где каждая деталь, от цвета и формы до материала и текстуры, играет важную роль в создании общей атмосферы роскоши, чувственности и загадочности. Его мотивы — это попытка выйти за рамки холста, создать пространство, воздействующее на все органы чувств и погружающее зрителя в мир грёз и фантазий.
промты: «painting in Klimt style, beautiful woman draped in golden ornaments», «painting in Klimt style, book cover with elegant curves and rich textures»
На мой взгляд, нейросети удалось уловить дух творчества Густава Климта. В сгенерированных изображениях отчетливо прослеживаются характерные черты его стиля: обилие золота, сложные орнаменты и символические фигуры. Особо хочется отметить использование нейросетью мягких, приглушенных тонов, создающих эффект мерцания и таинственности, столь характерный для работ Климта. Этот приём помог сформировать узнаваемый фон многих изображений, напоминающий о золотом свечении его знаменитых полотен.
Безусловно, произведения, созданные нейросетью, не могут в полной мере сравниться с гениальными работами Климта. Тем не менее, я считаю, что поставленная задача — передать основную стилистику художника и создать образы, вдохновлённые его творчеством, — была успешно выполнена.
Процесс обучения нейросети
Сперва я установила все необходимое:
— зависимости — последняя версия библиотеки diffusers из GitHub — скрипт train_dreambooth_lora_sdxl.py
После — загрузила датасет с изображениями.
Список использованных в проекте инструментов:
— Stable Diffusion — обучение генеративной нейросети под свой стиль; — Kaggle — выполнение кода и генераций; — Hugging Face — получение токена для обучения нейросети
Далее код загружает модель BLIP и создаёт функцию caption_images, которая автоматически генерирует подпись (caption) к изображению.
Далее необходимо было проверить, что все верно, и вывести содержимое файла metadata.jsonl, в котором каждая строка — отдельная подпись (caption) к изображению в формате JSON.
Затем настроить accelerate для будущего запуска обучения и избегания ошибок, связанных с кодировкой.
Обучение модели:
Устанавливается библиотека datasets, чтобы можно было использовать кастомные подписи (captions) при обучении модели.
Выбираются такие параметры для обучения, так как они соотносились с количеством выделяемой Kaggle памяти и занимали оптимальное количество времени:
Загрузка обученной модели:
Код загружает модель Stable Diffusion XL с кастомным VAE и подключает обученные LoRA-веса (checkpoint-500) для генерации изображений. Модель переводится на GPU (cuda) для инференса.
Затем необходимо добавление разных промтов, а после предстояло оценить качество итогового изображения (настройки параметров), внести корректировку влияния обученной модели.
