Обучение нейросети «Великие полотна мира в стиле Такаси Мураками»
Концепция
Проект «Великие полотна мира» объединяет классическое искусство и современный поп-арт, вдохновлённый творчеством Такаси Мураками. Цель — переосмыслить известные шедевры, такие как «Мона Лиза», «Сотворение Адама», «Ночной дозор» и иные.
Я использую стиль Мураками, чтобы придать этим картинам современное звучание, сочетая элементы традиционной живописи и современной графики.
Исходные изображения
Стиль Мураками, создателя направления Superflat, отличается ярко выраженной плоскостью как на визуальном, так и на концептуальном уровне. В его работах отсутствует традиционная трехмерность, что характерно для японской живописи, современной анимации, комиксов и графического дизайна.
Уникальное сочетание плоскостности и внезапного всплеска экспрессии делает стиль Мураками легко узнаваемым и запоминающимся.
Ниже представлены исходные изображения (работы художника).
Сгенерированные изображения
Нейросеть успешно воссоздает ключевые элементы классических шедевров, включая драматичное сочетание света и тени. В интерпретации «Моны Лизы» сохраняется загадочный взгляд, но усиливается контраст между яркими акцентами и глубокими тенями.
Работа, вдохновленная «Ночным дозором», передает объём и динамику через выделение световых пятен.
photo collage in TAKASHI MURAKAMI style, Mona Lisa, (Djokonda) // photo collage in TAKASHI MURAKAMI style, The Night Watch (Rembrandt van Rijn)
В «Тайной вечере» можно заметить попытку имитации кьяроскуро: фон становится темнее, а фигуры выделяются на его фоне. Однако мимка остается условной.
photo collage in TAKASHI MURAKAMI style, The Last Supper (Leonardo)
photo collage in TAKASHI MURAKAMI style, The Birth of Venus (Sandro Botticelli)
photo collage in TAKASHI MURAKAMI style, Girl with a Pearl Earring (Johannes Vermeer)
photo collage in TAKASHI MURAKAMI style, The Creation of Adam (Michelangelo)
В ходе работы выяснилось, что модель хорошо передает игру света и тени: большинство рефлексов и световых пятен переданы верно или интерпретированы в соответствии со стилем Такаси Мураками.
photo collage in TAKASHI MURAKAMI style, The Scream (Edvard Munch)
photo collage in TAKASHI MURAKAMI style, The Persistence of Memory (Salvador Dalí)
Можно сказать, что соединение классического искусства с современным оказалось весьма успешным.
Изображения в некоторой степени сохраняют атмосферу оригинальных картин, но при этом перенимают традиции стиля Такаси Мураками.
Процесс работы
Для обучения генеративной нейросети Stable Diffusion были использованы следующие подходы:
— Сбор датасета: Для обучения сформирован набор из 22 квадратных изображений, а также используется датасет Takashi_Murakami, где изображения сопровождаются текстовыми описаниями (колонка prompt).
— Кодирование изображений: Изображения были преобразованы в латентное пространство с помощью вариационного автоэнкодера (VAE) с разрешением 512×512.
— Токенизация текстовых промптов: Для представления текстовой информации использовался текстовый энкодер модели SDXL.
Для повышения эффективности и качества обучения использовались следующие методы: — LoRA (Low-Rank Adaptation): Настройка модели с уменьшением числа обучаемых параметров. — DreamBooth: Обучение модели на уникальном стиле через задание instance_prompt — «photo collage in TAKASHI MURAKAMI style». — SNR Gamma (значение 5.0): Взвешивание шагов дениойзинга для улучшения детализации.
Датасет и предварительная обработка: В проекте использовался датасет Takashi_Murakami, где каждому изображению сопоставлен текстовый промпт. Изображения сначала преобразуются в латентные векторы через VAE, а затем текстовые промпты токенизируются с помощью текстового энкодера модели SDXL.
Генерация метаданных: Функция caption_images () автоматически создаёт описания для изображений, используя возможности image-to-text генеративных моделей, Благодаря этому достигается автоматизация подготовки метаданных, что позволяет существенно ускорить процесс разметки данных.
Заключение
Генерации, не вошедшие в итоговую серию
В процессе работы я поняла, что генерация лиц в столь необычном стиле получается с большим трудом. При работе с совсем небольшими лицами происходят искажения, и только в редких случаях остается узнаваемость.
При этом, сгенерированные изображения успешно передают структурные и композиционные особенности оригиналов, но пока не могут воссоздать всю живость и эмоциональную глубину классической живописи.
