Обучение модели на основе работ Эдварда Мунка
За журнальным столиком. 1883. Эдвард Мунк
Концепция
Цель проекта — создание нейросети, генерирующей изображения в стиле Эдварда Мунка (1863-1944), норвежского художника, предтечи экспрессионизма. Мунк, прославившийся своей знаковой картиной «Крик», мастерски передавал тревогу и отчаяние через яркие, часто диссонирующие цвета и энергичные мазки. Задача ИИ — понять и воспроизвести эти элементы, создавая новые работы, визуально связанные с творчеством мастера.
Женщины на мосту. 1902. Эдвард Мунк
Женщина в синем (Фрау Барт). 1921 и Кристен Сандберг. 1909. Эдвард Мунк
Готовые изображения
Представленная серия изображений — результат обучения нейросети на 230 фотографиях работ Эдварда Мунка, взятых с сайта, посвященного художнику. Нейросеть успешно воссоздала его характерный стиль. ИИ удалось передать черты экспрессионизма, представителем которого был Мунк.
«EDWARD MUNK style dancing girls» и «EDWARD MUNK style ballrom with lots of dancing people»
Пейзажи, сгенерированные нейросетью, органично вписываются в экспрессионистический стиль Эдварда Мунка. В них отражены те же эмоциональная насыщенность и внутренняя напряженность, что и в его самых известных работах. ИИ удалось передать характерную для Мунка манеру письма, с видимыми штрихами и черточками, имитирующими грубые мазки кисти. Конечно, при улучшении изображений с помощью текстура немного теряется, но даже так можно разглядеть как ИИ имитирует бумагу и её край.
«EDWARD MUNK style bar
«EDWARD MUNK style sea and ship»
«EDWARD MUNK style soviet kitchen»
«EDWARD MUNK style feild and workers» и «EDWARD MUNK style park and flowers»
Сгенерированные нейросетью портреты демонстрируют выраженное влияние стиля Эдварда Мунка, проявляющееся в характерной деформации и упрощении черт лица. ИИ удалось уловить и воспроизвести этот аспект, создавая портреты с акцентом на передачу эмоционального состояния, а не на реалистичное отображение внешности.
«EDWARD MUNK woman» дважды и «EDWARD MUNK style man»
«EDWARD MUNK style woman and mirror»
Даже некоторая «мыльность», проявляющаяся в размытии контуров, особенно заметная на групповых портретах, может быть интерпретирована как стилистическая особенность, отсылающая к работам Мунка, где акцент смещен с индивидуальности каждой фигуры на общее эмоциональное состояние группы.
«EDWARD MUNK style family»
«EDWARD MUNK style family»
«EDWARD MUNK style woman and mirror»
Описание процесса обучения
Для обучения нейросети использовался предложенный в лекциях код SDXL DreamBooth LoRA, доступный на GitHub.Датасет для обучения был собран вручную и состоял из 230 изображений работ Эдварда Мунка, полученных с веб-сайта, посвященного художнику. Все изображения прошли тщательную ручную обрезку, чтобы обеспечить единообразие размеров и устранить посторонние элементы, которые могли бы негативно повлиять на процесс обучения. Процесс генерации изображений осуществлялся с использованием промптов, содержащих префикс «in MUNK style».
Блокнот с кодом
Описание применения генеративной модели
Кроме основного кода и модели SD которые были прикреплены к лекции, использовались: 1. Нейросеть для улучшения качества фото: https://overscale.imagewith.ai/ 2. Chat GPT 4o для быстрой генерации промптов с префиксом стиля: https://chatgptchatapp.com/
