Нейро-футуризм Маурица Эшера
Суть проекта — «дообучить» нейросеть Stable Diffusion XL с помощью метода DreamBooth и LoRa на работах Маурица Эшера, и сгенерировать современные концепты в его стиле.
Обучать нейросеть я буду в среде Google Colab, используя бесплатные облачные вычислительные мощности (T4 GPU)
Для обучения нам понадобится набор картин художника. Чем больше, тем лучше. В моём случае их было больше 30
Задача: обучить нейросеть Stable Diffusion писать картины в стиле Маурица Эшера, и передать новыми изображениями как можно больше элементов его уникального стиля. В 19 веке Мауриц Эшер активно создавал изображения современной ему архитектуры с разнообразными пространственными нарушениями и визуальными иллюзиями. Я хочу посмотреть, как бы он мог отобразить здания 21-го века и увидеть жизнь современного человека на своих полотнах.
Ноутбук с пошаговым обучением и генерацией изображением можно скачать с моего диска — Ссылка на код
Результаты обучения
Нейросеть достаточно точно уловила стиль Маурица Эшера с множеством деталей. В процессе генераций я и сама неожиданно отметила, что стилистика художника немного напоминает нейросетевой эффект: она часто включает в себя архитектурные решения, которые, с одной стороны, похожи на обычные здания, а, с другой, только имитируют их специфику и совершенно не могут существовать в реальности, нарушая все законы физики.
1. Burj Khalifa
Я попробовала сгенерировать изображение одного из самых современных небоскребов 21 века.
Промпт для генерации: «image in Maurits Cornelis Escher style, a drawing of burj khalifa».
В промпте обязательно присутствует префикс, который мы прописывали ранее при обучении, который запускает процесс генерации от предобученной на картинах Эшера модели: «image in Maurits Cornelis Escher style, …». Далее идёт сам промпт.
2. Машина будущего
Теперь выбор пал на изображение современного автомобиля.
Промпт: «image in Maurits Cornelis Escher style, drawing of a futuristic car with a robot inside of it»
3. Шоссе
Генерация проезжей части из множества автомобилей.
Промпт: «image in Maurits Cornelis Escher style, drawing of a futuristic cars on the road».
4. Велосипедист
Не только современная тенденция, но было интересно, как нейросеть сможет изобразить то, что никогда не изображал художник.
Промпт: «image in Maurits Cornelis Escher style, a drawing of sman riding a bicyle in the future».
5. Люди ждут поезда метро
Здесь получилось особенно живописное изображение с огромной толпой людей.
Промпт: «image in Maurits Cornelis Escher style, a drawing of a metro train coming to a metro station, tall building on the background, people waiting for the train on platform, and its rainy»
6. Внутри поезда будущего
Тут был сгенерирован внутренний интерьер поезда, достаточно жутковатый.
Промпт: «image in Maurits Cornelis Escher style, drawing of a futuristic train»
Вывод
Мауриц Эшер часто создавал картины видеоизмененной современности, обращался к замкнутым и темным пространствам. Мой эксперимент позволил понять на техническом уровне, как, сравнивая подобия, он мог бы изобразить жизнь, окружающую меня уже сейчас, не меня свой визуальный язык.
