Идеей моего проекта является обучение генеративной нейросети Stable Diffusion под стиль американского художника, дизайнера и футуриста Сида Мида и дальнейшее ее использование с целью генерации уникальных изображений в этом стиле.
СИД МИД И ЕГО СТИЛЬ
Сидни Джей Мид (18 июля 1933 — 30 декабря 2019) был известным американским промышленным дизайнером и художником-концептуалистом, работающим в стиле неофутуризма. Он помогал в разработке дизайна таких научно-фантастических фильмов, как «Бегущий по лезвию», «Чужие» и «Трон». Мида называют «художником, который визуализирует будущее»*, а также «одним из самых значимых концепт-художников и промышленных дизайнеров своего времени»**. (Бикс, Эмили (30 декабря 2019 г.). «Сид Мид умер: художник-футурист из „Звёздного пути“ и „Бегущего по лезвию“ скончался в возрасте 86 лет»; Сиссон, Патрик (30 декабря 2019 г.). «Прощай, Сид Мид: беседа с художником, который иллюстрировал будущее городов»)
Особенности стиля:
— Неофутуризм: Мид создавал визуализации будущего, которые сочетали технологии, архитектуру и природу. Его работы часто изображают утопические или дистопические миры. — Детализация и реализм: Его концепции отличались высокой степенью детализации и реалистичности. Он уделял внимание мелочам в дизайне техники и окружающей среды. — Свет и цвет: В его работах часто использовались яркие цвета и контрастные световые эффекты, что придавало изображениям динамичность и энергию. — Человеческий элемент: Несмотря на акцент на технологиях, в его работах всегда присутствовал элемент человеческого взаимодействия, что добавляло эмоциональную глубину его концепциям.
Для обучения генеративной нейросети я собрала датасет, состоящий из 17 изображений, представляющих из себя картины Сида Мида, обрезанные под квадратный формат для наиболее корректной работы.
Данный код реализует обучение генеративной нейросети на основе предобученной модели Stable Diffusion XL с помощью техник DreamBooth и LoRA, ориентируясь на стилистику футуристических изображений художника Сида Мида.
На данном этапе происходит подготовка данных. Я создала папку «syd-mead», в которую копируются изображения для дальнейшей обработки и обучения. Затем я ввожу функцию для отображения изображений в виде сетки. Это помогает убедиться, что данные загружены корректно.
После происходит загрузка и предварительный просмотр изображений.
captions
С помощью модели BLIP генерируются описания к изображениям. Эти текстовые описания я буду использоваться как промпты при обучении генеративной модели.
На следующем этапе происходит обучение генеративной модели (Stable Diffusion XL) на собранном наборе изображений с подписями в стиле «Syd Mead». Обучение заняло около 50-ти минут.
Приступая к написанию промптов для генерации изображений я решила выделить три типа будущих картинок: 1) изображение города / архитектуры, 2) изображение транспортного средства, 3) изображение пейзажа, 4) изображение портрета человека.
АРХИТЕКТУРА
prompt: «photo collage in syd-mead style, painting of a futuristic city with skyscrapers and a lots of plants and flowers, warm tones» (вариации)
Сгенерированное изображение футуристичного города получилось достаточно качественным и проработанным. Здесь четко выражена архитектура, а также добавлены растения и цветы, упомянутые в промпте. Изображение хорошо передает стиль Сида Мида.
prompt: «photo collage in syd-mead style, painting of a futuristic city on Mars» (вариации)
prompts: «photo collage in syd-mead style, painting of a space flying city orbiting Neptune», «photo collage in syd-mead style, painting of a city on the moon with all the infrastructure»
Однако следующие попытки изображения внеземных городов нельзя назвать такими же успешными, как в первом случае. На вариациях марсианского города архитектура более-менее видна, но на следующих изображениях здания теряются, появляется некий хаос. Несмотря на это, стилистика Сида Мида также хорошо прослеживается.
