НИУ ВШЭ х Севкабель | Обучение нейросети
Идея проекта
В первом модуле по предмету Специальное проектирование я делала дизайн календаря для коллаборации НИУ ВШЭ СПб и Севкабель Порта.
Дизайн календаря заключался в поиске схожих архитектурных форм в этих двух локациях и создании сложного хаотичного коллажа.
Находить подходящие фотографии было непросто, так как их крайне мало на просторах интернета. Мне стало интересно, сможет ли нейросеть создать изображения в стиле моего коллажа.
Передать точность архитектуры зданий не было основной задачей, но в проекте я выделаю изображения, которым хоть в какой-то степени это удалось, но важнее было повторить паттерн поведения коллажа.
Изображения для календаря мне любезно предоставили кураторы НИУ ВШЭ и работники Севкабеля.
Ссылка на календарь
Календарь НИУ ВШЭ СПб х Севкабель Порт
Список использованных в проекте инструментов:
— Stable Diffusion — обучение нейросети под свой стиль изображений — Google Colab — создание кода и генераций .— Deepseek — помощь в создании промптов и настройки GPU — Hugging Face — скачивание базовой модели
Процесс обучения
Установка библиотек diffusers, omegaconf, huggingface_hub, bitsandbytes
Вход в учетную запись Hugging Face
Проверка подключения к GPU, так как с этим были неоднократные проблемы
Подготовка к обучению модели DreamBooth
Подключение Google Drive и настройка путей для данных и модели
Запуск обучения DreamBooth
Генерация изображений (импорт библиотек, создание папки с результатами, загрузка обученной модели)
Итоговые генерации
''modern urban collage of buildings in sks style, natural colors, daylight, realistic lighting''
''collage of urban rooftops and windows in sks style, realistic colors, afternoon sun''
''modern urban collage with reflections and windows in sks style, balanced color palette''
''modern architectural collage under natural light, in sks style, realistic contrast''
Полагаю, предыдущие коллажи были созданы на основе этих моих фотографий.
У нейросети хорошо получилось передать именно саму структуру коллажа, который я задумала (где элементы зданий накладываются друг на друга в хаотичном порядке), также получилось изобразить именно кирпичные здания, которые фигурируют на исходных изображениях. Некоторые даже очень похоже на здания НИУ ВШЭ. Также интересно, что есть изображения, где цвет кирпича ярко-оранжевый (как на исходном изображении 1), а есть где приглашенные цвета (исходные изображения 2 и 3).
Некоторые промпты я перезапускала несколько раз, и получались новые изображения.
''architectural collage of old European houses in sks style, stone textures, warm sunlight''
''collage of residential buildings and balconies in sks style, soft daylight, neutral tones''
''minimalist collage of city facades in sks style, neutral palette, morning light''
Коллажи в бежевых оттенках, скорее всего, были созданы на подобии вот этих фотографий. Тут не до конца удалось передать саму необычную архитектуру, как на исходных фото, но цветовая гамма — основное сходство.
В промптах я немного экспериментировала со стилями постройки (например, European house).
''collage of old and new architecture in sks style, balanced natural color palette''
Это изображение — мой фаворит, так как достаточно точно удалось передать здание Канатного цеха НИУ ВШЭ. Также произошло хорошее сочетание с одним из зданий Севкабеля. Поведение коллажа такое, каким я задумывала его на исходных изображениях.
''composition of city walls and windows in sks style, calm atmosphere, real colors''
''architectural geometry collage in sks style, realistic daylight, soft tones''
''urban fragments layered composition in sks style, cloudy daylight, muted tones''
А вот коллажи, в которых нейросеть брала за основу коллажи со зданием Канатного цеха, на мой взгляд, получились самыми неудачными, так как пропала текстура коллажа и изображения просто превратились в паттерн. Также нет добавления цвета и других зданий.
Давайте рассмотрим ещё немного неудачных примеров.
Некоторые изображения получились простыми фотографиями, вообще не похожими на коллаж, на некоторых коллаж слишком «искусственный», из разных частей, которые никак не сочетаются друг с другом.
''city composition in sks style, sunlight on facades, warm and cool contrast''
''collage of old architecture with modern buildings in sks style, warm sunlight, realistic tones''
''modern collage of urban geometry in sks style, realistic tones, soft sky background''
''urban street collage with architectural fragments in sks style, natural light, realistic tones''
Файлы
