Идея проекта
Что произойдет, если я покажу нейросети свой Санкт-Петербург и попрошу её придумать собственный?В основе проекта лежат 40 фотографий из моих поездок в Северную столицу. Я объединил их в Data set и обучил модель Stable Diffusion распознавать характерные визуальные черты города: архитектуру, улицы, воду, освещение, детали и атмосферу моих снимков.После обучения нейросеть должна сгенерировать новые изображения Санкт-Петербурга — с видами, которые никогда не существовали. Я не буду просить нейросеть просто сделать реалистичные фотографии города — мне интересно посмотреть на более оригинальные, футуристичные изображения.
Так должен родился «пИИтер» — фантастическая версия Санкт-Петербурга, собранная из моих воспоминаний и переосмысленная искусственным интеллектом.
Dataset
Мои фотографии Санкт-Петербурга из dataset-а
Мои фотографии Санкт-Петербурга из dataset-а
Мои фотографии Санкт-Петербурга из dataset-а
Результирующая серия изображений
Результирующая серия изображений
Результирующая серия изображений
Результирующая серия изображений
Описание процесса обучения
1. Подготовка датасета
В качестве обучающего материала я использовал 40 собственных фотографий, сделанных во время поездки в Санкт-Петербург. Я отобрал изображения с разными сюжетами и ракурсами, но с общими визуальными характеристиками: архитектурой города, улицами, водой, мостами и характерным освещением. Все изображения были приведены к подходящему для обучения формату.
Импорт изображений
Проверка импорта
Для автоматического создания подписей к изображениям была использована модель Blip. Текст подписей — «photo of Saint Petersburg in PIITER style».
Импорт модели Blip
Добавление подписи «photo of Saint Petersburg in PIITER style» к изображениям
2. Обучение модели
На подготовленном датасете я обучил LoRA для Stable Diffusion XL. В процессе обучения модель анализировала изображения и их текстовые описания, постепенно выявляя повторяющиеся визуальные закономерности исходного материала.
Обучение LoRA
После завершения обучения полученную LoRA-модель я загрузил на Hugging Face, чтобы использовать её для дальнейшей генерации изображений.
Сохранение модели на Hugging Face
3. Генерация и подбор промптов
Первоначально я использовал короткий промпт с описанием Санкт-Петербурга, однако полученный результат оказался недостаточно выразительным: получилось посредственное изображение улицы в среднем качестве. Это не отвечало идее о создании фантастического города.
Первая генерация с коротким промтом
Промт: «photo of Saint Petersburg in PIITER style, a quiet street near the Neva river»
Первая, не очень удачная генерация
После этого были протестированы два направления: первый промпт был ориентирован преимущественно на фотореалистичное изображение, второй добавлял больше фантастических и футуристических элементов. Оба варианта дали удачные результаты: появились интересные визуальные решения, светотень и ракурсы, отличная детализация неба и воды. Для итоговой серии я выбрал второй промт, поскольку сочетание узнаваемого Петербурга с элементами фантастики в нём раскрылось лучше.
