Утраченные двери парадных Петербурга

Парадные двери в центре Петербурга исчезают: их меняют на металлические и пластиковые, часто без попытки сохранить или повторить прежний облик. Чертежей и фотографий утраченных дверей зачастую не остается, и при реставрации здания решение приходится принимать почти вслепую.Может ли генеративная нейросеть помочь в такой ситуации?Я обучаю Stable Diffusion на датасете из 24 фотографий сохранившихся дверей парадных Петербурга конца XIX — начала ХХ века. Модель не восстанавливает конкретную утраченную дверь, но предлагает правдоподобные варианты, выстроенные по логике эпохи. Поэтому результат можно рассматривать как эскиз для обсуждения, а не как реконструкцию.Итоговая серия состоит из сгенерированных дообученной моделью эскизов дверей. В комментарии я разбираю, какие конструктивные и декоративные правила модель усвоила и что эти сбои говорят о границах метода.

i. «a photo of an entrance door in Saint Petersburg historical center, yellow door with dark-tinted glass»

В результате генерации дообученная модель переняла основные черты дверей эпохи модерна: материалы, характерная форма окон и дверных проемов, флоральные мотивы в декоре.При этом, выставив значение lora_scale (отвечает за степень влияния референсных изображений на результат) на уровень 0.5 из 1 характерные черты пропали (фото 3): дверь утратила особенную форму и элементы декора. Это показывает, что стиль в модели держится на влиянии референсных изображений, и без него базовая модель выдает усредненный образ.Модель усвоила общие правила эпохи и применяет их к новым вариантам.

ii. «a photo of an entrance door in Saint Petersburg historical center, a large grey door with stained glass»

iii. «a photo of an entrance door in Saint Petersburg historical center, a tall blue door with windows and metal decorations»

При более сложном промпте — например, с двумя уточнениями про наличие окон и металлических украшений, результат сильно разнится в зависимости от чекпоинта и значения lora-scale. Также точность результата ухудшается при усложнении пропта, что можно заметить по тому, как выглядят окна или отрисованы металлические декоративные элементы. Это можно связать с несовершенством самой модели и недостаточным количеством референсных изображений.

С одной стороны, модель справляется с главным: она воспроизводит общий характер двери модерна, и эти эскизы могут быть полезны как отправная точка там, где документов не сохранилось. С другой стороны, именно конструктивные детали (окна, металл, петли и ручки) оказываются самым ненадежным местом. Для реставрации это принципиально: такие элементы определяют, можно ли дверь реально изготовить и является ли она исторически достоверной. Поэтому результаты нельзя считать реконструкцией. Это эскизы, которые требуют проверки специалистом и сопоставления с архивными данными.Эту границу показывает и зависимость от параметров: стоит снизить влияние референсов или усложнить запрос, и модель начинает выдавать убедительно выглядящие, но исторически произвольные двери. Поэтому в практической работе инструмент имеет смысл применять с ограничениями.

Для обучения использован метод DreamBooth в сочетании с LoRA поверх Stable Diffusion XL. Работа выполнена в Google Colab на GPU по примеру предоставленного кода, состоящего из 5 частей:1. Подготовка среды (в ноутбуке устанавливаются библиотеки, загружается модель)2. Подготовка датасета (в Colab загружаются фотографии дверей, приведенных к квадрату 1:1 и размеру 512*512пикс. Для каждого изображения генерируется текстовая подпись)3. Подготовка к обучению (подключение HuggingFace)4. Обучение модели (результатом обучения становится файл весов LoRA, который подключается к базовой модели при генерации, также сохранены два чекпоинта 250 и 500. сохранение результатов в HuggingFace)5. Генерация

В проекте были использованы следующие генеративные модели:— Claude Sonnet 5.5 для проработки темы и помощи в анализе результирующей серии изображений— Stable Diffusion XL для генерации результирующей серии изображений