Описание идеи
Я увлекаюсь изучением городской архитектуры и скетчингом, но во время учебы у меня почти не остается времени на рисование «для души». Поэтому в качестве творческого эксперимента решила обучить нейросеть рисовать в моем любимом стиле.
Результат превзошел мои ожидания и даже вдохновил меня на дальнейшие художественные поиски!
Исходные референсы
Для обучения модели я перерыла свои старые скетчбуки и отобрала из них 40 разных архитектурных зарисовок с натуры, с фото и из головы в одном стиле — черно-белой линейной графике. Наконец-то на 3 курсе мои рисунки пригодились мне!
Ход работы
Colab-блокнот для обучения SDXL DreamBooth LoRA настраивает GPU, устанавливает необходимые библиотеки и задаёт параметры. Была сделана предварительная подготовка, смена формата изображений на png и подгон по размеру. Потом собранная и обрезанная под квадратный формат база данных загружается с устройства через Colab в папку. Были созданы подписи ко всем изображениям с помощью распознавания их нейросетью и подключение модели к Hugging face. Затем генерируются изображения, подготавливаются данные и тренируется LoRA — набор дополнительных параметров, адаптирующих SDXL.
В процессе обучения я увеличила диапазон с 500 шагов до 800 для лучшего результата. В качестве промпта стиля я использовала in the style of my_artstyle.
В конце обученная LoRA загружается на Hugging face и применяется для создания новых изображений.
Итог
Я захотела, чтобы моя генеративная модель нарисовала улицы разных городов — Парижа, Лондона, Берлина, Нью-Йорка, Рима, Москвы, Барселоны, Амстердама, Сиднея, Токио.
Нейросеть решила покреативить и сделать мою жизнь веселее и красочнее, сгенерировав цветные зарисовки. В итоге мне так понравился результат, что я решила не переобучать модель! Нейросетевое творчество даже вдохновило меня поэкспериментировать и добавить цвета в мои рисунки.
Туманный Амстердам || Самобытная Барселона
Строгий Берлин
Элегантный Париж
Исторический Рим
Дождливый Лондон
Как мне кажется, у модели получилось передать узнаваемые особенности и уникальную атмосферу каждого города!
Инструменты:
— Stable Diffusion — генеративная нейросеть — Hugging Face — DreamBooth + LoRA
— Google Colab — для написания кода — Нейросеть DeepSeek — для оптимизации кода
— Photoshop — для массовой обрезки изображений — imgupscaler.ai — для улучшения качества исходников
