(1) Идея проекта
Мне очень нравятся японские деревни и я подумала, а почему бы не обучить генеративную модель (Stable Diffusion с дообучением LoRA) по изображениям деревень в Японии?
Важно было, чтобы модель смогла передавать атмосферу этих деревень и их устройство, чтобы внешний вид соответствовал действительности, а не противоречил ей.
некоторые использованные мной фотографии в датасете
(2) Обучение модели
Для начала я проверяю состояние GPU.
Дальше настраиваю среду импортируя некоторые библиотеки.
Продолжаю настраивать среду до устанавливая библиотеку diffusers для работы с генеративными моделями, затем загружаю скрипт для обучения модели DreamBooth с LoRA, для настройки модели на личных данных.
Перехожу к работе с датасетом. Загружаю картинки, найденные мной на фотостоке Unsplash по которым должна обучаться модель, а также проверяю, что картинки загрузились корректно.
Затем прописываю чтобы к картинкам автоматически генерировались подписи, при помощи модели BLIP. Он загружает изображения, обрабатывает их, генерирует подписи и сохраняет результаты в JSON-файл.
Перед самим обучением также настраиваю конфигурацию для ускорения обучения моделей с помощью accelerate и захожу в аккаунт на платформе Hugging Face.
Начинаю процесс обучения LoRA устанавливая библиотеку datasets с моими картинками. После запускаю его, указывая определенные параметры: разрешение 512px, batch_size=2, lr=1e-4, 500 шагов с чекпоинтами через 250 и mixed_precision="fp16». Seed ставлю на 0.
Сохраняю обученную модель на платформе Hugging Face для возможного дальнейшего использования.
Указываю, что модель будет работать с данными в формате float16, подключив обученную модель через stabilityai/stable-diffusion-xl-base-1.0. Настраиваю torch.float16 для всех компонентов.
Теперь с обученной LoRA, приступаю к генерации изображений. Первые изображения я получила при использовании простого промта: japanese village scene, traditional houses, sakura trees, misty morning.
При генерации картинок буду использовать 25 шагов инференса, guidance_scale=7.5 и разрешение 1024×1024 для получения высокодетализированного результата.
После тестовой генерации мне стало понятно, что в промте стоит писать более точное описание света и цветов, однако модель показала себя отлично и я приступила к генерации изображений.
(3) Генерация изображений
(1) a realistic photo of japanese village, narrow alleyway lined with traditional wood-panelled houses, soft greyish-blue tones, dimly lit street lamps casting warm glow, serene evening ambiance
(2) a realistic photo of japanese village, well-manicured flower garden surrounding modest teahouse, abundant clusters of peonies, azaleas, and camellias in full bloom, bright spring sun highlighting petals' intricate details
(3) a realistic photo of japanese village, narrow street with low-hanging willow branches, soft golden sunlight filtering through delicate green foliage, white stucco walls of traditional houses subtly highlighted by scattered patches of light, overall color palette leaning toward calmer hues of olive, taupe, and cream, evoking a sense of serenity and harmony
(4) a realistic photo of japanese village, narrow alleyway lined with traditional wood-panelled houses, soft greyish-blue tones, dimly lit street lamps casting warm glow, serene evening ambiance
(5) a realistic photo of japanese village, wet cobblestone path winding through lush vegetation, iconic vermilion-colored torii gate standing prominently amidst thick evergreen shrubbery, soft silvery drizzle falling onto reflective puddles, gloomy cloud cover diffusing weak daylight into subdued, melancholic tones, colors blending harmoniously across spectrum of cool grays, darkened greens, and subtle hints of deep crimson (6) a realistic photo of japanese village, traditional wooden houses huddled together on sloped hillside facing iconic Mount Fuji, gentle rainfall cascading onto moss-covered stone paths and dripping from eaves of antique architecture, moody overcast sky enveloping the region in a layer of silvery-gray, atmospheric moisture saturating the air and causing everything to appear soft-focus and slightly blurred, vivid contrasts between darker charcoal tones of the mountainous backdrop and lighter steely blues of surroundings, culminating in a visually captivating and emotionally resonant depiction of Japanese country life during inclement weather (7) a realistic photo of japanese village, traditional wooden houses huddled together on sloped hillside facing iconic Mount Fuji, gentle rainfall cascading onto moss-covered stone paths and dripping from eaves of antique architecture, prominent vermilion-red torii gates marking entrance to sacred shrine nearby, moody overcast sky enveloping the region
(8) a realistic photo of japanese village, narrow alleyway bordered by charming traditional houses with vintage wooden facades, occasional parked cars and bicycles leaning against fences, subtle raindrops glistening on pavement and car windows, hushed silence interrupted only by occasional bird song, muted color palette dominated by varying shades of gray, beige, and dusty rose, capturing essence of serene daily life within tranquil village environment
