Концепция
Живое фото
Пленочная или же аналоговая фотография — интересный концепт и способ создания фотоискусства, снова набирающий популярность в современном мире. Фотохудожники любят ее за непередаваемое винтажное ощущение и большой простор для экспериментов с разными фотопленками.
Однако главным минусом такого хобби является цена на пленку и затраты на ее проявку и обслуживание фотоаппаратов. Поэтому я задалась вопросом: можно ли с помощью современных технологий воссоздать фотографии с похожей атмосферой?
Цель проекта — дообучение модели Stable Diffusion (SDXL) на основе техники Low-Rank Adaptation (LoRA). Так, с помощью ключевых слов и ассоциаций внутри модели, она сможет генерировать более точные "пленочные" фотографии на основе собранного датасета.
Основная задача заключалась в том, чтобы обучить модель воспроизводить характерные визуальные особенности пленки: зернистость, мягкий свет, естественную цветопередачу и легкие пересветы.
Датасет
В основу обучения модели легла моя коллекция пленочных фотографий, состоящая из 167 элементов.
Предварительно обработанный до квадратного формата датасет был выгружен в локальную среду Google Collab.
Подготовка к обучению
Импорт библиотек и AI-модели BLIP
Подготовка инфраструктуры для автоматического описания изображений, используя предобученную модель BLIP, которая используется для автоматического создания текстовых подписей к изображениям.
Модуль для работы с изображениями
Процесс обучения
Параметры обучения
Процесс обучения нейросети с помощью использования официального скрипта train_dreambooth_lora_sdxl.py от Hugging Face.
Осуществляется детальное 500-ступенчатое обучение с сохранением чекпоинтов.
Генерация изображений
Инициализация и настройка динамической модели для генерации
Промтовая ячейка
После локального сохранение модели интегрируем ее в Stable Diffusion и начинаем генерацию изображений с помощью позитивного и негативного промтов.
ffilm photo of distant friends on a rooftop, small figures, wide view of rooftops, sunset light, candid moment, warm glow, blown highlights, soft shadows, subtle grain
a film photo of a person walking on a beach at sunset, slightly overexposed, bright highlights, soft shadows, vintage grainy texture
Живое фото
vintage 35mm film, mountain landscape. soft vintage light
vintage 35mm film, grainy, horse silhouette in mountain flower field, strong orange tint, light leaks, faded colors, soft focus, nostalgic, 1970s aesthetic
vintage 35mm film, city landscape with embankment. soft vintage light
