концепция проекта
Проект исследует, как генеративные нейросети могут повторять атмосферу и настроение фотографий из открытых источников. В качестве датасета были использованы милые иллюстрации автора Mymyberries с открытой лицензией, которую предоставил сайт pixabay.com, что позволяет легально и свободно работать с визуальным материалом.
На исходных изображениях мы имеем: — тёплые желтые, розовые, персиковые оттенки — текстуры, напоминающие акварельные разводы или пыльцу — повторяющиеся элементы (цветы, грибы, листья, сердечки) — персонажи находятся в состоянии (сидят, смотрят, играют) — сцены выглядят как застывшие мгновения
процесс обучения
подготовка датасета для обучения модели
запуск обучения
предпросмотр фотографий
этап инференса — когда модель уже не учится, а генерирует результат
итоговая генерация изображения на основе обученной модели
серия изображений, которую сделала обученная модель
На основе промптов получена серия из 5 изображений
промт: photo collage in Mymyberries style, happy girl in the forest on the green background
промт: photo collage in Mymyberries style, worried boy at the playground
промт: photo collage in Mymyberries style, playful dog playing with snow
промт: photo collage in Mymyberries style, sad cat in hat
промт: photo collage in Mymyberries style, sad girl swimming in the pool
выводы
Чему удалось обучить нейросеть? — цветовая палитра — стиль рисования — акварельные разводы — композция
Что еще выяснилось? — нейросеть хорошо отображает лишь позитивные эмоции (промт «happy») — нейросеть не может связать палитру с настроением (теплый цвет — весело, холодный цвет — грустно)
техническая реализация
Архитектура и параметры: — Базовая модель: Stable Diffusion XL 1.0 — Метод адаптации: Dreambooth с LoRA — Размер датасета: 56 изображений — Количество шагов: 100 — Разрешение: 1024×1024 пикселей
