Обучение генеративной нейросети
Проект сосредоточен на создании иллюстраций, отражающих повседневную жизнь в городе через призму моего стиля. Изначально я не планировал использовать работы других художников для генерации изображений, так как считаю, что без их разрешения у меня нет на это права. Поэтому для обучения нейросети были использованы исключительно мои собственные иллюстрации. Основная цель проекта — показать разнообразие городской культуры, взаимодействие людей с окружающей средой и их повседневные моменты, используя яркие цвета и стилизованные элементы.
Первая база изображений
Первая база изображений содержала более 60 моих иллюстраций, и некоторые из них я продемонстрирую здесь, чтобы лучше понять, на что ориентировалась нейросеть.
Хочу отметить, что на основе первой базы изображений мне удалось создать более авангардные версии своих работ. Я решил поэкспериментировать и смешать произведения из разных проектов и временных периодов, стремясь добиться эффекта дробления, большей смазанности и неоднозначности присутствующих элементов.
Процесс обучения
Автоматическая генерация описаний
Процесс обучения
Процесс генерации
Генерации
Промпт: «A statue standing proudly in the center of a bustling city square»
Промпты: «A street musician playing guitar while people gather around» «People waiting at a bus stop»
Промпт: «Overgrown train tracks leading into the distance surrounded by wildflowers»
Промпты: «The grand entrance of a public library with steps and columns»
Промпты: «An intriguing art installation set up in a public space» «A bicycle parking area filled with colorful bikes lined up neatly»
Промпт: «An inviting flower shop overflowing with colorful blooms outside»
Промпты: «Close-up of intricate architectural details on a historic building» «The ornate facade of an old theater lit up at night»
Промпт: «Colorful banners hanging above stalls at a street market»
Промпты: «A wall adorned with colorful street murals and abstract designs» «An old warehouse covered in graffiti and surrounded by overgrown plants» «A vibrant city skyline illuminated by sunset hues»
Промпт: «A vintage water tower standing tall against a clear blue sky»
Промпты: «An old stone bridge arching over a serene river, surrounded» «A beautifully designed fountain surrounded by lush greenery»
Промпт: «People waiting at a bus stop»
Промпт: «An underground metro station with colorful tiles and artistic designs»
В целом, мне нравится получившийся результат на основе первой базы изображений. Думаю, что поскольку я собрал множество своих иллюстраций в различных стилях, нейросеть смогла обучиться чему-то общему и среднему между ними. Она часто создавала многофигурные композиции, так как таких примеров изначально было много. При этом стоит отметить интересное внимание к деталям: нейросеть хорошо уловила моё отношение к формам и контформам, а также к цвету и тени. Несмотря на то что многие изображения с присутствием людей выглядят смазанными и размытыми, в них есть прекрасные композиции и гармоничное заполнение листа. Я с удовольствием использовал бы эти результаты для создания, например, коллажа. Тем не менее, мне хотелось добиться большей четкости, поэтому я собрал вторую базу изображений.
Промпты: «A scenic waterfront with boats docked and buildings reflecting on the water» «A sandy beachfront with colorful beach umbrellas and clear waters»
Промпт: «People waiting at a bus stop»
Вторая база изображений
Для второй базы данных я собрал всего 16 иллюстраций, что почти в 4 раза меньше, чем в первом варианте. Также важно отметить, что все эти иллюстрации выполнены в едином стиле, с общим подходом и цветовым решением. Поэтому я ожидал увидеть более четкий и полноценный результат.
Процесс обучения
Во второй раз процесс обучения оказался гораздо более тщательным и аккуратным. Я стремился найти идеальные настройки, многократно изменяя и корректируя все параметры. Все генерации и изменения параметров вы можете найти в коде.
Генерации. Итоговая серия
Промпт: «A rooftop view of city at sunset with chimneys and antennas»
Промпты: «A couple dancing near street jazz band» «An old man feeding pigeons in city square»
Промпт: «A bookstore with large display window and warm interior lighting»
Промпты: «Students reading books on university steps» «A street vendor selling flowers at intersection»
Промпт: «A rainy city square with puddles reflecting neon signs»
Промпты: «A postman delivering letters to old apartments» «Friends chatting at outdoor cafe with umbrellas»
Промпты: «A grandmother pushing a stroller with a baby in the park» «A woman painting watercolors of a city view»
Промпт: «A bridge over a river with a city skyline in the background»
Промпты: «Friends having a picnic in an urban meadow» «A chef taking a break behind a restaurant with a cigarette»
Промпты: «A fountain in city center with pigeons around it» «An urban river with bridges and city reflections in water» «An urban canal with houseboats and bicycles parked nearby»
Промпты: «An underground pedestrian crossing with mosaic walls» «A cyclist stopping to check city map»
Промпт: «Quiet cobblestone street with vintage lampposts»
Промпты: «A street cleaner with cart and broom early morning» «Photographer taking pictures of street art»
Промпт: «A concrete pedestrian bridge over busy highway»
Промпты: «A fruit vendor weighing apples for a customer» «Children chasing a runaway balloon in the plaza»
Промпт: «An old tram moving through narrow city streets»
Промпты: «A man reading poetry to small audience» «Old friends playing chess in the park»
Вывод
Благодаря сокращению количества изображений и единой стилистике нейросеть смогла гораздо точнее отразить и уловить мой стиль. Я доволен результатами генерации для итоговой серии; они кажутся мне живыми и приятными. Я вижу явные сходства между моими оригинальными иллюстрациями и тем, что получилось в итоге. Деревья, складки на одежде, цвет и тень — многие аспекты получились удачно. Однако изображения людей все еще не идеальны, хотя я приложил все усилия, чтобы привести их в приемлемый вид. Хочу также отметить первую пробную серию. Она вышла более экспериментальной и неожиданной, и мне она настолько понравилась, что я решил продемонстрировать ее тоже.
Применения генеративных моделей
Дообучение и создания изображений — модель Stable Diffusion. При генерации промптов мне помог chat GPT, а в составлении кода — DeepSeek Chat. Для повышения качества некоторых изображений было использовано приложение «Upscayl».
