Концепция
Идея проекта — научить Stable Diffusion 1.5 рисовать в стиле советского авангардного плаката 1920-х годов и заставить этот стиль рассказывать о современной жизни. Стилевой ориентир — конструктивизм: плоские геометрические формы, жёсткая диагональная композиция, палитра из красного, чёрного и кремового, фотомонтажная подача и фактура старой печати.
Датасет собран из собственных генераций базовой модели — якорь стиля плюс 30 вариаций, полученных через txt2img и img2img с разной силой стилизации; это самый чистый вариант с точки зрения прав, чужие работы не используются.
Генерации
Я обучил DreamBooth LoRA rank 16 на триггер-токене ohwx, 800 шагов. Мне было интересно проверить, что стиль держится на сюжетах, далёких от эстетики 1920-х, и где адаптер сдаётся.
1 — a food delivery courier with a thermal backpack, 2 — an office worker at a laptop computer
С самых первых генераций становится заметно, как генерации адаптируются под современные реалии. Узнаваемые части плакатов остаются, и явно можно заметить, что модели сложнее всего дается преобразование современных предметов.
1 — a barista behind an espresso machine, 2 — passengers waiting on a subway platform
Несмотря на отсутствие описания временных рамок нейросеть генерирует изображения ориентируясь больше на 50-60 е года.
a doctor with a stethoscope at a hospital ward
Отличительное чертой является способность отлично прорисовывать ландшафтные детали и крупногабаритные без особой детализации предметы. Видно что цветовая гамма при этом может иногда отходить от плакатной из первых генераций.
Мои личные фавориты серии — плакаты с растениями и машиной. Изображения получились достаточно детальными, при этом могли сохранить плакатные мотивы своих референтов. Цветовая гамма обоих изображений отходит от привычной для плакатов, что сделало их более интересными.
1 — a cyclist crossing a bridge in the city, 2 — a gardener watering potted houseplants on a balcony
1 — a football striker kicking the ball, 2 — an electric car plugged into a charging station
1 — a rock guitarist on stage in front of a crowd, 2 — students at desks in a university lecture hall
В целом стиль переносится уверенно: плоские пятна, диагонали и псевдотипографика на месте, а слабее всего получаются природные сюжеты, к которым конструктивизм исторически не приспособлен. Проект показывает, как за один вечер собрать собственный 'стилевой голос' нейросети и какие компромиссы при этом возникают.
a skateboarder jumping down stairs
Описание применения генеративной модели
В моем проекте генеративный ИИ применялся в трёх ролях:
Stable Diffusion 1.5 применялся в создании обучающего датасета и стилевого якоря, а затем после дообучения для генерация финальной серии плакатов.
YandexGPT 5 применялся для вспомогательных текстов проекта: формулировка подписей к изображениям датасета, черновики описания идеи и разбор серии редактировались с помощью языковой модели, факты и числа при этом взяты только из реальных прогонов.
