Обучение генеративной нейросети in Filonov Style
Если бы меня спросили, кто мог бы изобрести нейросети до того, как человечество в целом задумалось о потенциале их существования, я бы ответила — Павел Филонов. Он был самым загадочным представителем русского авангардизма и основателем аналитического искусства. Его метод был за гранью доступной человеку области восприятия. Полотна действительно напоминают мне компиляцию нейронных связей, при новом совмещении изображающих ранее не виданный образ.
*Работы Павла Николаевича Филонова получили статус общественного достояния в 2015 году.
Мне показалось интересным обучить нейросеть на его работах. Я ожидала, что при совмещении мышления машины и Филонова должны получиться удивительные изображения, наполненные осмысленностью в ее абстракции.
Я собрала все квадратные картины Павла Филонова, которые нашла, в архив. Его можно посмотреть здесь.
Установка необходимых библиотек
Изначально было необходимо установить все нужные библиотеки. Так же, из-за несоответствия версий perf, потребовалось обновление до 17 и перезапуск всего окружения.
Подготовка к обучению
Так как код создавался через Kaggle, с помощью встроенной функции я создала датасет, куда загрузила все фотографии. После добавила их в рабочую папку cher.
После были созданы подписи к каждому изображению. Я удостоверилась, что они считываются правильно.
Далее были сгенерированы префиксы к каждому изображению через определенную функцию caption_images. Так к каждому из них был создан промпт.
Обучение и сохранение модели
На сайте Hugging Face я получила токен, чтобы в последствии обученную модель можно было выгрузить на платформу, и приступила к обучению. Оно заняло около часа.
Сохранив обученную модель на Huging Face, я, наконец, смогла приступить к генерации изображений.
Генерация
В поиске функции для обученной модели, мне показалось интересным использовать ее для создания визуального образа фотосъемок для потенциального бренда одежды или украшений, формирующихся вокруг российской айдентики.
Изначально я написала достаточно короткий промпт и получила довольно абстрактное изображение.
Kaggle:
photo collage in FILONOV style, fashion photoshoot of a bag against the backdrop of Red Square in Moscow
Поэтому я решила писать более конкретные промпты, и изображения стали намного более детальными.
Kaggle:
photo collage in FILONOV style, fashion photoshoot featuring a world-famous model wearing a kokoshnik against the backdrop of the Hermitage Museum in St. Petersburg. The photo was taken for a brand presentation in a fashion magazine
Kaggle:
photo collage in FILONOV style, fashion photoshoot of the world-famous model in diamond jewelry against the backdrop of St. Isaac’s Cathedral in St. Petersburg. Focus on her hands. Close-up shot. The photo was taken for a brand presentation in a fashion magazine
Я стала замечать, что с каждой последующей генерацией изображения становились все менее асбстрактными, а люди все больше походили на людей. Архитектура, которую я просила изобразить на фоне, становилась все реалистичнее.
Kaggle:
photo collage in FILONOV style, fashionable photoshoot of a world-famous model in inavant-garde dress against the backdrop of Malevich’s Black Square. The photo was taken for a brand presentation in a fashion magazine / photo collage in FILONOV style, fashionable photoshoot of a world-famous model in inavant-garde male suit against the backdrop of Malevich’s Black Square. The photo was taken for a brand presentation in a fashion magazine
Далее мне стало интересно продолжить генерирование изображений непосредственно на платформе Hugging Face и проследить, как это происходит там. Это ускорило процесс получения результата.
Hugging Face:
photo collage in FILONOV style, fashionable photoshoot of a world-famous model in inavant-garde dress against the backdrop of Malevich’s Black Square. The photo was taken for a brand presentation in a fashion magazine / photo collage in FILONOV style, fashionable photoshoot of a world-famous model in inavant-garde male suit against the backdrop of Malevich’s Black Square. The photo was taken for a brand presentation in a fashion magazine
В изображениях становилось все меньше оригинальной графики художника и все больше типичных для нейросетевых изображений черт. Сохранялся только общий принцип, а образы картин сливались в однотипную структуру.
В итоге нейросеть начала выдавать подобные изображения:
Hugging Face:
photo collage in FILONOV style, fashionable photoshoot of a world-famous model in undergroung geometric clothes with very fashionable bag and glasses against the backdrop of old Saint-Petersburg street. The photo was taken for a brand presentation in a fashion magazine
Из интереса я добавила к промпту «VERY FILONOV STYLE, EVERYTHING IN FILONOV PAINTONGS» и модель начала коллажировать изображения.
Hugging Face:
photo collage in FILONOV style, VERY FILONOV STYLE, EVERYTHING IN FILONOV PAINTONGS, fashionable photoshoot of a world-famous model in undergroung geometric clothes with very fashionable bag and glasses against the backdrop of old Saint-Petersburg street. The photo was taken for a brand presentation in a fashion magazine
Таким образом, я пришла к выводу, что наиболее стилистически успешные изображения выдаются в начале работы с моделью.
Список использованных в проекте инструментов:
— Stable Diffusion — обучение генеративной нейросети под свой стиль; — Kaggle — выполнение кода и генераций; — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт, большая часть последующих генераций.