Обучение генеративной нейросети работами Густава Климта
Рубрикатор:
Описание идеи всего проекта;
Результирующая серия изображений
Ноутбук с кодом для обучения и описание процесса обучения;
ГенИИ в проекте помимо обученной нейросети
Гу́став Климт — австрийский художник и декоратор, один из самых ярких представителей венского модерна. Живописец и график, мастер оформления архитектурного интерьера. Один из основателей Венского сецессиона и участник Венских мастерских. Его монументально-декоративные и живописные произведения отличает стилизация, символизм и эротизм.
Выбранные работы художника
Невероятно чувственные работы художника побудили меня использовать их для обучения нейросети. Цель проекта — создать платформу для генераций изображений подобного стиля, позволяющую создавать визуальные образы в духе существующих работ для вдохновения и созидания прекрасным.
Данный проект с ИИ помогает буквально воссоздать «руку» художника и открыть новые горизонты для исследования его техники.
Результирующая серия изображений
Промпт: Девушки, вечерняя Москва
Промпт: New York, Times square
Промпт: Город будущего, где природа и технологии гармонично сочетаются, с зелеными небоскребами и летающими автомобилями, на фоне заката.
Промпт: Волшебный лес, наполненный светящимися растениями и мифическими существами, такими как единороги и феи, под звездным небом.
Промпт: Человек в костюме 19 века, стоящий на мосту
Промпт: Космический корабль, исследующий яркую экзопланету с необычными растениями и существами, на фоне ярких звезд и галактик.
Промпт: Подводный город, населенный разумными морскими существами, с яркими кораллами.
Промпт: Деревня в снежном лесу, украшенная огоньками, с оленями на санках.
Промпт: Секретный сад с экзотическими цветами и фонтаном, где живут удивительные существа.
Нейросеть успешно передала легкую дымку и цвета, как в работах Густава Климта.
Изображения получились нежными и фантазийными, с характерными деталями и геометрическими элементами. Хочется выделить золотой фон: Климт часто использовал золотые и металлические цвета, создавая эффект сияния и глубины. Это стало его фирменным стилем, особенно в таких произведениях, как «Поцелуй».
Ноутбук с кодом
Промпт: «Библиотека, где книги летают и сами открываются, а стены покрыты волшебными рунами, с уютными креслами для чтения.» Ссылка на код: https://disk.yandex.ru/d/Nf38iwIOkRtMoA
Ход работ:
1. Аутентификация и подготовка окружения В начале происходит вход в аккаунт, что позволяет загружать и сохранять модели в репозитории
2. Настройка гиперпараметров и запуск обучения С помощью команды accelerate launch запускается скрипт с набором параметров: — выбор базовой модели — настройка разрешения изображений, размера батча, шагов накопления градиентов — задание скорости обучения, количества шагов и прочих гиперпараметров для тренировки LoRA
3. Процесс обучения и сохранения промежуточных результатов Во время обучения модель проходит через фазы прямого и обратного прохода, корректируя веса с использованием выбранного оптимизатора. 4. После завершения обучения производится сбор итоговой модели — создаётся репозиторий, формируется модель с помощью функции save_model_card — затем итог загружается в репозиторий
Дополнительно при выполнении проекта использовался СhatGPT для объяснения исходного кода
