Обучение генеративной нейросети под стиль художника Билибина
Я решила обучить генеративную нейросеть под стиль художника Билибина, так как меня завораживает стиль автора, который идеально передает сказочную и загадочную атмосферу русского фольклора.
В процессе создания изображений мне хотелось передать уникальный стиль художника, который отличался детализированными народными орнаментами, элементами фольклора, декоративными мотивами и яркой палитрой. В своих работах Билибин часто использовал элементы традиционного русского зодчества, костюмов и сказок, что сделало его стиль легко узнаваемым.
Создание изображений происходило с помощью SDXL DreamBooth LoRA. Я собрала исходные изображения (работы Билибина), обрезала их с соотношением сторон 1 к 1, сформировала зип-файл. Далее создала особое название для стиля («BILIBIN STYLE»). Выбираю базовую модель SDXL. Сам процесс обучения включает в себя: создание специального учебного примера на основе нужного стиля; обучение и впоследствии сохранение части модели (LoRA). Потом чтобы сгенерировать изображение в стиле Билибина, добавляю в запрос нужный токен («BILIBIN STYLE»). Модель автоматически применяет выученные особенности стиля к новой картинке.
установка
превью
генерация подписей
подготовка к тренировке
тренировка
сохранение модели
генерация
исходные изображения для обучения (примеры)
исходные изображения для обучения (примеры)
пример промпта
Результирующая серия изображений
«in BILIBIN style witch portrair»
«in BILIBIN style sea and ship»
«in BILIBIN style horseman»
«in BILIBIN style baba yaga»
«in BILIBIN style apocalypsis»
«in BILIBIN style park»
«in BILIBIN style sunrise»
«in BILIBIN style portrait»
«in BILIBIN style modern city»
«in BILIBIN style mermaid»
«in BILIBIN style crowd around fire»
«in BILIBIN style woman-sun»
«in BILIBIN style city»
«in BILIBIN style night»
«in BILIBIN style futuristic landscape»
«in BILIBIN style portrait»
«in BILIBIN style fairytail»
«in BILIBIN style castle»
«in BILIBIN style old lady»
«in BILIBIN style diving»
«in BILIBIN women dancing»
«in BILIBIN style night»
«in BILIBIN style bear»
«in BILIBIN style book»
«in BILIBIN style archer»
«in BILIBIN style bedroom»
«in BILIBIN style pig»
«in BILIBIN style dress»
«in BILIBIN style woman at mirror»
«in BILIBIN style crowd»
«in BILIBIN style princess»
«in BILIBIN style stars»
«in BILIBIN style room»
«in BILIBIN style cword»
«in BILIBIN style eagle»
Изображения получились приближенными к стилю. Отлично были переданы орнаменты и характерные рамки по краям, а также пейзажи. На некоторых изображениях возникли неполадки с лицами, но там где промпт содержал слово «портрет» лица вышли четкими и правильными.
Качество изображений улучшено с помощью нейросети Upscayl
