Обучение генеративной нейросети под стиль Артура Рэкхема
Концепция
Задачей проекта являлось обучение Stable Diffusion стилю Артура Рэкхема, ведущего художника Золотого века британской книжной иллюстрации на стыке XIX и XX веков. Помимо этого я хотела адаптировать стиль британского иллюстратора под русские народные сказки, чтобы посмотреть, как могли бы выглядеть сказочные иллюстрации персонажей, которых автор никогда не изображал.
Примеры исходных изображений
Стиль Артура Рэкхема узнаваем по тонкой линейной графике, густым линиям туши и прозрачной акварельной заливке. Сложные и многоуровневые иллюстрации сочетает гротеск и изящество: причудливые, порой зловещие фигуры соседствуют с тонко прорисованными деревьями, туманными пейзажами, текучими складками тканей и реалистичным изображением кожи. Помимо этого можно выделить часто чрезмерную заполненность всей страницы мельчайшими деталями, не дающую глазу «отдохнуть». Благодаря мрачноватой, но изысканной эстетике, иллюстрации Рэкхема создают эффект «взрослой сказки» — мира, одновременно волшебного и тревожного.
Финальные рендеры
Промт для Емели:
«Arthur Rackham style illustration of a 20-year-old blond man in faded brown-red russian ethnic costume and fur hat holding a large northern pike fish while standing in a winter pond, plenty of decorative details, low saturation, thick outline, bold lineart, black contour lines, grainy».
Промт для Аленушки:
«Arthur Rackham style illustration of a 13-year-old girl in faded red-and-blue Slavic dress and a headscarf looking sadly at a white baby goat standing near a water puddle, deep dark brown forest on background, plenty of decorative details, low saturation, thick outline, bold lineart, black contour lines, grainy».
Промт для Ильи Муромца:
«Arthur Rackham style illustration of a mighty medieval russian warrior in chain armor with bogatyr helmet and a spear, riding a deep-black draft horse with majestic long black mane, wheat fields on the background, plenty of decorative details, low saturation, thick outline, bold lineart, black contour lines, grainy».
Промт для водяниц:
«Arthur Rackham style illustration of four frisky young Slavic women frolicking in swamp waters, wearing detailed golden Slavic juwelry with shiny pearls on their bodies and ontop of their heads, detailed green swamp reed and lilypads on background, plenty of decorative details, low saturation, thick outline, bold lineart, black contour lines, grainy».
Комментарий
В целом модель справилась с имитацией стиля автора: передается четкий жирный контур, акварельная палитра и заполненность сцены деталями (однако меньшая, чем у оригинальных иллюстраций). Кожа выглядит реалистично и объемно, тени на складках тканей закрашены мелкой точкой, имитирующей текстуру акварельной бумаги, иногда заметна штриховка, подобная той, которую использует автор. Однако у модели есть ряд ограничений.
В процессе генерации изображений я первым делом столкнулась с непониманием генеративной моделью ряда важных терминов славянской культуры и быта. К примеру, было сложно составить промт на изображения понятий: богатырь, царевна, кокошник, коромысло и пр. Кроме того, обладая знаниями о некоторых персонажах западной культуры, модель не понимала, как выглядят известные славянские герои.
Во-вторых, как для стиля Артура Рэкхема, так и для книжных иллюстраций к традиционным сказкам любой культуры жизненно важно изображение карикатурных, антропоморфных и комбинирующих разные животные черты персонажей. Нейросети пока с этим не справляются, поэтому данная модель не сможет изобразить: Бабу Ягу, избушку на курьих ножках, кикимору, домового, Царевну Лягушку, Чудо-Юдо-Рыбу-Кит, а также магические превращения: в козленка, в гусей-лебедей и так далее.
И наконец, модель не способна в полной мере повторить стиль Рэкхема из-за присутствия в его работах большого количества персонажей одновременно, что тоже является важной деталью сказочных нарративов. Данная модель с большим трудом справляется с толпами и корректным изображением конечностей.
Все это вместе с предыдущими пунктами позволяет сделать вывод, что нейросети пока не могут создавать настолько комплексные изображения, какие можно увидеть в сказочной книжной иллюстрации, хотя и способны имитировать их стиль.
Сравнение с оригиналом
Слева — результат генерации, справа — оригинальная иллюстрация
Код, датасет, модель
Блокнот с кодом и датасет: https://drive.google.com/drive/folders/1GklazKMjSfCzXnyLIDz-2nphqOUGqhyp?usp=sharing
Модель на Hugging Face: https://huggingface.co/SwiftN/Arthur_Rackham_style_LoRA
Обложка была сгенерирована в Midjourney
