Русский бестиарий в манере японизма

Отправная точка проекта — японская иллюстрация XX века и одна из её ключевых фигур, Акира Уно (宇野亞喜良, род. 1934). В его работах хорошо видно, как японская традиция встретилась с европейским модерном: тонкая струящаяся линия, меланхоличные девушки с удлинёнными пропорциями, театральные плакаты для труппы Сюдзи Тэраямы. Хотелось получить нейросеть, которая передаёт эту линию японской культуры.
Но обучать модель на работах Уно нельзя: они защищены авторским правом, и брать их для датасета без согласия автора — нарушение. Поэтому в проекте выбран другой путь: обучить модель не на самом Уно, а на художниках, из которых вырос его стиль и чьи работы уже перешли в общественное достояние.Такэхиса Юмэдзи (1884–1934) — японский художник эпохи Тайсё, автор узнаваемого типа хрупкой меланхоличной красавицы. Связь с Уно подтверждает он сам: в интервью он вспоминает, как в детстве не хотел возвращать одолженную книгу гравюр Юмэдзи и срисовывал из неё женщин в кимоно.
Обри Бёрдслей (1872–1898) — английский график эпохи модерна, многое взявший у японской гравюры: плоские чёрные заливки, орнамент, гибкая линия. Критик The Comics Journal находит отзвуки Бёрдслея в ранних работах Уно.Получается японизм в обе стороны: европейский модерн, выросший из японской гравюры, и японская иллюстрация, впитавшая европейский модерн. Новый стиль назван AkiraStyle — в честь художника, вокруг которого выстроен проект, но чьи работы в нём не использованы.

200 изображений: 100 работ Бёрдслея («Саломея», The Yellow Book, The Savoy, «Похищение локона», «Смерть Артура») и 100 работ Юмэдзи (бидзинга, гравюры, обложки журналов). Все — из Wikimedia Commons, общественное достояние или CC0.

Как собиралась выборка:из ~900 кандидатов отобраны работы, характерные для стиля; убраны обложки с текстом, пустые рамки, ранние наброски, работы с откровенной наготой и повторы одной работы из разных изданий;
рисунки Бёрдслея вырезаны со сканов книжных страниц (поля и подписи отрезаны автоматически);
все изображения приведены к квадрату 512×512 — формату, на котором обучается модель.

Модель: Stable Diffusion XL 1.0, метод DreamBooth + LoRA (обучается небольшой «адаптер» поверх основной модели). За основу взят ноутбук преподавателя.Подписи: нейросеть BLIP автоматически описала содержание каждой картинки. К описанию добавлен токен стиля akrstl и указание техники: black and white ink illustration для Бёрдслея и japanese watercolor illustration для Юмэдзи. Благодаря этому при генерации можно выбирать, какую «ветку» стиля использовать, или смешивать их.Токен akrstl — бессмысленное слово, которое модель раньше не видела. Слово «Akira» не подошло бы: модель связывает его с аниме «Акира» 1988 года.Параметры: разрешение 512, 600 шагов, rank 16, learning rate 1e-4, 8-битный оптимизатор и смешанная точность, чтобы поместиться в бесплатную видеокарту T4 в Google Colab.

Слева — исходная SDXL на тот же запрос, справа — с обученным стилем; сверху вниз — Жар-птица, Русалка, Кощей. Без дообучения модель рисует плоский цифровой клипарт и даже делит Кощея на несколько кадров. С LoRA появляются книжная иллюстрация, кремовый тон старой бумаги, штриховка пером, орнамент, драматичные чёрные заливки.

Самая цельная часть проекта. Для неё запрос генерации был уточнён: «фигура в полный рост, растительная рамка модерна, книжный лист», для каждого героя сгенерировано 4 варианта и отобран один — тот, что лучше держит общий ритм серии. Получился единый бестиарий: одинаковая бумага, рамки, ритм чёрного и белого — как страницы одной книги начала XX века.От Бёрдслея модель взяла чёрные силуэты Кощея и Марены, длинные струящиеся волосы Русалки, орнамент. Но штриховки и декоративных рамок у неё заметно больше, чем у Бёрдслея: результат ближе к книжной гравюре рубежа веков в целом, чем к его лаконичной графике.

Цвет и настроение Юмэдзи: размытая акварель, бледные голубые и зелёные тона, задумчивые лица. Природные, «водяные» и зимние образы — Русалка, Леший, Водяной, Снегурочка, Марена — звучат в этой манере особенно естественно.

В части работ модель пошла дальше техники и перенесла героев в мир Юмэдзи: Сирин, Алконост, Гамаюн и Кикимора предстают японками в кимоно, Кощей — восточным вельможей, Змей Горыныч — дальневосточным драконом. Это тоже интерпретация: модель видела почти всех героинь Юмэдзи в кимоно, и для неё «акварель в стиле akrstl» и «японский образ» стали одним целым.В итоге проект буквально воплощает японизм наоборот: славянские мифы, рассказанные через японскую культуру. Вместе с тем это наглядно показывает, как устроено дообучение: модель не отделяет манеру от сюжета, а усваивает всё, что повторяется в датасете.

Главная идея проекта — смешать обе ветки: контур Бёрдслея и цвет Юмэдзи. Для этого в запросе указана смешанная техника: чёрный контур пером и плоские бледные акварельные заливки. В Василисе, Жар-птице, Русалке, Снегурочке, Лешем и Водяном тонкая линия, пустое пространство бумаги и сдержанные пятна цвета напоминают японскую иллюстрацию начала XX века.

Синтез — самая свободная из трёх веток. Две части датасета очень разные: монохромная графика и цветная акварель, и при их смешении модель балансирует между ними. В Бабе-Яге и Марене фигура растворяется в штрихах и становится почти абстрактной, в Кикиморе и Алконосте снова проступают японские черты. Каждый запуск даёт новое прочтение, и именно здесь стиль наименее предсказуем.