Обучение генеративной нейросети | Alice: Madness Returns
(01) Концепция
Для обучения своей модели нейросети Stable Diffusion XL я решила выбрать одну из своих любимых игр — Alice: Madness Returns (2011). В 2023 году вышел артбук для продолжения этой игры Alice: Asylum, которое, возможно, никогда не выйдет, поэтому я захотела
Alice: Madness Returns (2011) — это мрачный и психоделический экшен-платформер, разработанный Spicy Horse, являющийся продолжением игры American McGee’s Alice. Сюжет разворачивается после событий первой игры, American McGee’s Alice. Алиса пытается прийти в себя после трагической гибели своей семьи в пожаре, находясь под присмотром психиатра в Лондоне. Однако, её психическое состояние ухудшается, и она вновь погружается в безумную, искажённую Страну Чудес.
Кадры из игры Alice: Madness Returns
Некоторые персонажи из игры Alice: Madness Returns
В игре есть 2 основных стиля: 3д игровая часть и стилизованная нарисованная часть катсцен и флэшбеков. Я хотела сосредоточиться на втором стиле, так как он более интересный для меня, и обучить свою модель именно на нем.
Скриншоты катсцен и флэшбеков из игры
Основные черты этого стиля:
1. Использование четких линий и текстур, напоминающее винтажные иллюстрации.
2. Текстура бумаги и контур вокруг разных деталей, будто вырезанные из бумаги куклы, которых анимируют.
3. Персонажи часто имеют преувеличенные (чаще всего отталкивающие) черты и необычные пропорции.
4. Использование глубоких, насыщенных цветовых палитр, часто с контрастом между яркими и темными оттенками.
5. Использование фантастических деталей и необычной композиции.
(02) Датасет для обучения
Часть изображений из датасета
У меня получилось собрать датасет из 53 скриншотов катсцен из игры размера 1024×1024 пикселей.
(03) Процесс обучения
После импорта блокнота с Github и установки нужных библиотек, я загрузила свой датасет и продолжила работу с ним. Следующим шагом было создание локальной директорий для хранения изображений из него.
Импорт и открытие датасета
Далее были сгенерированы подписи для изображений, используя модель BLIP, и сохранены вместе с именами файлов изображений в JSONL-файл. Затем мы очистили память, удаляя модель BLIP и освобождая GPU-память.
Фрагменты кода
После этого я привязала собственный токен на платформе Hugging Face, и приступила непосредственно к обучению модели с использованием LoRA.
Фрагмент кода
Фрагмент кода для тренировки модели
После этого я сохранила мою модель на Hugging Face Hub для удобства дальнейшего использования и приступила к первым генерациям.
(04) Генерация изображений
Сначала я попробовала изменить параметр lora_scale на более низкие значения, такие как 0.6 и 0.8
Я использовала одинаковые промпты, чтобы посмотреть различия генерации изображений.
Изображения, полученные с параметром lora_scale=0.6
Изображения, полученные с параметром lora_scale=0.8
Хоть стиль Alice: Madness Returns и был заметен в получившихся картинках, но они были более реалистичны, чем скриншоты из игры, поэтому итоговые изображения я создавала с параметром lora_scale 0.9 и 1. Я хотела создать серию изображений, продолжающих сюжет игры, будто это вырезанные или дополнительные катсцены в игре, которые соответствовали сюжету.
prompt = «drawing in ALICE style, a young girl playing with toys on the floor»
prompt = «image in ALICE style, a young girl standing in a flowerbed»
prompt = «drawing in ALICE style, a mystical forest with a small river» prompt = «drawing in ALICE style, a landsсape of a 19th century London street»
prompt = «drawing in ALICE style, a cat sitting in an armchair»
prompt = «drawing in ALICE style, an old lady holding a bottle»
prompt = «drawing in ALICE style, a girl drinking tea from a cup at the table»
prompt = «drawing in ALICE style, Alice: Madness Returns, Cheshire cat, smiling, sitting on a rock in a forest»
prompt = «drawing in ALICE style, Alice: Madness Returns, Creepy Mad Hatter, grotesque features, long nose, disturbing expression, dark and grungy environment.»
Также я захотела попробовать повторить некоторые кадры, чтобы сравнить оригинал и результат моей модели нейросети.
Слева — картинка, полученная нейронной сетью, справа — кадр из игры
Слева — картинка, полученная нейронной сетью, справа — кадр из игры
Генерация персонажей
После генерации всех изображений мне стало интересно, как бы выглядели другие персонажи моих любимых игр в стиле Alice: Madness Returns.
В итоге у меня получилось воссоздать 8 персонажей.
Леон Кеннеди из серии игр Resident Evil
Ада Вонг из серии игр Resident Evil (Resident Evil 4: Remake)
Кратос из серии игр God of War
Геральт из игры Witcher 3: Wild Hunt
Йеннифэр из Венгерберга из игры Witcher 3: Wild Hunt
Маления, Клинок Микеллы из игры Elden Ring
Астарион из игры Baldur’s Gate 3
Альчина Димитреску из игры Resident Evil: Village
(05) Итог
В итоге, я считаю, что нейросети удалось похоже воспроизвести иллюстративный стиль игры, а также сохранить цветовую палитру и «нотку безумия».
У нейросети иногда были сложности с анатомией, но, мне кажется, что это из-за источника: стиль Alice: Madness Returns часто преувеличивает и изменяет пропорции лиц и тел, что могло запутать ИИ.
Также, во время генерации персонажей я заметила, что при более детальных промптах персонаж получался более узнаваемый, но немного терялся стиль, становясь более реалистичным.
(06) Использованные материалы
Stable Diffusion XL — обучение генеративной нейросети под свой стиль.
Hugging Face — получение токена для обучения нейросети.
Kaggle — сайт, на котором происходило написание кода, редактирование и генерация изображений.
ChatGPT4 | Midjourney — чат, который помогал с написанием детальных промптов и редактированием кода.
PixelCut AI — сайт для улучшения качества изображений.
