Обучение генеративной нейросети Stable Diffusion стилю игры DISCIPLE: MANTIS

Для реализации этого проекта я обучила генеративную нейросеть Stable Diffusion генерировать изображения в стиле игры DISCIPLE: MANTIS  — проекта, который я разрабатываю в этом году с моей командой в рамках дисциплины «Специальное проектирование».

DISCIPLE: MANTIS  — body-horror шутер, основанный на комбинациях. Игрок не может наносить урон врагам напрямую, вместо этого он наносит символы, которые, собираясь в комбинации, могут создавать разные эффекты.

У игры запоминающийся и оригинальный визуальный стиль. Мне стало интересно узнать, какие изображения сможет предложить нейросеть, работающая в его рамках и сможет ли она создавать таких же уродливых и неестественных персонажей.

Проект может иметь практическое применение:

1. Генерация контента в стиле игры даст идеи и вдохновение для новых персонажей и локаций.
2. Можно использовать генерации для продвижения в социальных сетях, например, предложить аудитории угадать, где реальный контент из игры, а где сгенерированный.
3. Если сделать модель публичной, это поможет в создании фанатского контента и пользовательских модификаций без искажения визуального стиля игры.

Для создания проекта я выбрала среду Kaggle. Для обучения модели и генерации изображений использовались такие инструменты как LoRA, Stabble Diffusion XL  и Hugginface.

Я загрузила в блокнот датасет из 100 изображений — скриншотов и артов из игры, созданных мной и моей командой. В нем содержались персонажи, локации, принты и текстуры.

Визуальный стиль игры имеет несколько отличительных особенностей: — Преобладает красно-черно-коричневая цветовая гамма — Штрихованый мультяшный шейдер — В отличие от трехмерного окружения персонажи собраны из двухмерных плейнов и похожи на картонных кукол

Мне было важно, чтобы эти черты были отражены в результирующей серии изображений.

Я загрузила все необходимые библиотеки и добавила датасет в Kaggle с помощью команды Upload dataset. Затем я убедилась, что изображения действительно загрузились.

После этого я сгенерировала подписи к изображениям с использованием уникального промпта для генерации в специфическом стиле.

Нейросеть практически везде точно описала содержание изображений.

Наконец я зарегистрировалась на платформе Hugging Face и получила уникальный токен, чтобы другие тоже могли использовать мою модель.

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

После этого я выставила оптимальные настройки и запустила процесс обучения модели.

Для начала я попробовала сгенерировать комнаты, аналоги которых уже есть в игре.

Промпт 1: photo in  DISCIPLE style, abandoned dark cartoonish children’ s room. Промпт 2: photo in  DISCIPLE style, a  ruined kitchen stained with red blood.

Нейросеть отлично считала главную особенность стиля — штрихованную текстуру. Также она хорошо попала в цветовую гамму. Однако не хватало четкости краев и я добавила в промпты фразу «cartoon style with clear outlines of  objects». Результат улучшился.

Я сравнила генерации с исходными изображениями и сделала вывод, что созданные картинки можно использовать в концепт арте.

Так как результат меня удовлетворил, я решила создать комнату, которой еще нет в игре, чтобы использовать ее в проектировке будущих локаций.

Я задала промпт для генерации ванной комнаты: photo in  DISCIPLE style, big and spacious 3d  bathroom, clear black outlines of  objects.

Я перешла к персонажам, они самые детализированные и сложные по стилю.

Я решила проверить, как нейросеть видит героев DISCIPLE: MANTIS без конкретного описания внешности.

Промпт: photo in  DISCIPLE style, all objects have black outlines, 2d  meat humanoid creature.

Я получила интересные силуэты, черты и идеи для увечий будущих персонажей игры. Оба героя получили разный характер и, смотря на их облик, я могу придумать их историю появления и способности. Нейросеть в этом случае стала хорошим источником вдохновения.

Наконец я решила создать то, что будет использоваться непосредственно внутри игры — текстуры для стен, так как нейросеть отлично повторила штрихованость поверхностей.

Я использовала промпт: photo in  DISCIPLE style, Wallpaper with  a <цвет/узор> pattern.

Выбрала несколько удачных вариантов.

Текстуры вышли интереснее тех, что сейчас есть в игре. Я сразу примерила их.

Итак, в рамках проекта с помощью дообученной нейросети я создала: — концепт-арты окружения — концепты персонажей, из которых можно вычленить много идей — текстуры для использования на объектах внутри игры

Таким способом можно создать еще много полезных для разработки вещей и использовать нейросети для вдохновения. Нейросеть на данном этапе не сможет заменить художника, но облегчит генерацию идей и возьмет на себя ремесленные задачи, например, создание паттернов.