Обучение генеративной нейросети под графику из видеоигры «КОЛЬСКАЯ»
Идея
Я принимаю участие в создании видеоигры под названием «КОЛЬСКАЯ» в качестве создателя и программиста.
В целях продвижения игры было решено обучить генеративную нейросеть создавать контент на основе графики из игры — это интересно и ново.
Нейросеть обучалась на основе нескольких десятков высококачественных скриншотов окружения из видеоигры.
Были использованы разные места внутри игры — шахты, пещеры, заброшенные лаборатории, служебные комнаты.
Датасет скриншотов из игры
Процесс обучения
Импорт датасета для дальнейшей работы.
Импорт датасета на Python
Для работы с моделями был использован Hugging Face.
Авторизация в Hugging Face из Jupyter Notebook
Для каждого скриншота из датасета был написан свой промпт.
Датасет скриншотов в коде
Тренировка
Преднастройки для выходных файлов
Генерация изображений
После подготовки модели, необходимо подключить все необходимые библиотеки: DiffusionPipeline, AutoencoderKL и так далее.
Импорт библиотек и установка режима работы модели
Генерация
Промпт: kolskaya, stylized 3d, game screenshot, a frozen ice cave, blue and snowy
Промпт: kolskaya, stylized 3d, game screenshot, a frozen ice cave
Промпт: kolskaya, stylized 3d, game screenshot, dark cave with big clusters of purple crystals o5
Промпт: kolskaya, stylized 3d, game screenshot, dark cave with big clusters of purple crystals p1
Промпт: kolskaya, stylized 3d, game screenshot, dark cave with big clusters of purple crystals
Нейросеть едва ли способна генерировать что-то оригинальное с силой функционирования, установленной на 1.
Идеальным коэффициентом оказалось 0.7
Промпт: kolskaya, simple 3d, game screenshot, dark mineshaft with colorful crystals
Промпт: kolskaya, simple 3d, game screenshot, dark mineshaft with clusters of colorful crystals growing out of walls
Промпт: kolskaya, stylized 3d, game screenshot, man emerging from cave
Промпт: kolskaya, stylized 3d, game screenshot, giant centipede
Промпт: kolskaya, simple 3d, game screenshot, train
Промпт: kolskaya, simple 3d, game screenshot, science laboratory
Промпт: kolskaya, simple 3d, game screenshot, science laboratory with huge green tubes of specimens
Промпт: kolskaya, simple 3d, game screenshot, lush overgrown cave with pink flowers, green vines (1)
kolskaya, simple 3d, game screenshot, lava lake in dark cavern
kolskaya, simple 3d, game screenshot, giant mole
kolskaya, simple 3d, game screenshot, giant mole monster in a dark tunnel
Конец
Данная модель генеративной нейросети далека от идеала, однако ее вполне можно использовать для внутренних целей — генерации концепт-артов для художников, левел-артистов или 3D-моделлеров.
В перспективе данная нейросеть может стать публичной и использоваться в маркетинговой кампании игры, привлекая к себе больше внимания со стороны целевой аудитории.
