Идея
Я принимаю участие в создании видеоигры под названием "КОЛЬСКАЯ" в качестве создателя и программиста.
В целях продвижения игры было решено обучить генеративную нейросеть создавать контент на основе графики из игры - это интересно и ново.
Нейросеть обучалась на основе нескольких десятков высококачественных скриншотов окружения из видеоигры.
Были использованы разные места внутри игры - шахты, пещеры, заброшенные лаборатории, служебные комнаты.
Датасет скриншотов из игры
Процесс обучения
Импорт датасета для дальнейшей работы.
Импорт датасета на Python
Для работы с моделями был использован Hugging Face.
Авторизация в Hugging Face из Jupyter Notebook
Для каждого скриншота из датасета был написан свой промпт.
Датасет скриншотов в коде
Тренировка
Преднастройки для выходных файлов
Генерация изображений
После подготовки модели, необходимо подключить все необходимые библиотеки: DiffusionPipeline, AutoencoderKL и так далее.
Импорт библиотек и установка режима работы модели
Генерация
Промпт: kolskaya, stylized 3d, game screenshot, a frozen ice cave, blue and snowy
Промпт: kolskaya, stylized 3d, game screenshot, a frozen ice cave
Промпт: kolskaya, stylized 3d, game screenshot, dark cave with big clusters of purple crystals o5
Промпт: kolskaya, stylized 3d, game screenshot, dark cave with big clusters of purple crystals p1
Промпт: kolskaya, stylized 3d, game screenshot, dark cave with big clusters of purple crystals
Нейросеть едва ли способна генерировать что-то оригинальное с силой функционирования, установленной на 1.
Идеальным коэффициентом оказалось 0.7
Промпт: kolskaya, simple 3d, game screenshot, dark mineshaft with colorful crystals
Промпт: kolskaya, simple 3d, game screenshot, dark mineshaft with clusters of colorful crystals growing out of walls
Промпт: kolskaya, stylized 3d, game screenshot, man emerging from cave
Промпт: kolskaya, stylized 3d, game screenshot, giant centipede
Промпт: kolskaya, simple 3d, game screenshot, train
Промпт: kolskaya, simple 3d, game screenshot, science laboratory
Промпт: kolskaya, simple 3d, game screenshot, science laboratory with huge green tubes of specimens
