Обучение генеративной модели под стиль «Рик и Морти»
Идея проекта
В мультсериале «Рик и Морти» существует бесконечное количество альтернативных реальностей. Мне было интересно порассуждать, какой бы вышла D& D игра в стиле этого мультфильма. Я сгенерировала для игры карты-фоны, в которых могли бы происходить приключения, и предметы инвентаря.
Бесконечные миры, бесконечные предметы… и бесконечные приключения!
Что включает проект? Генерации фонов — новые миры, созданные в культовом стиле мультфильма. Разработку инвентаря — гаджеты, оружие, странные артефакты и еда, которые могли бы быть в игре.
Кадр из мультфильма «Рик и Морти»
Исходные изображения для обучения модели
В качестве исходных изображений для обучения стали по большей части кадры из мультсериала, в которых изображены миры, куда попадали главные герои с помощью портального пистолета.
Они были обрезаны на квадраты, размером 1024 на 1024, поэтому одна картинка могла делится на два квадрата.
Всего для обучения было использовано 30 картинок.
Кадры из мультфильма «Рик и Морти»
Кадр из мультфильма «Рик и Морти»
Кадры из мультфильма «Рик и Морти»
Итоговая серия: фоны-карты
«Спороопасная зона» Фон, сгенерированный нейросетью
«Неудачное приземление. Грот Гидроцирроза.» и «Фосфорные Пустоши» Фоны, сгенерированные нейросетью
«Гидрореликты Падающей Империи» Фон, сгенерированный нейросетью
«Дюны Архитектурного Отчаяния» и «Неонополис 9000» Фоны, сгенерированные нейросетью
«Экспресс Руинных Надежд» Фон, сгенерированный нейросетью
«Разрушения и Пылинки. Ночное и дневное время» Фоны, сгенерированные нейросетью
«МногоТомный Коллапс» Фон, сгенерированный нейросетью
Итоговая серия: предметы инвентаря
«Револьвер» Оружие, сгенерированное нейросетью
«Молекулы Мельчайшего Обмана» и «Бомба для Нейрона» Пилюли, сгенерированные нейросетью
«Рик-Колла: Ускорение Реальности» Напиток, сгенерированный нейросетью
«Рассол» и «Шлем Безумия» Рассол от огурцов и шлем, сгенерированные нейросетью
«Посох» Волшебный посох, сгенерированный нейросетью
Анализ изображений
В итоговой серии изображений, которая была создана в стиле «Рик и Морти» для настольной игры Dungeons & Dragons, удачно сочетаются элементы как характерного визуального стиля мультсериала, так и специфические элементы, характерные для классических фэнтезийных и приключенческих игр. Этот проект преследует цель интегрировать абсурдность и ироничность Рика и Морти в структуру, знакомую любому фанату настольных игр — создание особых локаций, объектов и персонажей.
Сравнение растительного мира. 1. Изображение, созданное нейросетью. 2. Кадр из мультфильма «Рик и Морти».
Визуальный стиль сохранил яркие и насыщенные цвета, характерные для мультсериала, а также кривой лайн. Сюжеты и локации, такие как фантастические пейзажи с разрушенными руинами, футуристичные города и магические предметы, передают чувство абсурдного и безумного мира, где всё может измениться в мгновение ока.
Сравнение локаций. Гидро-купола.
1. Изображение, созданное нейросетью. 2. Кадр из мультфильма «Рик и Морти».
Летающие объекты, космические корабли также были отлично переданы нейросетью и очень похожи на исходный вариант корабля Рика.
Сравнение транспортного средства.
1. Изображение, созданное нейросетью. 2. Кадр из мультфильма «Рик и Морти».
В изображениях акцент сделан на уникальных предметах, таких как волшебные посохи, газировка, шлемы и другие элементы, которые отлично вписываются в механики игры. Эти предметы одновременно абсурдны и функциональны, что идеально отражает суть «Рика и Морти»: объекты, которые могут быть и полезными, и совершенно безумными.
Из-за того, что в исходных изображения среди людей чаще всего были выделены только Рик с Морти, то некоторые предметы приняли лицо Рика. Мне кажется, получился бы отличный мерч: Рик-огурец, как бутылка для воды, и Рик-газировка.
Изображения, созданные нейросетью.
Конечно, невозможно не заметить большое количество артефактов на картинках с предметами инвентаря, так как обучение проходило на детализированных фонах мультфильма. Однако даже в таких случаях можно оправдаться и сказать, что щепотка безумия не повредит.
Применение генеративной модели: процесс обучения
В первую очередь подготовительные акты: 1. Скачивание библиотек 2. Загрузка исходных изображений 3. Превью исходных изображений
Скачивание библиотек Скриншот из Google Colab
Загрузка исходных изображений Скриншот из Google Colab
Превью исходных изображений Скриншот из Google Colab
Второй шаг: создаю подписи к исходным изображениям с помощью BLIP
Загрузка модели BLIP Скриншот из Google Colab
Создание подписей к исходным изображениям Скриншот из Google Colab
Третий шаг: загружаю ускорение обучения модели и подключаю Hugging Face для ее сохранения
Загрузка ускорения и подключение Hugging Face Скриншот из Google Colab
И наконец, четвертый шаг: обучение модели по исходным изображениям
Обучение модели Скриншот из Google Colab
Пятый шаг: сохранение модели на Hugging Face
Сохранение модели на Hugging Face Скриншот из Google Colab
И финальный шаг: генерация изображений
Генерация изображений Скриншот из Google Colab
Вывод
В рамках данного проекта была успешно реализована концепция создания визуальных материалов для настольной игры в стиле анимационного сериала «Рик и Морти», сочетающая элементы научной фантастики и абсурда, характерные для мультфильма, с механиками и визуальной эстетикой настольных игр, таких как Dungeons & Dragons (D& D).
Основной задачей было создание уникальных фонов и объектов, которые бы гармонично сочетались с миром Рика и Морти, но при этом встраивались в контекст классических элементов настольных игр. В результате был разработан ряд изображений, которые могут быть использованы как игровые элементы в таком контексте.
Кадр из мультфильма «Рик и Морти»
