Обучение генеративной нейросети под стиль персонажей игры Animal Crossing
ИДЕЯ ПРОЕКТА
Animal Crossing — одна из наиболее популярных игр в мире, разработанная студией Nintendo Switch. Игра имеет характерные, свойственные только ей, дизайны персонажей, и мне стало интересно, сможет ли нейросеть повторить стилистику персонажей игры.
Всего в базу данных было отобрано 32 изображения персонажа, которые были загружены в директорию.
ОБУЧЕНИЕ МОДЕЛИ
Сперва подключаем Google Drive, чтобы извлечь оттуда датасет с картинками.
Далее выделяем собранные картинки и конвертируем их под нужный размер 1:1. У меня это 256×256 пикселей. Выводим первые 5 картинок для примера. К изображениям добавлялись описывающие их подписи, но у меня это просто названия файлов с моего диска.
Самый важный и долгий этап — это обучение модели. Сначала мы подключаемся к видеокарте (GPU), чтобы всё работало быстрее. Обработка всех изображений заняла около часа.
Перед этим загружается модель BLIP, которая делает подписи к картинкам. Если она не справляется, просто пишем, что на изображении персонаж из Animal Crossing. Все подписи потом выводятся, и в начале каждой добавляется фраза «в стиле», чтобы задать нужное настроение.
Когда всё готово, модель сохраняется в папку, а ненужные данные удаляются, чтобы освободить память.
Далее мы проверяем, что наша модель работает и загружаем её на Hugging Face. И теперь мы можем приступать к написанию промптов.
ПРОБНЫЕ ИЗОБРАЖЕНИЯ
С первыми изображениями нейросеть справилась не очень, однако дальше дело пошло лучше.
Промпты:
1. cute cat with a red bow 2. cheerful dog wearing a yellow hat
ФИНАЛЬНЫЕ ИЗОБРАЖЕНИЯ
Хотелось создать максимально милых и живых персонажей, поэтому я просила своих друзей и знакомых описать их как персонажей игры.
1. shy rabbit holding a flower 2. friendly squirrel with glasses
1. blue cat with glasses and a grin 2. a red panda in a blue striped shirt
1. ballerina pig 2. a mouse in a blue office suit 3. cow with curly hair in stylish outfit 4. a cat in a puffy dress, a big hat and carrying an umbrella
1. a kind horse with cute clothes 2. a wolf with a stern face in a black T-shirt
1. frog in a red Hawaiian shirt and blue glasses 2. a frog in a gray coat
Всего вышло 12 персонажей, каждый из который представляет собой антропоморфную версию моих друзей и знакомых в стиле Animal Crossing
ВЫВОД
Нейросеть справляется с генерацией персонажей в стиле Animal Crossing, однако допускает множество ошибок в генерации эмоций и одежды. В игре у персонажей более яркая и выраженная мимика, чем у изображений, созданных нейросетью.
Возможно, стоит добавить в датасет больше различных эмоций персонажей и вариантов одежды
