Обучение генеративной нейросети стилю мультсериала Гравити Фолз
Концепция
Идея проекта заключается в обучении LoRA-адаптера для Stable Diffusion, способного воспроизводить уникальный визуальный стиль культового мультсериала «Гравити Фолз» (2012–2016). Основная цель — создать инструмент для генерации изображений, сохраняющих характерные черты анимационной эстетики сериала: баланс между мультяшной стилизацией, атмосферой таинственности и элементами сверхъестественного.
«Гравити Фолз» — анимационный сериал, созданный Алексом Хиршем для Disney Channel. Действие разворачивается в вымышленном городке Орегона, где близнецы Диппер и Мэйбл Пайнс сталкиваются с паранормальными явлениями. Проект фокусируется на генерации новых сцен, персонажей и артефактов, сохраняющих дух оригинального мультсериала. Обученная модель позволит создавать изображения, которые визуально интегрируются в мир Гравити Фолз, воспроизводя его уникальный баланс между детской непосредственностью и мистической атмосферой.
Отличительные черты стиля
Визуальный стиль сериала отличается узнаваемым дизайном персонажей с акцентом на выразительную мимику и динамичные позы, детализированными фонами, сочетающими реалистичные текстуры леса и стилизованную архитектуру, цветовой палитрой с преобладанием насыщенных земляных тонов и контрастных акцентов, скрытыми символами и визуальными пасхалками в духе сериала
Исходные изображения
Был собран и обработан для обучения датасет из 26 качественных скриншотов мультсериала «Гравити Фолз», включающий разнообразные сюжетные сцены: интерьеры домов и магазинов, лесные пейзажи, персонажей в различных эмоциональных состояниях и характерные для сериала мистические элементы.
Обучение
Генерация
Результаты
Интерьеры
Спальня деревенского дома: A whimsical wooden bedroom with a slanted ceiling, patchwork quilt on the bed, hand-drawn posters and glowing fairy lights, small attic window casting golden rays, gravity falls style, cartoon with surreal charm, soft cozy lighting, magical childhood atmosphere, detailed wood grain textures, mysterious shadows in corners, personal trinkets and collectibles, hidden journal pages, warm color palette with hints of mystery, nostalgic summer evening ambiance, animated cartoon style.
Магазин в деревне: A cozy rural grocery store interior filled with wooden shelves, jars of mysterious goods, and glowing lanterns, pinecone decorations hanging from the ceiling, gravity falls style, cartoon realism, rich warm colors, vintage mystery vibe, rustic textures, storytelling environment, cinematic lighting, detailed woodwork, quirky merchandise, hidden symbols, supernatural elements subtly integrated, nostalgic atmosphere, animated cartoon style.
Мастерская волшебника: A cluttered alchemist laboratory inside hollow tree trunk, bubbling potions in glass beakers, spell books floating mid-air, gravity falls style, magical workspace chaos, mystical purple and green lighting, animated cartoon with detailed apparatus, ancient brewing equipment and cauldrons, supernatural ingredients in labeled jars, detailed wooden workbench and tools, magical experimentation chamber, enchanted potion brewery, mystical research facility.
Пейзажи
Лес с туманом: A mysterious pine forest covered in thick fog, tall trees with twisting branches, strange glowing eyes peeking through the mist, surreal colors, gravity falls style, cinematic mystery, magical realism, eerie but enchanting mood, storybook illustration quality, detailed bark textures, hidden creatures, upernatural elements, dramatic lighting with beams through trees, vibrant yet mysterious color palette, animated cartoon style with depth, otherworldly atmosphere.
Пирс рыбака: An old cartoon fisherman with fishing hat and vest, sitting on wooden pier with fishing rod, peaceful lake reflecting sunset, gravity falls style, 2d animated cartoon style, golden hour lighting, cartoon character design with proper proportions, relaxed cartoon expression, detailed pier and lake setting, animated series quality, tranquil fishing scene, nature appreciation theme, cartoon illustration, outdoor recreation.
Архитектура (дома)
Сторожевая башня в лесу: A tall wooden watchtower emerging from dense pine forest canopy, spiral staircase winding around the outside, observation deck with telescope, gravity falls style, mysterious woodland setting, dappled sunlight filtering through trees, animated cartoon with detailed architecture, weathered wooden planks and metal fixtures, hidden forest creatures watching from shadows, supernatural elements subtly integrated, adventure atmosphere, rustic wilderness construction, magical forest guardhouse, cinematic composition with depth.
Домик в лесу (создавалось как тестовое изображение для тестирование разной интенсивности стиля): A cozy cabin in the woods, gravity falls style
Деревенская улица: A quiet village street lined with crooked wooden cabins, whimsical details like floating mailboxes and gnome statues, sunset light casting long shadows, gravity falls style, quirky cartoon charm, soft autumn tones, nostalgic rural surrealism, detailed architectural elements, hidden mysteries in plain sight, animated cartoon style with rich textures, vibrant yet cohesive color palette, magical small-town atmosphere, cinematic composition, mysterious but welcoming environment.
Персонажи
Персонажи выходили не очень хорошо. После использования типичного негативного промпта (bad anatomy, bad hands, missing fingers, extra fingers, three hands, three legs, bad arms, missing legs, missing arms, poorly drawn face, bad face, fused face, cloned face, ugly fingers, disconnected limbs, mutated hands, mutated limbs, deformed, disfigured, extra limbs, malformed limbs, fused fingers, too many fingers, long neck, worst quality, low quality, normal quality, blurry, out of frame, jpeg artifacts, watermark, signature, text, logo, banner, duplicate, morbid, mutilated, gross proportions, bad proportions, cropped, lowres, error, sketch, ugly, monochrome, horror, mutation, disgusting) стало лучше, но требуется дообучить модель для качественной генерации лиц персонажей без деффектов.
Использование ИИ
Для создания изображений был использован подход дообучения модели Stable Diffusion с применением метода LoRA. Результатом стала модель gravity_falls_style_LoRA, с помощью которой была сгенерирована итоговая серия.
В проекте также использовались следующие ИИ: Perplexity AI для решения проблем совместимости библиотек, доработки кода и оптимизации параметров обучения LoRA модели, улучшения и генерации промптов. Gemini прямо в Collab для исправления синтаксических ошибок и решения технических проблем
Ссылка на файл с кодом https://disk.360.yandex.ru/d/-zCEP3nO4Xxn8w
