Целью проекта было обучить нейросеть создавать иллюстрации в определенной стилистике. Для этого я выбрала сериал Arcane (2021-2024) созданный французской студией Fortiche по мотивам игры League of Legends.
Для качественного обучения модели я вручную собрала датасет из 80 кадров из сериала в разрешении 1800 на 1800 пикселей. Использовались кадры как первого, так и второго сезона. Чтобы выборка была максимально разнообразной я отобрала в нее и темные мрачные пейзажи, и close-up портреты и кадры из динамичных боевых сцен.
Несколько портретов из моей выборки
Хоть Аркейн и создан технологиями 3D сериала, помимо колоритных персонажей его отличительной чертой являются фоны выглядящие как нарисованные в 2D картинки, их я тоже добавила в выборку.
Пример интерьеров и экстерьеров вошедших в обучение модели
В выборке не обошлось без динамичных сцен — в которых авторы намеренно добавляли поверх 2D эффекты, в надежде, что модель сможет воспроизводить подобное — я их добавила в датасет.
Примеры динамичных сцен с эффектами
Я разобралась как загрузить свои изображения прямо в Colab, а в исходном коде из лекции я везде заменила cher на Arcane, поменяла промт на «artwork in Arcane style», настройки обучения модели я оставила как в видео.
Код моего проекта
Результаты генераций обученной модели
Сначала я решила повторить генерацию из видео с промтом про Нью-Йорк, использовала промты «artwork in Arcane style, times square, new york» и «artwork in Arcane style, new york times square» соответсвенно.
Изображения созданные моделью
Интерьер и пейзаж получились удачные, модель смогла уловить стиль «мазков» кисти и необходимую яркость и сочность изобрежений.
Интерьер «artwork in Arcane style, an artist’s room with lots of brushes, paints, very bright» и Пейзаж «artwork in Arcane style, beautifull sunny forest»
На успешную генерацию портретов, которые были бы похожи по стилю и выглядели симпатично ушло много попыток, на удивление самыми успешными стали немногословные и четкие промты «artwork in Arcane style, angry short hair man» и «artwork in Arcane style, angry short hair woman».
Портреты
Напоследок я решила попросить помощи у ChatGPT, я попросила его составить промты для генерации сюжетных изображений в духе сериала. Двумя самыми удачными на мой взгляд оказались: 1) «artwork in Arcane style, A tense confrontation between two figures in a dimly lit warehouse, scattered crates and pipes filling the space, the air thick with anticipation, the scene illuminated by flickering gas lamps, capturing a gritty and dangerous atmosphere.» 2) «artwork in Arcane style, A chase scene through the narrow, winding streets of a lower district, figures silhouetted against the neon-lit alleys, the sound of gears grinding and explosions echoing through the night, capturing the frenetic energy and danger of the pursuit.»
Генерации по предложениям от ChatGPT
Выводы
В файле с кодом, можно будет обнаружить значительно больше генераций — как успешных, так и не очень, одним из ключевых выводов, которые я могу сделать после работы с данным проектом, что итоговый результат крайне сильно зависит от промта. Также создалось впечатление, что будет изображение удачным или нет, во многом зависит еще и от удачи. Все-таки на данный момент, модель совершенно не способна заменить огромную команду профессиональных художников и идеально воспроизводить стиль сериала. Она лишь отдалено воспроизводит некоторые элементы, не обладая нужным познанием в области искусства, чтобы знать где и какой прием применять.
Ссылка на блокнот и описание использованных нейросетей
Использованные нейросети: Stabble Diffusion — в рамках задания по обучению модели ChatGPT — помощь в генерации промтов
Использование нейросетей подразумевалось и являлось частью самого задания.
