Гарри Поттер | Дообучение генеративной модели
Идея проекта:
Я фанат серии романов Джоан Роулинг «Гарри Поттер», а ещё я люблю рисовать. Поэтому, как ни хотелось проект вовсе не делать, всё же сделать его нужно. Совместив неизбежное с приятным, я решила для итогового проекта по любимому курсу нейросетей обучить нейронку на фрагментах моих артов, и попросить её нарисовать кадры из мира ГП
примеры артов из датасета
примеры артов из датасета
примеры артов из датасета
Мне стало интересно, насколько близким по стилю к моему получится результат обучения нейронки, учитывая то, что в моём датасете очень мало картинок для полноценного обучения. Ничего, пусть корявые арты успокоят мою душу, и я засну без мыслей о том, что нас всех заменят.
Результирующая серия изображений:
В итоге, после обучения модели у меня получилось нагенерить 13 изображений по Гарри Поттеру.
Семья Уизли (близнецы + Рон)
Во время обучения модели я использовала формат изображения 512 на 512 пикселей, количество шагов обучения 500, чекпоинт на 250.
Игра в квиддич и хижина Хагрида
Для меня стало открытием, что у нейросети удалось передать даже мелкий шум на изображениях, который я часто добавляю сверху своих артов. Хотя, вообще-то, шум часто накладывают поверх, чтобы нейросети не могли учиться на артах. Видимо уже не помогает.
Особенно хорошо нейронка справилась с растительностью
Дамблдор
Кстати нейросеть отлично передаёт тёплую палитру моего стиля, и контрастность цветов. Добби получился чисто добрячком мультяшным
Дементор и тот, чьё имя нельзя называть
Но вот с картинками более мрачными сетка подкачала. Видимо датасета, в котором все мои арты яркие и контрастные, не хватило нейронке, поэтому на запросы чего-то тусклого и мрачного она делает всё ещё узнаваемые и даже ± симпатичные, но всё-таки мыльные и местами недостоверные.
Северус Снейп
Между собой изображения нейронки достаточно похожи, из явных отличий были только различия в пропорциях людей. Где-то они более мультяшные, где-то близкие к реалистичным. В остальном, цветовая палитра и всякие детали прям очень схожи
Сторонний ГенИИ в проекте не использовался, кроме самого Stable Diffusion для обучения и генерирования картинок
