Обучение генеративной нейросети под обложки книжной серии Магистраль
Идея проекта
«Читать красиво. Думать модно» — главный посыл книжной серии «Магистраль. Главный тренд» издательства Эксмо.
В серию выходят самые актуальные произведения из русской и зарубежной классики, современной культовой литературы, поэзии, а также фантастика, эксклюзивы издательства и редкие, давно не переиздававшиеся произведения мировой литературы.
Особенность книг серии — тактильно приятные обложки с тиснением и компактный, но надежный формат покета с клапанами, благодаря которому книги удобно брать с собой. Каждая обложка — это маленькое произведение искусства, в ней скрыты намеки на сюжет произведения.
Мне захотелось обучить генеративную нейросеть Stable Diffusion для генерации иллюстраций, которые впоследствии могут стать обложками для данной серии, основываясь на существующем визуальном стиле.
Главная цель проекта — посмотреть, насколько похоже сумеет нейросеть попасть в стиль существующих изданий.
Подготовительный этап
Была собрана папка из квадратных изображений, которые являются иллюстрациями с реальных обложек. В их оформлении используется всего три цвета, а сам дизайн минималистичен.
Список использованных в проекте инструментов:
— Stable Diffusion — обучение генеративной нейросети под свой стиль; — Google Colab — выполнение кода и генераций; — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт;
Описание процесса обучения
Я начала с установки всех необходимых библиотек для работы. Запустила команды для установки bitsandbytes, transformers, accelerate, peft
и последней версии diffusers из репозитория GitHub. Также загрузила тренировочный скрипт train_dreambooth_lora_sdxl.py от Hugging Face.
Создала папку magistral в Google Colab, которая стала моим основным хранилищем для исходных изображений. Проверила доступность GPU через nvidia-smi, чтобы убедиться в достаточных ресурсах для обучения.
Перешла в созданную папку и загрузила в нее 55 отобранных и кадрированный в необходимом разрешении (512*512 px) изображений через файловый менеджер Colab. Столкнулась с небольшой проблемой — изображения не отображались при первом запуске, но быстро решила это, проверив пути к файлам и убедившись, что папка создана правильно.
После загрузки изображений нужно было создать файл с описаниями.
Я создала учетную запись на Hugging Face, чтобы получить доступ к моделям Stable Diffusion XL и иметь возможность сохранять результаты обучения. Настроила токен для аутентификации.
Запустила процесс обучения, указав в параметрах:
Путь к данным — мои изображения из папки magistral и триггер-слово — уникальный идентификатор для активации обученного стиля (illustration in MAGISTRAL style). После я выбрала количество шагов (было выбрано 500 шагов для качественного обучения) и настроила сохранение чекпоинтов (промежуточное сохранение результатов на 250 шагах)
После успешного обучения загрузила модель на GPU и начала тестирование. Использовала промпты с моим триггер-словом, чтобы активировать обученный стиль и генерировать новые изображения в желаемой эстетике.
Я решила сгенерировать иллюстрации для обложек самых узнаваемых русских произведений: Евгений Онегин, Анна Каренина, Война и мир, Муму, Братья Карамазовы, Преступление и наказание, Мастер и Маргарита, Тихий дон, Алые паруса, Отцы и дети, Герой нашего времени и Вишневый сад
1 promt: illustration in MAGISTRAL style, Satan’s Ball, Bulgakov’s novel The Master and Margarita, contrasting colors, dark style
1.2 promt: illustration in MAGISTRAL style, Satan’s Ball, the novel The Master and Margarita by Bulgakov, dark, contrasting colors, skeletons dancing at the ball, a beautiful non-skeleton girl in a robe and crown with long curly hair in the middle of the frame
Начала я с Мастера и Маргариты. Изначально я предполагала, что мне не нужно будет подробное описание визуала, так как указание автора и книги даст нейросети необходимую информацию.
Но после первой генерации я поняла, что нейросеть все-таки слабо понимает мой запрос и сводит картинку к некой абстракции, хотя характер линий, стиль иллюстраций с исходных обложек и цветовую гамму он улавливает.
Поэтому я расписала промт более подробно и еще через пару итераций получила результат, который меня устроил.
Мастер и Маргарита
2 promt: illustration in MAGISTRAL style, Dostoevsky’s Crime and Punishment, a labyrinth of streets and houses, a slit in the window, a man in a top hat with his back to the viewer, holding an axe, looking at the labyrinth of streets, a gray-blue color and a poisonous yellow
Преступление и наказание
3 promt: illustration in MAGISTRAL style, Eugene Onegin, the men are standing in a winter forest, far away from each other, aiming a gun at the other, a duel
Евгений Онегин
4 promt: illustration in MAGISTRAL style, Anna Karenina, railway tracks, winter forest and a female silhouette standing on the tracks in the center of the frame, light purple and light green
У этой иллюстрации было достаточно много итераций, почему-то нейросеть долгое время не попадала в стиль, делая его слишком реалистичным, но в итоге мы пришли к приемлемому результату.
Анна Каренина
5 promt: illustration in MAGISTRAL style, a frog is sitting on a carrot-orange color scheme
А здесь нейросеть поняла меня буквально с 1 раза, и промт получился кажется самым коротким
Отцы и дети
6 promt: illustration in MAGISTRAL style, Roman War and Peace, a large, spreading oak tree stands near the road
Где-то я писала цвета, а где-то забывала, но нейросеть выдавала приятные цветовые сочетания, видимо ссылаясь на что-то уже существующие. Все цвета были приятными и подходили под настроение иллюстрации.
Война и мир
7 promt: illustration in MAGISTRAL style, still-life, Three church candles of different heights are burning with melted wax, the walls of the monastery are visible in the background, winter, dark blue-gray colors
Братья Карамазовы
8 promt: illustration in MAGISTRAL style, Quiet Don, Cossack sabers stuck in the ground against the backdrop of a river, with the sun rising above it, and crimson and yellow colors
Тихий Дон
9 promt: illustration in MAGISTRAL style, cherry orchard by Anton Pavlovich Chekhov, a small cozy house surrounded by many cherry trees, white and pink flowers
Вишневый сад
10 promt: illustration in MAGISTRAL style, a man in an officer’s uniform stands on a high cliff
Герой нашего времени
11 promt: scarlet sails, a surface of water, blue-gray and red colors, a ship with spread sails visible on the horizon
Алые паруса
12 promt: Mumu, a big man with a small dog, is sitting in a boat in the middle of a river.
Муму
Итоги
По моему мнению нейросеть хорошо обучилась стилистике. Она хорошо передала специфику графики, в неком роде похожей на гравюру, цвета. Очень угадывается настроение и временная эпоха, думаю, все-таки, упоминание автора и названия произведения на это повлияли.
При прослушивании курса и в работе над проектом я еще раз убедилась, что ИИ — умный карандаш: инструмент, помогающий направить креатора в нужном направлении, натолкнуть на какой-то образ или помочь сократить время на определенную задачу.
Мои генерации — это черновики, которые помогают отсечь лишнее и найти верное направление, прежде чем браться за чистовик.
