Идея проекта
Квинт Бухгольц — немецкий художник и иллюстратор, чьи работы выделяются благодаря использованию техники пуантилизма и мотивов магического реализма. Этот стиль живописи зародился в конце XIX века и характеризуется нанесением крошечных цветных точек, которые, сливаясь в глазах зрителя, создают сложные и детализированные изображения. Термин «пуантилизм» происходит от французского слова «pointillisme», что означает «точка».
Моя цель заключалась в создании уникальной нейросетевой модели на основе Stable Diffusion, способной создавать иллюстрации в стиле известного художника. Для этого я собрал 95 художественных произведений Бухгольца и использовал метод Dreambooth LoRA, чтобы обучить модель на основе этого визуального материала.
В процессе реализации данного проекта я оперировал следующим руководством.
Сбор данных и формирование датасета
Чтобы обучить нейросеть, необходимо тщательно подготовить набор изображений. Я собрал 95 произведений автора, чтобы модель смогла уловить его стиль.
Перед началом обучения изображения были подготовлены в несколько этапов:
— Все изображения были обрезаны с помощью программы на Python до соотношения сторон 1:1, чтобы соответствовать требованиям модели.
— Из набора данных были исключены кадры с искажениями или некачественной прорисовкой, что позволило улучшить его качество.
Подготовка среды и загрузка изображений
Для обучения я применял метод Dreambooth с адаптацией LoRA. Этот метод позволяет эффективно обучать модель с меньшим объёмом видеопамяти.
Первым шагом я загрузил необходимые инструменты в Google Colab. Затем программа автоматически загрузила изображения из указанной папки и подготовила их для обучения.
Hugging Face
Чтобы иметь возможность работать с моделями и наборами данных на платформе Hugging Face, я воспользовался функцией notebook_login(). Эта функция позволила мне войти в систему Hugging Face Hub с помощью сгенерированного API-ключа. Благодаря этому я получил доступ ко всем необходимым ресурсам для обучения.
Процесс обучения модели
Использование Dreambooth LoRA для обучения на кастомном стиле:
Здесь модель обучается на изображениях из папки /content/Photos, с использованием базовой модели Stable Diffusion XL.
Этот процесс запускает дообучение модели для генерации изображений в стиле Квинта Бухгольца. Сначала загружается базовая модель с необходимыми ресурсами, а затем она обучается на наборе примеров картинок с описаниями, чтобы научиться создавать новые изображения в этом уникальном стиле.
Работа с моделью
Этот код служит для публикации обученной модели на платформе Hugging Face. Сначала он определяет имя пользователя, используя токен, а затем создает уникальное название для репозитория, в котором будут храниться результаты обучения.
Результаты генерации
После обучения нейросеть продемонстрировала удивительную способность создавать изображения, вдохновленные стилем Квинта Бухгольца. Вот несколько примеров:
Prompt = «A small man in a coat stands on top of a giant stack of books in the middle of a deserted beach, with a single balloon floating above him — in Quint Buchholz style»
Prompt = «A cat sits on a rooftop staring at the night sky, where instead of stars there are small glowing lamps like in a room — in Quint Buchholz style»
Prompt = «A chair stands in the middle of a lake, with a seagull perched on its backrest; in the distance, a silhouette of a city veiled in fog — in Quint Buchholz style»
В процессе генерации изображений нейросеть с успехом воспроизвела ключевые элементы стиля, основываясь на визуальных особенностях, заложенных в обучающих данных. Иллюстрации получились в духе Квинта Бухгольца, с техникой пуантилизма и мотивами магического реализма, что полностью соответствует эстетике оригинального автора.
Окружение передано с высокой точностью — освещение, цветовые решения и детализация напоминают оригинальные примеры, использованные для обучения.
Prompt = «Across an endless snowy plain, a person walks holding an umbrella, above them floats a giant open sail shaped like an umbrella — in Quint Buchholz style»
Prompt = «A tree with clocks instead of leaves stands by a road that leads to nowhere, with a huge moon in the background like a stage prop — in Quint Buchholz style»
Prompt = «A giant cup of tea sits on the seashore, with a tiny boat sailing inside it; on the shore, a person holding a book watches quietly — in Quint Buchholz style»
