Обучение генеративной нейросети под стиль Михаила Врубеля

Основная тема проекта — обучение генеративной модели Stable Diffusion с LoRA-тюнингом для достижения генерации изображений, стилистически соответствующих живописным работам Михаила Врубеля. Задача состоит в том, чтобы нейросеть учла особенности цветовой палитры, композиции, изображения людей и природы, атмосферу работ и даже то, как художник наносил мазки.

Мною был собран датасет из различных работ художника, включающих не только его самые известные произведения и сюжеты, но и те, которые помогают выделить особенность его полотен. Поскольку живопись Врубеля во многом отличается от работ других художников именно настроением и атмосферой было важно, чтобы это было учтено.

Сначала мы подключаем видеокарту, для чего используем Google Collab, а не свой компьютер, что ускоряет обучение нейросети. А также устанавливаем и скачиваем библиотеки.

Затем создается папка, и загружаются файлы оригинальных картин Врубеля с компьютера.

Далее подключаем библиотеки и строим сетку, на каждую ячейку которой мы ставим изображение — делаем коллаж.

Затем на основании имеющейся модели будет происходить процесс обучения.

Также в приведенном ниже блоке мы описываем исходные изображения. Для этого используется модель image to text, чтобы не описывать каждое изображение вручную и ускорить процесс. Модель описала достаточно конкретно, но возможно не так красочно и подробно, как мог бы человек. Однако меня устроил полученный результат.

Далее происходит логин на Hugging Face. Делается своя директория и туда загружается результат работы.

Следующий блок запускает процесс обучения.

Затем происходит генерация картинки по описанию с учетом обученной модели.

В итоге полученные изображения можно условно разделить на три раздела — работы, где изображены демоны, пейзажи и портреты.

Получившаяся модель хорошо генерирует изображения, связанные с демонами, и поскольку у Врубеля это отдельная серия работ, здесь они тоже образуют свою категорию.

В приведенной работе достаточно точно стилистически передан фон и то, как изображен сам демон, который своими чертами напоминает оригинальную скульптуру демона, выполненную самим Врубелем.

promt: demon with shadowy wings in mid-flight against a bright, stormy sky, his wings spread wide, with lightning striking in the background / horned demon with leathery wings kneeling in a field of white flowers under a bright, full moon, creating stark contrast

Интересно рассмотреть различные пейзажи в стиле Врубеля, поскольку хорошо видно как нейросеть переносит стиль мазков художника и показывает даже непривычные для Врубеля сюжеты, в которых он все равно узнается.