Описание проекта
Основная тема проекта — обучение генеративной модели Stable Diffusion с LoRA-тюнингом для достижения генерации изображений, стилистически соответствующих живописным работам Михаила Врубеля. Задача состоит в том, чтобы нейросеть учла особенности цветовой палитры, композиции, изображения людей и природы, атмосферу работ и даже то, как художник наносил мазки.
Мною был собран датасет из различных работ художника, включающих не только его самые известные произведения и сюжеты, но и те, которые помогают выделить особенность его полотен. Поскольку живопись Врубеля во многом отличается от работ других художников именно настроением и атмосферой было важно, чтобы это было учтено.
Исходные изображения для обучения
Описание процесса обучения
Сначала мы подключаем видеокарту, для чего используем Google Collab, а не свой компьютер, что ускоряет обучение нейросети. А также устанавливаем и скачиваем библиотеки.
Затем создается папка, и загружаются файлы оригинальных картин Врубеля с компьютера.
Далее подключаем библиотеки и строим сетку, на каждую ячейку которой мы ставим изображение — делаем коллаж.
Затем на основании имеющейся модели будет происходить процесс обучения.
Также в приведенном ниже блоке мы описываем исходные изображения. Для этого используется модель image to text, чтобы не описывать каждое изображение вручную и ускорить процесс. Модель описала достаточно конкретно, но возможно не так красочно и подробно, как мог бы человек. Однако меня устроил полученный результат.
Далее происходит логин на Hugging Face. Делается своя директория и туда загружается результат работы.
Следующий блок запускает процесс обучения.
Затем происходит генерация картинки по описанию с учетом обученной модели.
Результирующая серия изображений
В итоге полученные изображения можно условно разделить на три раздела — работы, где изображены демоны, пейзажи и портреты.
Получившаяся модель хорошо генерирует изображения, связанные с демонами, и поскольку у Врубеля это отдельная серия работ, здесь они тоже образуют свою категорию.
promt: winged demon with shadowy form perched on ancient ruins at dawn, with the first rays of sun creating a golden halo effect
В приведенной работе достаточно точно стилистически передан фон и то, как изображен сам демон, который своими чертами напоминает оригинальную скульптуру демона, выполненную самим Врубелем.
promt: demon with shadowy wings in mid-flight against a bright, stormy sky, his wings spread wide, with lightning striking in the background / horned demon with leathery wings kneeling in a field of white flowers under a bright, full moon, creating stark contrast
Интересно рассмотреть различные пейзажи в стиле Врубеля, поскольку хорошо видно как нейросеть переносит стиль мазков художника и показывает даже непривычные для Врубеля сюжеты, в которых он все равно узнается.
