Оцифровка сознания нишевого художника

У каждого опытного художника есть свой узнаваемый стиль: характерные линии, инструменты, упрощения действительности, которые он разработал, замечая то, что далёкому от визуального искусства человеку не увидеть. Мне захотелось проверить, сможет ли нейросеть перенять стиль моего друга и создавать новые рисунки, которые выглядели бы так, будто их нарисовал он в своём скетчбуке.

Для эксперимента я отсканировала около 50 страниц его скетчбука, который он носит везде и всюду. Среди них были наброски архитектуры, людей и предметов, которые окружали его каждый день. Описав то, что находится на каждой из этих фотографий, я обучила собственную модель.

В основе проекта лежит идея цифрового продолжения творчества художника. Я использовала сканы оригинальных рисунков для дообучения модели, а затем проверяла, насколько хорошо она воспроизводит характерные черты авторского стиля на новых сюжетах.

Ниже — примеры промптов для генерации изображений после обучения модели.

Для проекта я использовала Stable Diffusion XL с DreamBooth и LoRA. Сначала я оцифровала рисунки друга, подготовила датасет и обучила LoRA-адаптер, чтобы модель научилась воспроизводить особенности его художественного стиля. В первую попытку обучение проводилось по сгенерированным капчами BLIP, но для более точного обучения я переписала некоторые капчи вручную.

После обучения я генерировала изображения по коротким описаниям сюжетов. Мне было интересно проверить, сможет ли нейросеть перенести знакомую манеру рисования на новые объекты, сцены и персонажей.

В результате получился инструмент для совместного творчества: художник создаёт оригинальные рисунки, а нейросеть использует усвоенные визуальные особенности, чтобы предлагать новые идеи. Это не замена автору, а эксперимент с тем, как его стиль может продолжаться за пределами исходных работ.