Исходный размер 768x1024

Обучение генеративной нейросети Stable Diffusion под стиль vewn

Идея проекта

Для обучения нейросети StableDiffusion я решила взять арты и скриншоты из видео аниматорки и художницы под псевдонимом vewn. Ее работы отличаются специфичной манерой рисования персонажей, искаженной перспективой пространства, обилием ярких цветов и детализацией. Мне было интересно, насколько хорошо нейросеть сможет воспроизвести все эти приемы, в особенности искажение перспективы.

Изображения

Арты для датасета были взяты со страницы художницы в tumblr, скриншоты из анимационных роликов — из Pinterest. Присутствуют изображения с разной степенью насыщенности деталями, изображения как с персонажами, так и только окружающей среды.

https://drive.google.com/drive/folders/1OTUqwyBlWTGnNcqZbyVY993XoZWay0R3?usp=drive_link

Использованные инструменты

  1. Stable Diffusion
  2. Google Colab
  3. Hugging Face
  4. ChatGPT 4 (генерация промптов)

Подготовка датасета

Подготовительный этап перед самим обучением по датасету состоял из:

  1. Загрузки необходимых библиотек;
  2. Загрузки изображений и проверки их читаемости;
  3. Генерации подписей для изображений;
  4. Введения токена Hugging Face.
big
Исходный размер 1678x983

Установка библиотек

Исходный размер 1672x569

Загрузка изображений (44 штуки)

Исходный размер 2054x1123

Проверка читаемости файлов изображений

Исходный размер 1996x852

Создание подписей для изображений…

Исходный размер 2152x1193

…и сами итоговые подписи. Визуальное наполнение артов было определено корректно.

Обучение нейросети

Далее был сгенерирован токен Hugging Face и произведен вход в систему с его помощью, после чего можно было приступать к самому обучению. Для ускорения процесса я сократила разрешение изображений до 512 пикселей, выставила максимальный шаг на 500, чекпоинт — на 250. С такими параметрами обучение по 44 изображениям заняло примерно 45 минут.

Исходный размер 2476x1200

Первая итерация

Для генерации изображений в качестве промптов я сначала использовала ранее созданные подписи к артам из датасета.

Сгенерированное изображение и арт художницы; промпт: art in VEWN style, a cartoon character sleeping on a bed

Сгенерированное изображение и арт художницы; промпт: art in VEWN style, a cartoon of a woman in a messy kitchen

Сгенерированное изображение и арт художницы; промпт: art in VEWN style, a cartoon of a city with buildings and a red sky

Первоначальные генерации оказались неудовлетворительными как по содержанию изображения, так и по цветам. Было принято решение попробовать исправить ситуацию за счет коррекции самого датасета: я убрала изображения с чрезмерным количеством мелких объектов в окружении (поскольку нейросеть интерпретировала эту отличительную черту слишком буквально), а также изображения, слишком выбивающиеся из типичной цветовой гаммы vewn. По итогу в новом датасете осталось 25 изображений, и я заново запустила процесс обучения.

Вторая итерация

Сгенерированное изображение и арт художницы; промпт: art in VEWN style, a cartoon character is walking through a narrow alley

Сгенерированное изображение и арт художницы; промпт: art in VEWN style, a woman sitting at a desk with a computer

Сгенерированное изображение и арт художницы; промпт: art in VEWN style, a cartoon character sleeping on a bed

Сгенерированное изображение и арт художницы; промпт: art in VEWN style, a cartoon of a woman in a messy kitchen

Новые генерации получились получше: изображения больше не состояли из нечитаемого нагромождения фрагментов объектов, цвета перестали быть «мыльными», хотя доминирующим цветом стал розовый. Нейросеть хорошо смогла уловить такие нюансы стиля художницы, как небрежный лайн-арт и искаженная перспектива. К сожалению, на многих изображениях все еще присутствуют излишние детали, нагромождающие пространство, а также наблюдается проблема с человеческими лицами.

Обучение генеративной нейросети Stable Diffusion под стиль vewn
Проект создан 10.04.2025
art.mediiia
Арт-рынок меняется, и мы в этом участвуем: думаем, спорим, пробуем новые форматы. Мы не верим в искусственный дефицит — мы верим в тираж и в то, что хорошее искусство должно быть доступным. art.mediiia — институция нового типа, пространство, в котором соединены медиа об искусстве, конкурсы, цифровые резиденции и фиджитал-ярмарка современного искусства и дизайна. Здесь встречаются художники, критики, искусствоведы, галереи, бре... Показать больше
лучшие материалы
искусство
об искусстве
художники
издание art
После яркости
69
После яркости
В красной комнате Матисса
BEST ART
май
2026
62
В красной комнате Матисса
Врубель. Гений на грани реальности
79
Врубель. Гений на грани реальности
Однажды Ван Гог... Постмодернизм о постимперссионизме
139
Однажды Ван Гог… Постмодернизм о постимперссионизме
«DАФЕC Типографика»: есть такая буква!
BEST DESIGN
апрель
2026
57
«DАФЕC Типографика»: есть такая буква!
Рынок как пространство вопросов
7
Рынок как пространство вопросов
Манифест выставки «Мы выбираем — нас выбирают»
1 сентября в галерее Школы дизайна открылась выставка «Мы выбираем — нас выбирают». Галерея совместно с платформой art.mediiia запускает исследование о том, как цифровые среды меняют производство, обращение, владение и публичную жизнь искусства. Манифест выставки и...
 Утонуть в облаках по-французски
4
Утонуть в облаках по-французски
В Париже, в ротонде Торговой биржи, принадлежащей фонду Франсуа Пино, расположилась фантастическая «туманная скуль...
Современное искусство как игольное ушко. Метод Пепперштейна
3
Современное искусство как игольное ушко. Метод Пепперштейна
Павел Пепперштейн вырос в кругу московского концептуализма. Мама поэт, папа иллюстратор, буквально с детства его окружали Илья Каба...
Показать еще
Мы используем файлы cookies для улучшения работы сайта и большего удобства его использования. Более подробную информац...
Показать больше