Обучение генеративной нейросети Stable Diffusion под депрессивный стиль

Цель проекта — исследовать, как нейросети могут изучать, интерпретировать и создавать произведения искусства в депрессивном стиле, отражая тем самым настроения и внутренние переживания современного общества. Проект подчеркнет синергию технологий и искусства, способствуя лучшему пониманию эмоционального аспекта данной культуры.

Я постарался создать серию уникальных работ, созданных ИИ, которые отражают ключевые черты депрессивного искусства. Постараюсь исследовать, как взаимодействие с этим искусством влияет на настроение и эмоциональное состояние зрителей.

Этот проект не только расширит границы понимания депрессивного искусства и его роли в современном обществе, но и предложит новые способы взаимодействия с искусственным интеллектом в творческой сфере.

Список использованных в проекте инструментов:

— Stable Diffusion — обучение генеративной нейросети под свой стиль; — Kaggle — выполнение кода и генераций; — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; — Adobe Photoshop — для коллажирования готовых работ.

Я решил использовать изображения, подчеркивающие депрессивность повседневной реальности и данного искусства: доминирующие тёмные и серые оттенки, преимущественно чёрный стиль одежды у персонажей, ночная атмосфера, тёмный лес, городская обстановка и многое другое.

Также стоит упомянуть использование вымышленных персонажей из мультфильмов, аниме, манги, и сериалов. Они не только отражают стиль, но и служат вдохновением для создания изображений, характерных для этой культуры.

Перед началом работы мне требовалось установить всё необходимое: Diffusers, DreamBooth, пройти регистрацию в Hugging Face и Kaggle, а также почистить готовый код.

Следующим шагом стала загрузка основной структуры кода в Kaggle, откуда уже и производилась дальнейшая работа.

Следующим шагом стала загрузка исходных изображений и определение репозитория, к которому будет обращаться нейросеть для генерации изображений.

После этого с помощью системы BLIP я убедился, что нейросеть действительно понимает, что изображено на картинках, и следует написанному предложению, на которое она будет опираться.

Далее я связал нейросеть с системой Hugging Face и ввёл в неё токен, чтобы сохранить всю информацию.

Наконец, я приступил к тренировке. Чтобы сократить время, я выбрал разрешение 512 и установил максимальное количество шагов тренировки на 500, а контрольную точку — на 250. Эти действия позволили уменьшить время тренировки до 30-40 минут, вместо ожидания нескольких часов.

Когда нейросеть завершила работу, можно было загрузить результат на Hugging Face и посмотреть готовое изображение.

Используя стандартный промпт из лекции, удалось добиться внушительных результатов с самого начала. Однако нейросеть не учла некоторых моментов, например, она не добавила человека, хотя это было указано. Тем не менее, она передала общую стилистику и часть промпта.

Стоит учитывать, что это была только половина первого этапа обучения - всего 250 шагов. Завершив обучение, нейросеть улучшила заявленный промпт и хорошо передела общую стилистику: доминирующие оттенки чёрного и серого, депрессивную атмосферу, лес, но забыла указать человека, как главную фигуру.

Дальнейшие генерации показывали всё более лучший результат и это показывало, что обучение проходит успешно. За все итерации не было замечено нарушение стиля и каких-либо артефактов.