Разрушение как акт создания. Обучение нейросети Stable Diffusion
Концепция
В проекте мне хотелось поразмышлять на тему разрушения как акта создания. Многие современные художники изучая рамки искусства обращаются к деструкции, как к методу выражения и трансформации. Я следую этому пути, рассматривая разбитые и разрушенные текстуры, как основу для визуального языка.
В проекте я обучила нейросеть эстетике разрушения — изучению форм трещин, надломов, деформаций и их последующей интерпретации в цельных композициях. Модель Stable Diffusion обучалась на изображениях разбитого стекла, мятого металла, рваной ткани, треснувшего дерева, пластика и т. д.
Цель — сформировать визуальный язык, в котором следы повреждения превращаются в элементы формы.
Исходные изображения
Для обучения была собрана папка со стоковыми изображениями различных поврежденных объектов (рваная бумага, потрескавшаяся керамика, разбитое стекло, рваная ткань и т. д.)
Список использованных инструментов:
— Stable Diffusion XL — обучение генеративной нейросети для изучения и воспроизведения эстетики разрушения; — LoRA — дообучение базовой модели под специфический визуальный стиль — Google Colab — выполнение кода — Adobe Photoshop — коллажирование изображений, обработка обложки
Процесс обучения
Сначала потребовалось загрузить все необходимые для работы библиотеки: diffusers, transformers и т. д. Они отвечают за обучение и генерацию изображений, а также за оптимизацию ресурсов при использовании видеокарты.
Далее нужно было подготовить датасет. Изображения должны быть квадратными, хорошего качества и с чётко различимыми признаками разрушения — трещинами, разломами, деформациями.
Их необходимо загрузить и проверить корректность отображения
Чтобы проверить, что нейросеть верно распознает фотографии к каждой из них были созданы подписи
Затем необходимо войти в систему Hugging Face, чтобы получить доступ к базовой модели Stable Diffusion и возможности сохранения результатов.
После этого были заданы основные параметры обучения — разрешение, чекпоинты и т. д.
После обучения модель была сохранена и использована для генерации изображений на основе текстовых запросов.
Генерация изображений
prompt = «minimalist vase made of broken glass pieces perfectly reassembled, sharp reflections, elegant symmetry, photorealistic»
С первого же запроса мне понравился результат. Текстура действительно превратилась в форму объекта, это вполне отражало концепцию
Я решила сгенерировать изображения как конкретных предметов на подобии выставочных экспонатов, так абстрактных «картин» с различными текстурами, чтобы отразить замысел разрушения, как акта создания в искусстве.
prompt = «chair designed from torn metal and cracked surfaces, balanced composition, modern design aesthetic, realistic lighting»
prompt = «ceramic bowl assembled from cracked fragments, visible seams, smooth lighting, calm atmosphere»
prompt = «architecture made from fractured glass walls, harmonic symmetry, morning light, calm tone»
prompt = «fabric installation composed of torn textile pieces stitched together, art exhibition light, soft shadows»
Мне стало любопытно создать не просто объект-инсталляцию, а целое пространство, как это могло бы выглядеть в галерее при экспозиции выставки с подобными генерациям объектами.
prompt = «elegant jewelry piece formed from shattered materials, metallic fragments, reflective surface, luxury composition
prompt = «wall relief sculpture combining broken wood and rusted metal, warm light, tactile textures»
Я решила совместить две текстуры в одной композиции и посмотреть что из этого выйдет. Я ожидала, что получится изображение двух отдельных текстур на одном фото, но нейросеть «слила» их в одну. Мне показалось это даже более интересным, поэтому я решила оставить это изображение.
prompt = «table made from cracked marble slabs held by golden seams, minimalist design, aesthetic imperfection»
Мне стало интересно посмотреть что нейросеть выдаст если прописать в промпте «минималистичный дизайн». Мне не понравился результат, поскольку ориентируясь на минимализм, как на «минимум деталей» нейросеть начала соединять раздробленность хаоса и разрушения в цельный объект.
В дальнейшем я решила избегать подобных запросов.
prompt = «abstract composition symbolizing controlled chaos, shards floating in perfect order, light and shadow harmony»
prompt = «abstract sculpture built from fragments of shattered mirror, poetic balance between chaos and order, museum lighting»
Благодаря обилию различных примеров все сгенерированные текстуры вышли реалистично и могут отобразить концепцию проекта.
Итого обученная мной нейросеть может: — имитировать текстуры — превращать текстуры в форму — превращать текстуры, как в абстрактные изображения так и в предметы / инсталляции — совмещать текстуры накладывать их друг на друга — органично помещать «поломку» в контекст искусства и дизайна
