Morris AI. Обучение генеративной модели
Меня завораживают орнаменты и паттерн, созданные Уильямом Моррисом, его стиль и движения «Искусства и Ремесла» остаются вечно актуальными символами витальности, природы и сложного ручного труда. Безусловно подобные орнаменты прекрасно смотрятся в интерьере и упаковке, однако создание новых паттернов в подобном стиле вручную требует колоссальных временных затрат. А современный дизайн (обои, текстиль, упаковка) нуждается в быстрой и вариативной адаптации классической эстетики. Поэтому я решила обучить нейросеть создавать паттерны вдохновленные работами Уильяма Морриса
Цель — обучить нейросеть генерировать функциональные и уникальные паттерны, развивающие стилистику работ Уильяма Морриса, на мой взгляд это возможность упростить работу многих дизайнеров, а упаковку сделать куда более интересной и запоминающейся. Важно также сказать, что все работы Уильяма Морриса находятся в общественном достоянии
Для удобства просмотра все промпты находятся в слайдерах с генерациями или мокапами
Часть 1: Обучение нейросети
Первым делом проверяем GPU, я решила работать в Google collab, а не в Kaggle, так как он мне привычнее. После подгружаем все библиотеки и скрипты, за ними обозначаем директорию, я дала ей название «Morris» и загрузила 30 работ автора и проверила их отображение. Все работы загружены в формате 1:1, 512px, для более быстрого обучения.
Далее была загружена модель BLIP, для генерации подписей к картинкам, после к ним был присвоено значение «MORART» — характеризующее стиль Уильяма Морриса. После этого, начался процесс обучения. Я выбрала 500 шагов для быстрого обучение, в сумме оно заняло около часа.
Когда процесс обучения был закончен, я сохранила модель в hugging Face Hub. Здесь обнаружилась проблема — неправильный путь к модели LoRA. Чтобы ее решить, сначала я посмотрела все файлы в репозитории Hugging Face, чтобы понять в чем ошибка, после увидела, что обучение модели сохранилось в папку ornamentmorris_style_LoRA, далее я загрузила нужные файлы из этой папки в репозиторий и повторно перезагрузила ячейку, которая изначально выдала ошибку. Загрузка прошла успешно и можно было приступать к написанию промптов.
Часть 2: Работа с промптами
Чтобы посмотреть, как модель научилась работать в отучаемом стиле, я попросила сгенерировать пару изображений описав в промпте работы Морриса, чтобы дстичь результата похожего на уже существующие работы.
1 фото — работа Морриса, 2 — генерация на основе моего объяснения
Модель прекрасно научилась повторять растительные мотивы и точно воспроизводить вариации цветков, по форме и пластике схожие с работами Морриса: немного рваный край лепестка и графичное элегантное основание. Еще мне кажется важно, как нейросеть научилась соотносить размеры мелких элементов и крупных: как и на работах Морриса, эти две сущности (маленькие листочки и большие цветки) создают два будто отдельных паттерна, которые прекрасно переплетаются друг с другом
Работа Уильяма Морриса
Промпты для этих генераций получились объемными, так как я старалась как можно точнее повторить композицию. Интересно, что нейросети сложно работать с симметричными изображениями, вернее — воспроизводить их. Спустя несколько вариаций и генераций добиться симметрии так и не удалось, но настроение и форма цветка, как мне кажется, считываются очень точно
Для начала я решила разработать паттерны для упаковки диффузоров для дома с различными ароматами. Были выбраны три запаха: лимон и жасмин, хлопок и ваниль, дуб и инжир — они и стали элементами орнаментов. В результате получились прекрасные природные паттерны
Я попросила нейросеть Gemini создать коробки с паттернами и пояснила, что это будут коробки для ароматических диффузоров. Нейросеть придумала забавную конструкцию с рожками-палочками и выдумала четвертый аромат
первые пробы сделать паттерны для постельного белья
После этого я приступила создавать паттерны для текстиля, а конкретнее — для постельного белья. Здесь, в отличие от предыдущей задачи, стояла цель сделать паттерн наиболее однородным, но все еще интересным и затейливым. Мне не нужны были выделяющиеся по массе объекты: фрукты, цветы, птицы и т. д. Скорее, паттерн для постельного белья напоминает однотонный узор. Чтобы поэкспериментировать с результатом, я попробовала изменить «силу» стиля обученной нейросети и сменила его, добавив строчку в код: cross_attention_kwargs={"scale»: 0.5}
И, финально, мне захотелось разработать паттерны для интерьера. Их специфика — крупность изображаемых элементов, чтобы они хорошо просматривались с расстояния и не раздражали глаз
Анализ результатов:
Как мне кажется, модель прекрасно справилась с обучением и созданием паттернов по подобию работ Уильяма Морриса. Особенно ценно, что нейросеть усвоила не просто формальные признаки, но и сам дух эстетики — ее природную витальность и сложность ручного труда. Как я упоминала ранее, мне нравится, как нейросеть поняла формы Морриса и начала повторять их: нашла правильный баланс между рваной линией, графикой и пятном, благодаря чему с одной стороны все работы получились серийными и с прослеживающимся лейтмотивом, а с другой — разнообразными и вариативными, так как соотношение стилей, которыми оперировал Моррис, нейросеть смогла правильно компилировать.
На практическом уровне модель доказала свою эффективность для различных задач дизайна. Для упаковки ароматических диффузоров были созданы тематические паттерны с элементами, соответствующими запахам (лимон, жасмин, дуб, инжир). В текстильном направлении удалось адаптировать стиль для постельного белья, используя параметр scale 0.5 для создания более сдержанных однородных композиций. Для интерьера модель генерировала крупномасштабные паттерны с хорошей читаемостью на расстоянии.
Единственный сложный и неудавшийся мне момент — работа с симметрией и бесшовностью; видимо, это требует дополнительного обучения, потому что пока ни один паттерн не стыковался идеально, но многие были почти полностью схожи. Мне понравилось работать над данным проектом, особенно анализировать схожие и различные черты у работ нейросети и Морриса; думаю, при должной доработке эта модель и вправду могла бы служить качественным помощником для дизайнеров.
