Концепция
На данный момент я работаю над коммерческим проектом и разрабатываю метафорические карты. Заказчик обратился ко мне с запросом разработать дизайн карт, вдохновлённый эстетикой Ар-нуво, так как этот стиль богат символами и метафорами, его воздушность, орнаменты и разнообразие декоративных форм идеально подходят для создания атмосферы, способствующей глубокому самоанализу. Поэтому я решила обучить генеративную модель под этот стиль, чтобы создать серию изображений в данной эстетике для своего проекта.
Создание датасета
Пример изображений для обучения модели под стиль Ар-нуво
Датасет состоит из 40 изображений. Изображения отбирались по принципу характерных черт стиля. Я старалась сохранить общую стилистику, чтобы нейросети было проще проходить обучение и результат также выглядел консистентным.
Процесс обучения
Для обучения модели я использовала среду Google Colab, Stable Diffusion XL, DreamBooth и LoRA. С помощью DreamBooth я добавила стиль с названием Art Nouveau.
На подготовительном этапе была проведена проверка GPU, а также установлены необходимые для обучения модели библиотеки и скрипты.
Далее я создала директорий для хранения изображений, которые затем были выгружены на платформу.
Для обучения были использованы изображения в формате 1:1, максимальное количество шагов — 500 с чекпоинтом в 250 шагов, разрешение — 512.
Всего обучение заняло около 40 минут. После этого я приступила к генерации изображений.
Результат
Я сгенерировала три серии изображений: с предметами, с животными и с персонажами.
Промпты: — an old book next to which lie pomegranates and flowers pastel colors floral ornaments on background by Art Nouveau style — a lock without a key with flowers sticking out of the keyhole pastel colors floral ornaments on background by Art Nouveau style — antique mysterious gothic style castle at night in fog against the backdrop of stars, there are harmonious combination of intricate patterns, elegant lines pastel colors pictures by Art Nouveau style
Нейросеть попыталась воспроизвести изображения в стиле Ар-нуво. Получились очень нежные, воздушные иллюстрации, можно увидеть характерные элементы этого стиля: орнаменты, завитки и цветочные мотивы.
Промпты: — lonely swan on a lake with a four-pointed star and a moon in the background pastel cold colors pictures by Art Nouveau style — a snake against the background of a round flower arch in the corners of the painting four large peony buds soft cold blue colors picture by Art Nouveau style — red fox with a voluminous fluffy tail with curls and harmonious combination of intricate patterns, elegant lines pastel colors pictures by Art Nouveau style — a red mysterious sinister dragon that guards the treasure chest pastel colors pictures by Art Nouveau style
Промпты: — miniature bird in flower garden with round arch a background with large peony buds in the corners of the painting picture by Art Nouveau style — horse with wings against the background of a round flower arch in the corners of the painting four large peony buds soft cold blue colors picture by Art Nouveau style — a dark crow with an antique scroll in its beak pastel colors pictures by Art Nouveau style
Серия с животными получилась ещё лучше — здесь можно увидеть больше характерных элементов стиля, добавились арки, узоры стали более крупными и чёткими, а объекты стали более детализированными.
Промпты: — young woman against a round arch background with large peony buds in the corners of the painting picture by Art Nouveau style — a wise old man in a robe with a lantern and a cane picture by Art Nouveau style — couple of young lovers in a floral round arch background with large rose buds in the corners of the picture warm pleasant colors picture by Art Nouveau style
Лучше всего получилась серия с персонажами, так как в датасете для обучения большую часть составляли изображения с людьми. Но на мой взгляд, в предыдущих сериях нейросеть также со своей задачей справилась.
К сожалению, на некоторых изображениях с людьми нейросети не удалось верно отобразить кисти рук.
