CRYSTAL FOOD. Обучение генеративной нейросети.
ОПИСАНИЕ ИДЕИ
«CRYSTAL FOOD» — это серия визуальных работ, посвящённая еде, которая выходит за рамки привычного восприятия и превращается в объект искусства.
В центре внимания — еда, представленная в изысканной, почти ювелирной форме. Каждое блюдо в серии украшено элементами, напоминающими драгоценные камни, кристаллы и блеск, что создаёт ощущение роскоши и утончённости.
ИСХОДНЫЕ ИЗОБРАЖЕНИЯ ДЛЯ ОБУЧЕНИЯ МОДЕЛИ
фото из Pinterest для Dataset.
Проект исследует современную культуру потребления, где еда становится не просто питанием, но и объектом эстетического наслаждения.
ИТОГОВАЯ СЕРИЯ
prompt = «photo in CRISTAL style, cake»
prompt = «photo in CRISTAL style, blue cake» prompt = «photo in CRISTAL style, Easter cupcake»
prompt = «photo in CRISTAL style, ice cream» prompt = «photo in CRISTAL style, Cinnabon» prompt = «photo in CRISTAL style, macarons»
prompt = «photo in CRISTAL style, one pink donut»
prompt = «photo in CRISTAL style, CROISSANT»
prompt = «photo in CRISTAL style, luxurious spaghetti dish, golden pasta strands…»
prompt = «photo in CRISTAL style, one slice of pizza, colored large crystals»
prompt = «photo in CRISTAL style, luxurious, hyper-realistic hamburger......»
prompt = «photo in CRISTAL style, a colored mushroom with many crystals on it»
prompt = «photo in CRISTAL style, a jeweled strawberry covered in sparkling pink crystals…»
prompt = «photo in CRISTAL style, white banana covered with sparkling gold crystals…»
АНАЛИЗ
В ходе эксперимента по генерации изображений с использованием нейронной сети я столкнулась с рядом трудностей, которые существенно осложнили процесс получения желаемого результата.
Изображение, созданное нейросетью с помощью простых промтов.
prompt = «photo in CRISTAL style, white pear, golden crystals»
Пытаясь создать изображения различных объектов в стиле CRISTAL, я заметила, что простые промты типа:
«photo in CRISTAL style, banana, golden crystals» «photo in CRISTAL style, white banana» «photo in CRISTAL style, white pear, golden crystals» «photo in CRISTAL style, strawberry, red crystals».
Не всегда давали стабильный и удовлетворительный результат. Порой приходилось многократно перезапускать генерацию, чтобы получить приемлемую картинку, и даже после нескольких попыток добиться нужного качества изображения удавалось далеко не всегда.
Изображение, созданное нейросетью с помощью простых промтов. Проблема в применении стиля на фруктах.
Особенно ярко проблема проявлялась при работе с более сложными объектами и продуктами. Например, попытки создать изображения бургера, пиццы или пончика.
У меня сложилось впечатление, что трудности могли быть связаны с исходной сложностью и детализацией самих объектов, особенно если речь шла о продуктах, уже имеющих какие-либо мелкие детали вроде посыпки или неоднородной текстуры.
Изображение, созданное нейросетью. Трудности с генерацией украшений вместо обычной посыпки. Иногда появлялись лишние подписи на фото.
Для решения этой проблемы приходилось использовать значительно более детализированные и точные промты, явно описывая желаемый результат. Ведь при генерации изображений конкретных предметов нейросеть требует очень подробного и четкого описания, в противном случае результат может оказаться непредсказуемым или не соответствовать ожиданиям. Однако, стоит отметить, что такая необходимость точного описания промтов характерна в целом для работы с искусственным интеллектом.
В качестве примера: «photo in CRISTAL style, a jeweled strawberry covered in sparkling pink crystals, macro shot, on pink silk, glamorous lighting, bling effect, intricate details, soft background»
Если сравнивать исходные изображения с результатами генерации, я вполне довольна работой нейросети, несмотря на некоторые недочеты.
1. Исходное фото. 2. Изображение, созданное нейросетью.
1. Исходное фото. 2. Изображение, созданное нейросетью.
1. Исходное фото. 2. Изображение, созданное нейросетью.
Иногда обученная модель перебарщивала с деталями или косячила в самом предмете.
prompt = «photo in CRISTAL style, ice cream»
Несмотря на то, что данный объект был представлен в исходниках в качестве примера (см. фото), в процессе работы с ним возникли проблемы, такие как искажения надписей, появление лишних предметов и другие недочеты.
prompt = «photo in CRISTAL style, white tin can of coca cola with many crystals on it»
На мой взгляд, эти несколько картинок являются самыми удачными. В целом, как и сам эксперимент попробовать поработать с другим объектом кроме еды.
prompt = «photo in CRISTAL style, white tin can of coca cola with many crystals on it»
В целом, подводя итоги, могу сказать, что: в большинстве работ мне действительно удалось ухватить нужный стиль и, что самое главное, довольно гармонично поженить два совершенно разных мира — мир еды и мир драгоценных камней. Во многих иллюстрациях получилось даже поймать и передать то неуловимое ощущение — атмосферу, настроение, все те мелкие детали, которые делают сцену живой. И всё же, если быть до конца честным с собой, есть одно «но»: слишком часто еда на картинках остаётся всего лишь декоративным объектом. Взять ту же пиццу: иногда вместо аппетитной, румяной корочки теста у меня получался просто плоский, сырой блин с набором красивых украшений сверху — то есть, по сути, лишь имитация блюда. Или, скажем, бургер — казалось бы, все компоненты на месте, всё блестит и переливается, но вот главного нет: нет того самого чувства, что это — настоящая еда, которая только что приготовленная еда и так и просится в руки. Вот этой вот «живости», этой самой «съедобности» многим моим блюдам, к сожалению, остро не хватает.
ПРИМЕНЕНИЕ ГЕНЕРАТИВНОЙ МОДЕЛИ: ПРОЦЕСС ОБУЧЕНИЯ
Подготовка датасета. Скачивание библиотек в Google Colab.
Загружаем исходники изображений и после смотрим их превью.
Загружаем модель BLIP, после добавим идентификатор токена и освободим место.
Загружаем ускорения и подключаем Hugging Face.
Самая большая и важная часть. Обучаем модель и сохраняем ее для дальнейшей работы.
И теперь можно приступить к написанию промтов и генерации изображений.
