Обучение генеративной модели на основе портфолио фигурок
Концепция
Проект направлен на создание нейросетевой модели, способной генерировать изображения кастомных фигурок животных в моем авторском стиле. Основой для обучения служит база изображений из личного портфолио, что позволит алгоритму воспроизводить характерные черты стиля: цветовые, композиционные решения и общую эстетику.
Разработка такого инструмента позволит расширить мои творческие возможности и добавит вариации для будущих работ. Такую нейросеть можно назвать цифровым соавтором, который вдохновляет и ускоряет творческий процесс.
Результирующая серия изображений
Серия «животные»
В этой серии исследуется адаптация стиля на различных животных: от привычных до более экзотических видов. Каждое изображение сохраняет ключевые черты авторского стиля — ручную роспись, оттенки и декоративные элементы. Из-за преобладания кошек/собак в обучающих данных модель часто унифицирует животных, они могут приобретать черты, не характерные для животного из промпта.
Серия «фрукты и ягоды»
Здесь стиль перенесен на неожиданные объекты — фрукты и ягоды, превращенные в «персонажей». Акцент сделан на нестандартную анималистичную стилизацию (например, клубника с «кошачьими» чертами). Серия проверяет гибкость стиля за пределами животной тематики.
Этапы обучения нейросети
1. Установка необходимых библиотек, загрузка скрипта для обучения LoRA
2. Подготовка данных (загрузка 149 изображений с разрешением 512 на 512)
3. Создание промптов для каждого изображения с помощью BLIP
4. Обучение LoRA (адаптация SDXL под мой стиль)
5. Выгрузка модели на Hugging Face
6. Генерация изображений
Нейросеть DeepSeek была использована для написания кода, который уже после обучения модели и загрузки на Hugging face позволяет использовать ее и сразу генерировать изображения.
Заключение
Сгенерированные изображения успешно передают узнаваемые черты исходного стиля: ручная роспись, имитация мазков, неравномерные текстуры, акценты на глазах, фактурах. Цветовая палитра также соответствует исходным работам. Из недостатков: в некоторых случаях возникают нежелательные элементы: лишние конечности, неестественные изгибы тела, «смазанные» текстуры, однако в целом модель успешно справляется и может быть полезна в дальнейшем для создания новых авторских фигурок.
