Дообучение Stable Diffusion для создания портретов в стиле Disco Elysium
Концепция
В рамках курса «Создание инфраструктуры креативного производства инструментами ИИ» я занимался дообучением генеративной модели Stable Diffusion для создания изображений в стилистике портретов персонажей Disco Elysium.
Текущий политико-экономический ландшафт все чаще вызывает воспоминания о прохождении мной данной игры. Разнообрезие мнений, социальных статусов и характеров ее каста колоритных персонажей великолепно отражено в гениальных портретных артах.
Мне захотелось взглянуть на то, как современные лидеры мнений и попросту знаменитые фигуры смотрелись бы в таком стиле. Найдет ли неиросеть связь между человеком и тем, как он изображен.
Датасет
С сайта русскоязычной вики по Disco Elysium я скачал файлы портретов всех персонажей.
После чего я привел изображения к соотношению сторон 1:1 для формирования датасета для дообучения модели.
Я принял решения не обрезать изображения, а растянуть их, так как исходное соотношение сторон было довольно близким к требуемому, а также, с целью сохранить максимум деталей фона.
Тем не менее, некоторые итоговые изображения имеют характерный «растянутый» вид.
Также для всех изображений были созданны аннотации при помощи BLIP.
Итоговый датасет содержит 95 изображений.
Результаты
Я использовал модель для создания портретов знаменитых личностей и персонажей, выбор многих из которых, как мне кажется, продиктован тематикой и идеологической окраской оригинальной игры.
Джеффри Безос и Марк Цукерберг
Получились очень убедительные страшные люди.
Неиросеть хорошо показываает себя на исторических фигурах, чьи внешности ей хорошо знакомы.
Стараясь сохранять актуальность работы для сегодняшнего дня я сгенерировал представленную ниже серию изображений.
Портреты лиц, находящихся у власти в США.
Эти две получились особенно хорошо.
Для разнообразия и успокоения души я сгенерировал несколько портретов людей, к которым я отношусь нейтрально.
Принцесса Диана и Дэвид Боуи
Снова Боуи и Елизавета Вторая
Дэниел Рэдклифф и Анджелина Джоли
Анализ
Конечно, портреты персонажей Disco Elysium гораздо разнообразнее в колористике, стилях и художественных приемах, чем сгенерированные изображения, однако, многие результаты приятно удивляют.
Так, например, работа с фоном на портретах Дэвида Боуи очень удивила и порадовала.
Портреты «сильных мира сего» тоже, как по мне, получились очень хорошо. Искаженные, вплавляющиеся в задний фон лица хорошо передают удаленность от привычной нам реальности и моральных норм.
Материалы
Ссылка на доску в гугл-коллаб: https://colab.research.google.com/drive/1RUxgdJIMHj4PQXdtpBPaLddRaRVtudU4?usp=sharing
Описание применения генеративной модели
В проекте я дообучал и применял для генерации изображений модель Stable Diffusion XL (SDXL) с DreamBooth и LoRA, ссылка на получившуюся, за-файн-тюненную модель: https://huggingface.co/Keca1576/discoelysium_style_LoRA
