Anastasia Primachenkocurated byNadezhda Markalova

Original size 2351x3300

Развитие и применение технологий AI в области CGI и VFX

This project is a student project at the School of Design or a research project at the School of Design. This project is not commercial and serves educational purposes

«Мы не в силах это остановить!»

— режиссёр Гарет Эдвардс об искусственном интеллекте¹.

Концепция

Человеческое желание расширить свою временную перспективу, сохранив интерес к настоящему и заглянув в будущее, неизбежно приводит в движение механизмы прогресса. Технологии, которые неумолимо развиваются, ни секунду не стоят на месте и непрерывно совершенствуются, всегда были ключевым винтиком этой «эволюционной машины». Одним из важнейших этапов неустанного движения человечества стало внедрение алгоритмов искусственного интеллекта (ИИ) в разные сферы человеческой жизни. Выдающиеся достижения в области ИИ вывели эту технологию в область когнитивных процессов, которая традиционно была прерогативой людей². Принципиально революционные нейросетевые и генеративные инструменты апробируются в новых отраслях, в частности, на поприще креативных индустрий: музыки, искусства и кино.

¹ The Creator Director Gareth Edwards On Intensive Worldbuilding & Unique Robots / [Электронный ресурс] // Screen Rant: [сайт]. — URL: https://clck.ru/3AjsPS (дата обращения: 10.05.2024) ² Scott A. J., Gratton L. The new long life: a framework for flourishing in a changing world. — Bloomsbury Publishing. — 2021. — С. 15.

Особенно примечательны темпы развития AI в сфере кинопроизводства. Раннее машинное обучение и алгоритмы искусственного интеллекта широко апробировались в вопросах автоматизации рутинных задач на этапе разработки проекта (development) — написания сценария, анализа крупных медиаданных, прогнозирования потенциальных кассовых сборов, — в настоящее время технологии ИИ все чаще имплементируются в более трудоемкие и нетипичные процессы пред- и постпродакшена.

DigiDoug — цифровой персонаж (Digital Human) Дуга Робли, созданный VFX-компанией Digital Domain при помощи машинного обучения с использованием видеокарты NVIDIA RTX и Unreal Engine.

Если первыми шагами в изучении возможностей нового инструмента были почти незначительные попытки Legendary Entertainment в 2005 году исследовать зрительские предпочтения в контексте производства фильмов «Тёмный рыцарь» и «Мальчишник в Вегасе»³, то в последние годы технологии ИИ эволюционировали не только в области машинного обучения и анализа данных (например, система Script Book, прогнозируемая потенциальный кассовый успех фильма на основании выборки из характеристик предполагаемой аудитории⁴), но и в ускорении иных, более сложных задач — монтаж трейлера научно-фантастического фильма «Морган» (компания 20th Century Fox задействовала суперкомпьютер Watson от IBM, оснащенный ИИ⁴) или облачный рендеринг трейлера «Кролика Питера 2»³.

³ Datta A., Goswami R. The film industry leaps into artificial intelligence: Scope and challenges by the filmmakers // Rising Threats in Expert Applications and Solutions. — Springer Singapore, 2021. — С. 665-670. ⁴ Сибилев В. О. Применение искусственного интеллекта в сфере кинематографа при создании фильма // Научный аспект. — 2024. — №. 3. — С. 3498.

Однако и это впечатляет не так сильно, как союз AI и компьютерной графики/визуальных эффектов. Поскольку именно на стыке этих технологий подчас рождаются удивительные открытия, по-настоящему революционные подходы и нетипичные функциональные решения, доселе казавшиеся невозможными.

Поэтому в фокусе моего внимания — специфика алгоритмов искусственного интеллекта в контексте технологий CGI и VFX.

Это именно та область, в которой автоматизация рутинных процессов и повышение общей эффективности разных этапов пред- и постпродакшена сможет сэкономить как несоразмерные временны́е, так и ограниченные финансовые ресурсы киноделов, — а значит, исследование этой темы обладает особой полезностью и исключительной актуальностью.

Так, мною выдвигается гипотеза: междисциплинарный характер и универсальность инструментов искусственного интеллекта позволяет значительно расширить область применения технологии — в том числе до масштабов креативных индустрий. Преимущества, которые обеспечивает ИИ, особенно полезны в кинематографе, так как, предположительно, значительно упрощают, удешевляют и ускоряют создание фильмов на всех этапах производства: от сценария и раскадровки до финального композитинга.

В ходе исследования предлагается порядок рубрикации, определяющий перспективу анализа своеобразия развития AI в области кинопроизводства, в частности, CGI и VFX. Понятие эволюции и сама специфика применения AI последовательно раскрываются благодаря хронологическому изложению и сравнению технологий.

При отборе визуального материала я руководствовалась основной задачей исследования — показать сферу применения ИИ и развитие этой технологии со временем. Поэтому фильмы даны в хронологическом порядке с конкретной привязкой к тому или иному периоду. Кроме того, в целях большей конкретики, я выбрала наиболее любопытные примеры использования ИИ в киноиндустрии и обратилась к опыту трех компаний: Ziva Dynamics, Digital Domain и Pinscreen. Подобный подход дает возможность глубокого и последовательного анализа всех технологических изменений и их влияния на индустрию кинопроизводства в краткосрочной и долгосрочной перспективах.

Текстовые источники, которыми я апеллирую в этой работе, представляют собой эмпирические исследования о феномене искусственного интеллекта (ИИ) (как в «вакууме» — в сфере компьютерных наук, — так и на междисциплинарном «поле» — в контексте цифрового кинематографа). Кроме того, в ходе исследования я обращаюсь к техническим подробностям создания различных визуальных эффектов, которые описаны в соответствующих трудах.

Ziva Dynamics

— компания по разработке ПО Ziva VFX, в основе которого лежит машинное обучение (ML). Специализация Ziva Dynamics заключается в разработке реалистичной анимации и симуляции физики существ, животных и людей.

1-4. Каждая мышца (tet-mesh) крепится к другим мышцам и костям. Затем считается симуляция физики при помощи метода конечных элементов (МКЭ) // The Marvels (2023). VFX-супервайзер: Тара Демарко.

Использование методов машинного («machine learning») и глубокого обучения («deep learning») в создании CG-существ и материалов — относительно новое, но уже многообещающее и перспективное направление. Именно поэтому многие компании интересуются им.

Компания Ziva Dynamics также изучает возможности машинного обучения, особенно в области своей инновационной технологии в real-time, и предлагает программное обеспечение под названием Ziva VFX. Эта технология позволяет интерактивно преобразовывать высококачественные оффлайн симуляции в персонажей, действующих в real-time. Полученная в результате автономного моделирования модель объединяется с репрезентативными данными анимации в процессе машинного обучения, благодаря чему можно быстро приближать анимацию модели к естественной динамике и убедительной физике.

Мег: Монстр глубины | The Meg (2018)

Режиссер: Джон Тёртелтауб Главный супервайзер по визуальным эффектам: Адриан Де Вет

Original size 2048x858

Кадр из вильма «Мег: Монстр глубины» (2018) // Режиссер: Джон Тёртелтауб. VFX-супервайзер: Адриан Де Вет.

По словам Рэнди Гринерга, «Мег должна была быть технологически безупречной с точки зрения персонажей»⁵. Если бы зритель заметил что-то неестественное, это бы сразу повлияло на впечатление от просмотра и на погружение в фильм. «Тогда в игру вступили Intel, Ziva Dynamics и Scanline…» — отметил исполнительный продюсер в контексте целей проекта — создания убедительной и реалистичной картинки.

Для симуляции мышц Scanline использовали Ziva Dynamics: в создании крупномасштабного объекта этот инструмент на тот момент применялся впервые⁶. «Масштаб был одним из сложнейших элементов фильма», — утверждает VFX-супервайзер Адриан Де Вет⁷.

Анатомически корректная костная структура приводила в движение мышечную систему, затем мышцы заставляли двигаться слои фасции, жира и кожи⁶. Все это работало слажено, как единая комплексная структура.

⁵ Ziva Dynamics & Randy Greenberg: The Making of The Meg / [Электронный ресурс] // Vimeo: [сайт]. — URL: https://vimeo.com/362867088 (дата обращения: 13.05.2024). ⁶ Duncan J. Oh, The Shark, Babe // CineFex. — 2018. — № 161. — С. 35. ⁷ Там же, С. 36.

Original size 1920x712

Демонстрация рига акулы, сделанного при помощи Ziva Dynamics/Ziva VFX (2018). VFX-супервайзер: Адриан Де Вет.

VFX-breakdown: наглядная демонстрация симуляции Ziva VFX и финальный шот // «Мег: Монстр глубины» (2018). VFX-супервайзер: Адриан Де Вет.

Original size 3580x478

VFX-breakdown: от симуляции до итогового композа // «Мег: Монстр глубины» (2018). VFX-супервайзер: Адриан Де Вет.

В фильме «Мег: Монстр глубины» искусственный интеллект, а именно ML («machine learning»), использовался для генерации обучающих данных в процессе симуляции анимации гигантской акулы⁸. В этом процессе Scanline полагались на процессоры Intel Xeon Scalable. Кроме того, у команды Scanline изначально была симуляция белой акулы, но маленького, реального размера. Чтобы добиться убедительности симуляции (в том числе поведения симуляции при соприкосновении с симуляцией воды⁸), но уже на крупном масштабе, использовалось машинное обучение для вычисления тех же математических моделей, что и для обычной акулы, но уже для Мегалодона в несколько десятков раз превышающего привычные габариты акул. То также были Intel Power симуляции⁵.

⁸ The Meg Visual Effects Breakdowns / [Электронный ресурс] // VFX TechBlog: [сайт]. — URL: https://vfxtechblog.wordpress.com/2018/08/12/the-meg-visual-effects-breakdowns/ (дата обращения: 14.05.2024). ⁵ Там же, см. выше.

Сравнение примеров, в одном из которых — традиционный риг, в другом — риг от Ziva:

1. Симуляция Ziva Dynamics на примере льва Зика (2018); 2-3. Сравнение традиционного, Non-Ziva рига с симуляцией физики Ziva-рига (2018).

Симуляции Ziva Dynamics, выполненные при помощи алгоритмов искусственного интеллекта, выглядят очень убедительно и привлекательно, что можно наблюдать на примерах выше.

Ощущается и учитывается объем, правильно распределен центр физической массы, присутствует инерция движения, все работает согласно физическим законам, уделено большое внимание деталям — все минимальные сдвиги, движения сообщают мышцам соответствующие сокращения, появляются морщинки, 3D-модель не кажется монолитной — ясно различимы слои: костная масса, мышцы, сосуды, жировая прослойка и, наконец, кожа.

Традиционный риг значительно уступает Ziva-ригу в убедительности правдоподобности и естественности. Движения нереалистичные, почти каменные, скованные. Сама модель кажется пластмассовой. Деформации непостоянны, не гибки — наблюдается систематическая потеря объема («volume loss»), неправильное взаиморасположение плоскостей в отношении друг друга и 3D-пространства во время движения.

Так, передовая технология с использованием AI обладает большим количеством преимуществ, чем традиционные альтернативы, и значительно их превосходит по качеству, времени производства и убедительности финальной картинки.

Лучший друг | PETA Best Friend (2018)

Режиссер: Натали Лэмб Главный супервайзер по визуальным эффектам: Кристиан Зилликен Супервайзер по анимации: Бернд Налбах

Original size 1654x689

Шот с симулированной свинкой из короткометражного фильма «Лучший друг» (2018). VFX-супервайзер: Кристиан Зилликен.

Original size 1910x406

Послойный разбор Ziva Dynamics модели свинки из короткометражного фильма «Лучший друг» (2018). VFX-супервайзер: Кристиан Зилликен.

Короткометражный фильм «Лучший друг», созданный для организации по защите прав животных PETA, также ознаменовал запуск первого элемента в линейке персонажей «эмоциональных существ» компании Mackevision.

Звездой короткого метра стал Лаки (Lucky) — поросенок, — лучший друг маленькой Мары. Он не только обаятелен, но и выполнен качественно и реалистично, благодаря Zive VFX.

Функциональное ядро Ziva VFX — в автономных оффлайн симуляциях физики анимации. Но как тогда машинное обучение работает вместе с Ziva? Симуляции Ziva Dynamics «скармливаются» ИИ⁹, чтобы система знала, как работают корректные и убедительные деформации при симуляциях. Затем ML применяется в устранении возможных багов и недоработок, что можно проделать и вручную, однако у человека это займет в несколько раз больше времени, чем у искусственного интеллекта, а значит, его преимущества и эффективность в производстве превосходит старые и более традиционные методы.

⁹ Breakthrough Theory, AI in Action | AIDC 2018 | Intel AI / [Электронный ресурс] // YouTube: [сайт]. — URL: https://www.youtube.com/watch?v=pSZn__bYA1k&t=1650s (дата обращения: 22.05.2024).

Веном 2 | Venom: Let There Be Carnage (2021)

Режиссер: Энди Серкис Главный супервайзер по визуальным эффектам: Шина Дуггал

1-2. VFX-breakdown: наглядная демонстрация симуляции Ziva VFX и финальный шот // «Веном 2» (2021). VFX-супервайзер: Шина Дуггал.

VFX-breakdown: наглядная демонстрация симуляции Ziva VFX и финальный шот // «Веном 2» (2021). VFX-супервайзер: Шина Дуггал.

Original size 5200x893

VFX-breakdown: от симуляции до итогового композа // «Веном 2» (2021). VFX-супервайзер: Шина Дуггал.

Как и в первой части Венома, для создания симбиота VFX-компания DNEG использовала Zive в комбинации с относительно «традиционным» ригом и собственными наработками по воссозданию мышечной системы¹⁰.

Однако одних только инструментов Zive оказалось недостаточно для «оживления» всего персонажа. Команда по лицевому ригу трудилась над более чем 380 блендшейпами и множеством деформеров¹⁰.

Имплементация ИИ в производственный процесс происходила в том же порядке, как и было указано ранее⁹, за небольшими исключениями, упомянутыми выше.

¹⁰ Graham Ed. Symbiosis // CineFex. — 2019. — № 165. — С. 105. ⁹ Там же, см. выше.

Так, становится ясно, что Zive VFX отлично раскрывается не только в области симуляции физики животных, но и в сложных случаях с участием человекоподобных существ. Это значительно расширяет возможности имплементации революционной технологии в пайплайны по созданию полностью цифровых персонажей-людей. Однако на сегодняшний день нет возможности реализации полной автономности и автоматизации этой технологии, поскольку все еще требуется человеческое вмешательство и контроль процессов.

Подводя итоги анализа инструментов Ziva Dynamics, важно сказать о главном преимуществе технологии: в то время, как анимацию на традиционном риге необходимо править вручную, риг от Ziva Dynamics можно прогнать через несколько итераций — быстро и эффективно внести правки через систему алгоритмов AI. Это значительно упрощает, ускоряет и удешевляет производственный процесс.

Digital Domain

— VFX-компания утилизировала (от англ. «to utilize») инструменты искусственного интеллекта (AI) и машинного обучения (ML) в системе лицевого мокап-трекинга Masquerade3, создании цифровых людей — Digital Humans, — захвате движения (motion capture), в лицевой анимации и симуляции одежды.

Искусственный интеллект, и особенно его «близкий родственник», машинное обучение, используются в арсенале компании Digital Domain уже около пяти лет в таких областях, как анимация и подмена лиц, симуляция одежды и др.

Ханно Бассе (тех. директор компании) убежден в исключительной полезности ИИ, однако и не переоценивает силу алгоритмов, поскольку конечный результат и успех все еще во многом зависят от человеческого фактора: «В целом, машинное обучение оказалось очень полезным для получения более фотореалистичных и точных результатов. Однако на самом деле именно взаимодействие искусственного интеллекта и мастерства наших VFX-художников — которое они приобретали десятилетиями, — во многих случаях позволяет нам создавать убедительные результаты»¹¹.

¹¹ Rapid Evolution At The Intersection Of AI And VFX / [Электронный ресурс] // Digital Domain: [сайт]. — URL: https://digitaldomain.com/news/rapid-evolution-at-the-intersection-of-ai-and-vfx/ (дата обращения: 14.05.2024).

Мстители: Война бесконечности | Avengers: Infinity War (2018) Мстители: Финал | Avengers: Endgame (2019)

Режиссеры: Братья Руссо Главный супервайзер по визуальным эффектам: Дэн ДеЛью

1. Кадр из фильма «Мстители: Война бесконечности» (2018); 2-3. Кадры из «…Финала» (2019); 4-5. Фотографии со съемок «…Войны бесконечности» // VFX-супервайзер: Дэн ДеЛью.

Крупные планы Таноса из фильма «Мстители: Война бесконечности» (2018). VFX-супервайзер: Дэн ДеЛью.

«No Thanos, no movie»¹².

— Дэн ДеЛью, главный VFX-супервайзер на фильмах «Мстители: Война бесконечности» и «Мстители: Финал».

Использование инструментов искусственного интеллекта (AI) и машинного обучения (ML) для автоматизации частей процесса создания VFX использовалось в таких фильмах, как «Мстители: Война бесконечности» и «Мстители: Финал», в которых роль Джоша Бролина была воплощена в персонаже Таносе.

1-2. Риг лица, созданный при помощи Masquerade и Direct Drive; 3. Тернтейбл с деталями костюма Таноса на фоне HDRI // «Мстители: Война бесконечности» (2018). VFX-супервайзер: Дэн ДеЛью.

Перед созданием фильма «Мстители: Война бесконечности» супервайзер по визуальным эффектам Дэн ДеЛью поднял вопрос о драматической составляющей произведения. Поскольку в этом фильме Таносу суждено пережить множество трагических эпизодов, его эмоции, мимика, все микро-движения, запечатлевающие мельчайшие изменения в настроении — все это должно быть безупречно¹². Именно поэтому перед командой встала задача: с максимальной точностью перенести игру актера на цифрового персонажа.

Команда студии визуальных эффектов Digital Domain и Weta Питера Джексона совместно воплотили Таноса в жизнь на экране, и конечным результатом стал впечатляюще детализированный, сложный персонаж, который выстоял — как физически, так и театрально — против объединенной мощи (в основном) живых героев Marvel.

Так, Digital Domain создала новую двухэтапную систему для работы с лицом: Masquerade и Direct Drive. Эти два процесса работают в унисон, создавая анимацию лица существа высочайшего качества на основе живого выступления актера на съемочной площадке.

¹² Duncan J. The Gauntlet // CineFex. — 2018. — № 159. — С. 77.

Masquerade снимает кадры с камеры, установленной на шлеме, и создает изображение лица актера в высоком разрешении. Затем он использует машинное обучение для обработки ранее собранных данных отслеживания в высоком разрешении и превращает 150 точек данных лица, полученных в ходе motion capture, примерно в 40 тыс. точек данных о движении лица в высоком разрешении в 3D. Затем актеры надевают трекинг-костюмы и выступают вживую на съемочной площадке. Во время этого процесса появляется возможность одновременно запечатлеть тело и лицо актера. До появления Masquerade получить данные о лице актера с таким высоким разрешением только по их живому выступлению было невозможно.

Второй процесс в системе — Direct Drive — берет эти данные из Masquerade и передает их 3D-модели — в случае с «Мстителями…», от Джоша Бролина до Таноса — путем создания алгоритма сопоставления между актером и цифровым воплощением. Процесс создания образа включает в себя определение соответствия между актером и персонажем, включая то, как сочетаются различные элементы уникальной анатомии каждого.

Original size 1758x833

Masquerade // «Мстители: Война бесконечности» (2018). VFX-супервайзер: Дэн ДеЛью.

К «…Финалу» Мстителей модель Таноса пришла с небольшими косметическими изменениями и техническими доработками, чтобы процесс продакшена проходил более эффективно. Кроме того, если в «…Войне бесконечности» маркеры на лице актера захватывались более традиционным методом, что во многом было ручным процессом, занимающим от одной до двух недель, то в этот раз у команды был алгоритм машинного обучения, что позволило провести те же действие в течение нескольких часов¹³. Брался видеоматериал с камеры на шлеме актера и прогонялся через систему, которая покадрово увеличивала разрешение картинки. Среди прочих нюансов Танос получил дополнительные анимационные контролы в уголках рта, что добавило реалистичности и глубины мимике.

¹³ Duncan J. Oh, The Heroes’ Journey // CineFex. — 2019. — № 165. — С. 63.

VFX-breakdown: поэтапная иллюстрация всех шагов до итогового композа // «Мстители: Война бесконечности» (2018). VFX-супервайзер: Дэн ДеЛью.

В дальнейшем Digital Domain трудились над второй версией Masquerade 2.0.

В отличие от методов, на разработку которых уходит больше года, Masquerade 2.0 может обеспечить фотореалистичный результат и проделать десятки часов работы за несколько месяцев. Используя машинное обучение, Masquerade был настроен точно фиксировать выразительные детали, вплоть до морщин на лице актера, не ограничивая его движения на съемочной площадке. Помимо учета времени, новая система Masquerade по-прежнему основана на маркерах, но это гораздо более точная система.

Другая важная проблема заключается в том, как команда отслеживает маркеры. В фильме «Мстители: Война бесконечности» команда использовали Masquerade с маркерами-трекерами, но все равно маркеры отслеживались вручную или полуавтоматически. С новым Masquerade 2.0 DIgital Domain действительно подумали о том, как можно получить гораздо более точное представление о лице актера и как можно почти полностью автоматизировать весь процесс.

Original size 1929x839

«Мстители: Финал» (2019). VFX-супервайзер: Дэн ДеЛью.

В Digital Domain есть и умная система машинного обучения AI или GAN (Generative Adversarial Network), которая определяет, что является маркером, а что нет. Например, GAN помогают узнать, что такое маркер и что такое радужная оболочка глаза. Затем с помощью некоторых других умных инструментов искусственного интеллекта, использующих ранее полученные обучающие данные, система помечает эти маркеры и отслеживает их.

Таким образом, передовые технологии, использующие искусственный интеллект и машинное обучение — в частности, Masquerade, — превосходят аналогичные инструменты по качеству, скорости производства и убедительности итогового результата.

Синий Жук | Blue Beetle (2023)

Режиссер: Анхель Мануэль Сото Главный супервайзер по визуальным эффектам: Джей Бартон

Original size 4096x2144

Кадр из фильма «Синий Жук» (2023). VFX-супервайзер: Джей Бартон.

Кадры из фильма «Синий Жук» (2023). VFX-супервайзер: Джей Бартон.

Расширение границ технологий Digital Humans стало стандартной практикой для Digital Domain, а главный герой «Синего Жука» предоставил возможность полностью протестировать систему симуляции одежды, основанную на машинном обучении, и кастомную нейронную систему, известную как ML Cloth¹⁴.

Цель состояла в том, чтобы заставить резиноподобный костюм супергероя складываться и морщиться в соответствии с действиями, выполняемыми Хайме Рейесом (Ксоло Маридуэна). Первоначальные тесты ML Cloth начались с сериала «Женщина Халк: Адвокат» (2022), но для аниматоров система оказалась слишком запутанной, поэтому Digital Domain отказались от большей части рабочего процесса из «Женщины Халка…» и переосмыслили его так, чтобы аниматоры/VFX-художники были центральным элементом функционирования инструмента.

¹⁴ Digital Domain Goes Into Machine Learning Mode For Blue Beetle / [Электронный ресурс] // Digital Domain: [сайт]. — URL: https://digitaldomain.com/news/digital-domain-goes-into-machine-learning-mode-for-blue-beetle/ (дата обращения: 15.05.2024).

Original size 1865x776

Behind-The-Scenes футажи со съемок фильма «Синий Жук» (2023). VFX-супервайзер: Джей Бартон.

Команда Digital Domain провела много тренировочных предварительных упражнений, чтобы попытаться охватить возможный диапазон движений в рамках настроек ткани, которые существовали до этого, уже были установлены и работали исправно. Как только все необходимые этапы подготовки пройдены, система машинного обучения берет новую анимацию, прогоняет ее через настройки и создает симуляцию ткани, характерную для этого конкретного движения, но обученную на исходном материале.

После того, как все эти обучающие данные готовы, аниматоры в процессе анимации могут повторно запустить свою анимацию и увидеть ткань в режиме предварительного просмотра. Однако это не ИИ одежда («AI Cloth»). «Это именно машинное обучение»¹⁴.

¹⁴ См. выше

Original size 1865x776

Шот из фильма фильма «Синий Жук» (2023). VFX-супервайзер: Джей Бартон.

Система лицевого мокап-трекинга Masquerade3

— студия визуальных эффектов Digital Domain представила новую версию своей системы захвата движений лица Masquerade3, которая избавляет актеров от необходимости наносить маркеры на лица во время съемок.

Original size 1080x544

Визуализация того, как, возможно, работает Masquerade3 / «Accelerating Facial Motion Capture with Video-driven Animation Transfer» // Digital Domain.

Original size 3984x1086

На первых двух изображения — Masquerade, использовавшийся в создании Таноса в фильмах «Мстители: Война бесконечности» и «Мстители: Финал»; на следующих двух — Masquerade3 // Digital Domain.

Как и в двух предыдущих версиях Masquerade 1.0 и Masquerade 2.0, в третьей так же утилизируется технология ML и методы GAN. В чем же тогда принципиальные различия?

Возможно, одним из самых значимых преимуществ Masquerade3 является технология съемки без маркеров. Она упрощает производственный процесс, экономит время, обеспечивает повышенную стабильность по сравнению со своим предшественником, сокращая необходимость в ручных итерациях и обеспечивая более надежные результаты. Кроме того, Masquerad 3 снижает трудозатраты на анимацию, VFX и пост-обработку изображений, обеспечивая более эффективный подход к производственному процессу.

Еще нет примеров использования Masquerade3 в контексте реального продакшена фильма, однако тех. директор Ханно Бассе рассказал, что компания делится разработкой с клиентами и в скором времени будут реализованы проекты с применением этой технологии.

Pinscreen

— компания и студия VFX, разрабатывающая передовые технологии на основе достижений генеративного искусственного интеллекта (AI), например, технология AI-липсинка, подмена, деконструкция и омолаживание лица.

Финальным аккордом исследования станет анализ художественных методов и AI-технологий студии Pinscreen, специализирующейся исключительно на инструментах искусственного интеллекта и машинного обучения в контексте разработки VFX. Рассмотрение именно этой компании, во всем полагающейся на AI, особенно важно в контексте сравнения Pinscreen с конкурентами, которые, если и используют ИИ, то комбинируют его с другими технологиями. Пример Pinscreen почти беспрецедентен, поскольку поможет в раскрытии потенциала алгоритмов искусственного интеллекта и возможностей автономности процессов машинного обучения (ML).

В последующем анализе будут рассмотрены три фильма/телесериала — три технологии: AI Lip Sync, AI Face Swap и AI De-Aging.

Берлин | Berlin (2023)

Режиссеры: Давид Баррокаль, Альберт Пинто, Джеффри Каупер Супервайзер по визуальным эффектам от Pinscreen: Хао Ли

Original size 1920x945

Шот из сериала «Берлин» (2023) на оригинальном языке озвучания. VFX-супервайзер: Хао Ли.

Применение AI Lip Sync в английском дубляже сериала «Берлин» (2023). VFX-супервайзер: Хао Ли.

AI Lip Sync

Технология искусственного интеллекта (AI Lip Sync) синхронизирует губы и использует область рта человека на driver video для воспроизведения мимики на исходном видеоматериале. Актерами для driver video и для исходного видео могут быть как одни и те же, так и разные люди, причем достаточно только одной видеозаписи. Никаких дополнительных обучающих данных не требуется, а исходный видеоклип может быть короче секунды. Кроме того, технология может использовать как видео, так и аудио в качестве вводного материала для реконструкции исходника¹⁵.

В сериале «Берлин» в липсинке с английским дубляжом в мимике и движениях рта улавливаются нужные слова, лицевые деформации сохраняют естественность и убедительность. Однако порой испанский оригинал превосходит английскую версию по эмоциональности, отчего в ИИ липсинке иногда возникают диссонансы: озвучка менее эмоциональна, чем мимика и наоборот.

¹⁵ AI VFX Services / [Электронный ресурс] // Pinscreen: [сайт]. — URL: https://www.pinscreen.com/vfx-services (дата обращения: 17.05.2024).

Манифест | Manifest (2023)

Режиссер: Ромео Тироне Супервайзер по визуальным эффектам от Pinscreen: Хао Ли

Original size 1675x942

Замена лица в сериале «Манифест» (2023). VFX-супервайзер: Хао Ли.

AI Face Swap

Процесс «свопа» лица с помощью искусственного интеллекта (AI Face Swap) заключается в замене лица актера в исходном видеоматериале целевым объектом, которым является другой человек. Целевым объектом съемки может быть отдельная фотография или большая коллекция видеороликов, запечатлевающих диапазон его эмоций и характерных выражений¹⁵.

Технология «свопа» практически до неузнаваемости изменило лицо актера, при этом сохраняется естественность, не возникает чувство «зловещей долины».

¹⁵ Там же, см. выше.

Страна снов | Slumberland (2022)

Режиссер: Фрэнсис Лоуренс Супервайзер по визуальным эффектам от Pinscreen: Хао Ли

Original size 1691x797

Деконструкция лица ребенка в сериале «Страна снов» (2022). VFX-супервайзер: Хао Ли.

AI Face Reenactment

В процессе реконструкции лица (AI Face Reenactment) на референсе используется изображение лица целиком, чтобы воспроизвести мимику исходного видеоматериала. Действующими лицами могут быть как разные, так и одни и те же люди. Никаких дополнительных обучающих данных не требуется, а исходный видеоклип может быть меньше секунды¹⁵.

В сериале «Страна снов» на мягком лице ребенка все лицевые деформации, сыгранные достаточно взрослым актером, (на удивление) смотрятся уместно и убедительно. При просмотре не возникает диссонанс, не появляются сомнения в реалистичности происходящего.

¹⁵ Там же, см. выше.

Фоллаут | Fallout (2024)

Режиссер: Джонатан Нолан, Клер Килнер, Фред Туа Супервайзер по визуальным эффектам от Pinscreen: Хао Ли

1-3. Сравнение исходного футажа с версией, обработанной ИИ // «Фоллаут» (2024). VFX-супервайзер: Хао Ли.

AI De-Aging

Технология AI De-Aging заключается в замене лица актера в исходном видеоматериале на лицо его более молодого «я». Целевым лицом может быть одна фотография или большая коллекция видеороликов с желаемым возрастным диапазоном. Также предлагается и возможность старения лица¹⁵.

Парадоксально, что приведенный выше пример из сериала «Фоллаут» датируется не какими-то ранними периодами зарождения VFX, а 2024-м годом, когда технологии «омоложения» и «состаривания» шагнули далеко вперед и выдают результаты намного лучше показанного в сериале. Кажется, как-будто на актера наложен дешевый бьюти-фильтр, несколько по-глупому ретуширующий лицо и сглаживающий морщины. Уши, нос, с возрастом становящиеся все больше, на «омоложенной» версии выглядят абсолютно идентично. Губы, которые, наоборот, с возрастом теряют в объеме, также остались прежними. Итоговое изображение находится на грани между допустимым и мрачным, между немного странным и феноменом «зловещей долины». Так, «омоложенная» версия выглядит неубедительно, значит, AI De-Aging плохо справился со своей задачей.

¹⁵ Там же, см. выше.

Результаты работы компании Pinscreen иногда сравнивают с «deepfake» — видео, где происходит смена лиц, популярные за счёт использования методов глубокого обучения для анимации лица известной личности, заставляя её произносить слова, которых она на самом деле не говорила, или появляться в местах, где она на самом деле не была. Эксперты отмечают, что для создания убедительной модели смены лица с использованием «deepfake» требуется значительный объем обучающих данных, например, большое количество видеозаписей человека. В отличие от этого, для успешного использования технологии Pinscreen достаточно одного входного изображения. Кроме того, «deepfake» зачастую получаются недостаточно высокого разрешения и качества, которые необходимы для VFX.

Возможные перспективы развития ИИ в киноиндустрии (в частности, CGI/VFX)

— использование искусственного интеллекта дает ряд преимуществ при создании фильмов, включая создание спецэффектов, возможность анализировать изображения и разрабатывать концепции сценариев. Применение искусственного интеллекта в киноиндустрии может стать началом автоматизации всех этапов производственного пайплайна.

Вероятнее всего, в ближайшие 10 лет ИИ не сможет превзойти творческие способности профессионалов. Подлинные фильмы и видеозаписи, которые необъяснимо впечатляют публику, по-прежнему будут полностью принадлежать авторству человека. Тем не менее, считается, что технология может продвинуться до такой степени, когда она широко интегрируется в стадии разработки и постпродакшена кинопроизводства и становится основным вспомогательным инструментом для создания контента. Будет строгое разделение на творческие и рутинные задачи, которые легче будет выполнить инструментами ИИ.

Творческие задачи можно отличить от их монотонных элементов, поэтому имеет место разделение заданий между людьми и ИИ. С технической точки зрения предполагается, что простые монотонные задачи будут переданы ИИ на аутсорсинг, как и те задачи, в которых вычислительное преимущество ИИ перед человеческими навыками неоспоримо. Автоматизация некоторых процессов может продвинуться до уровня, когда эти процессы будут встроены и скрыты в рамках других, более сложных видов деятельности. При этом средний уровень владения искусственным интеллектом в кинопроизводстве останется на базовом уровне, хотя возможны исключения.

В целом, процесс создания фильма будет оптимизирован и сокращен, что поможет высвободить творческий потенциал.

Заключение

Передовые цифровые технологии незаметно, однако кардинально и стремительно трансформируют мир вокруг нас, все глубже встраиваясь в повседневный быт и основательнее преображая привычный уклад жизни. Изменения коснулись и сферы кинематографа, причем эволюционируют не сами инструменты (когда, например, кисть обращается в стилус, а холст — в экран монитора), а сам творческий процесс, в котором все большую роль играют тщательно выверенные алгоритмы и постоянно прогрессирующее машинное обучение. Так, ИИ внедряется в различные этапы производственного пайплайна — от написания сценария вплоть до итогового монтажа, — что ощутимо сказывается на качестве и времени производимого контента — итоговая картинка выглядит лучше, а затрат по времени становится меньше.

Благодаря нейросетевым технологиям, машинному обучению, генеративным алгоритмам, CGI становится все меньшим вызовом в контектсе VFX и компьютерной анимации. Однако основная проблема технологий искусственного интеллекта, доступных в настоящее время для постпродакшена, заключается в том, что на них нельзя полностью положиться.

Необходимость наличия VFX-супервайзера может сводится к минимальным правкам, а может требовать постоянного мониторинга всех текущих задач с тщательным контролем, а порой и с непосредственным вмешательством в производственный процесс.

В заключение, стоит отметить: поскольку темпы развития ИИ стремительны и, согласно эпиграфу (см. первый экран), не поддаются принудительному, искусственному замедлению, а уже имеющиеся достижения и результаты необратимы, киноделам остается лишь одна опция — максимально воспользоваться возможностями и утилизировать преимущества AI для достижения прежде немыслимых и невероятных творческих целей и задач.

Original size 3972x1362

Metahuman // Lightning practices in Unreal Engine. Том Бентковски (Tom Bentkowski). 2021.

Bibliography

Show

Редько, В. Г. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики / В. Г. Редько. — М.: Ленанд, 2019. — С. 224.

Сибилев В. О. Применение искусственного интеллекта в сфере кинематографа при создании фильма // Научный аспект. — 2024. — №. 3. — С. 3494-3500.

Толкачев С. В. Влияние искусственного интеллекта на креативные индустрии: тенденции и перспективы // Актуальные исследования. — 2024. — №. 9. — С. 37-39.

Толкачев С. В. Применение искусственного интеллекта при работе с мультимедийной информацией // Актуальные исследования. — 2024. — №. 9. — С. 52-55.

AI VFX Services / [Электронный ресурс] // Pinscreen: [сайт]. — URL: https://www.pinscreen.com/vfx-services (дата обращения: 17.05.2024).

Breakthrough Theory, AI in Action | AIDC 2018 | Intel AI / [Электронный ресурс] // YouTube: [сайт]. — URL: https://www.youtube.com/watch?v=pSZn__bYA1k&t=1650s (дата обращения: 22.05.2024).

Chabanova A. VFX — A New Frontier: The Impact of Innovative Technology on Visual Effects: дис. — University of Westminster, 2022.

Datta A., Goswami R. The film industry leaps into artificial intelligence: Scope and challenges by the filmmakers //Rising Threats in Expert Applications and Solutions: Proceedings of FICR-TEAS 2020. — Springer Singapore, 2021. — С. 665-670.

Desai N., The future is here: Artificial intelligence and robotics. — 2019. — С. 11.

10.

Digital Domain Goes Into Machine Learning Mode For Blue Beetle / [Электронный ресурс] // Digital Domain: [сайт]. — URL: https://digitaldomain.com/news/digital-domain-goes-into-machine-learning-mode-for-blue-beetle/ (дата обращения: 15.05.2024).

11.

Duncan J. Oh, The Heroes’ Journey // CineFex. — 2019. — № 165. — С. 63-94.

12.

Duncan J. Oh, The Shark, Babe // CineFex. — 2018. — № 161. — С. 35-53.

13.

Duncan J. The Gauntlet // CineFex. — 2018. — № 159. — С. 77-113.

14.

Full Cast & Crew of Avengers: Endgame / [Электронный ресурс] // IMDb: [сайт]. — URL: https://www.imdb.com/title/tt4154796/fullcredits/?ref_=tt_cl_sm (дата обращения: 12.05.2024).

15.

Full Cast & Crew of Avengers: Infinity War / [Электронный ресурс] // IMDb: [сайт]. — URL: https://www.imdb.com/title/tt4154756/fullcredits/?ref_=tt_cl_sm (дата обращения: 12.05.2024).

16.

Full Cast & Crew of Berlin / [Электронный ресурс] // IMDb: [сайт]. — URL: https://www.imdb.com/title/tt16288804/fullcredits/?ref_=tt_cl_sm (дата обращения: 16.05.2024).

17.

Full Cast & Crew of Fallout / [Электронный ресурс] // IMDb: [сайт]. — URL: https://www.imdb.com/title/tt12637874/fullcredits/?ref_=tt_cl_sm (дата обращения: 16.05.2024).

18.

Full Cast & Crew of Manifest / [Электронный ресурс] // IMDb: [сайт]. — URL: https://www.imdb.com/title/tt8421350/fullcredits (дата обращения: 16.05.2024).

19.

Full Cast & Crew of Slumberland / [Электронный ресурс] // IMDb: [сайт]. — URL: https://www.imdb.com/title/tt13320662/fullcredits/?ref_=tt_cl_sm (дата обращения: 16.05.2024).

20.

Full Cast & Crew of The Marvels / [Электронный ресурс] // IMDb: [сайт]. — URL: https://www.imdb.com/title/tt10676048/fullcredits/?ref_=tt_cl_sm (дата обращения: 12.05.2024).

21.

Full Cast & Crew of The Meg / [Электронный ресурс] // IMDb: [сайт]. — URL: https://www.imdb.com/title/tt4779682/fullcredits/?ref_=tt_cl_sm (дата обращения: 14.05.2024).

22.

Graham Ed. Symbiosis // CineFex. — 2019. — № 165. — С. 105.

23.

Here’s How Artificial Intelligence Is Set To Rule The Filmmaking Industry / [Электронный ресурс] // iLEAD: [сайт]. — URL: https://ilead.net.in/heres-how-artificial-intelligence-is-set-to-rule-the-filmmaking-industry/ (дата обращения: 11.05.2024).

24.

How Ziva Dynamics uses AI to enhance CGI visual effects (VFX) / [Электронный ресурс] // YouTube: [сайт]. — URL: https://www.youtube.com/watch?v=chkDZyKJxPo (дата обращения: 14.05.2024).

25.

Momot I. Artificial intelligence in the filmmaking process: future scenarios. — 2022. — С. 26-46.

26.

Rapid Evolution At The Intersection Of AI And VFX / [Электронный ресурс] // Digital Domain: [сайт]. — URL: https://digitaldomain.com/news/rapid-evolution-at-the-intersection-of-ai-and-vfx/ (дата обращения: 14.05.2024).

27.

Scott A. J., Gratton L. The new long life: a framework for flourishing in a changing world. — Bloomsbury Publishing. — 2021. — С. 15.

28.

Seymour M. Digital Domain Unveils Masquerade3 [Электронный ресурс] // fxguide: [сайт]. — URL: https://www.fxguide.com/quicktakes/digital-domain-unveils-masquerade3/ (дата обращения: 16.05.2024).

29.

Seymour M. Masquerade at Digital Domain / [Электронный ресурс] // fxguide: [сайт]. — URL: https://www.fxguide.com/fxfeatured/masquerade-at-digital-domain/ (дата обращения: 18.05.2024).

30.

The Creator Director Gareth Edwards On Intensive Worldbuilding & Unique Robots / [Электронный ресурс] // Screen Rant: [сайт]. — URL: https://screenrant.com/the-creator-movie-director-gareth-edwards-interview/ (дата обращения: 10.05.2024).

31.

Ziva Dynamics & Randy Greenberg: The Making of The Meg | CES 2019 | Intel Stage / [Электронный ресурс] // Vimeo: [сайт]. — URL: https://vimeo.com/362867088 (дата обращения: 21.05.2024).

Image sources

Show

Мег: Монстр глубины (The Meg, реж. Джон Тёртелтауб, 2018)

Лучший Друг (Best Friend, реж. Натали Лэмб, 2018)

Мстители: Война бесконечности (Avengers: Infinity War, реж. Братья Руссо, 2018)

Мстители: Финал (Avengers: Endgame, реж. Братья Руссо, 2019)

Веном 2 (Venom: Let There Be Carnage, реж. Энди Серкис, 2021)

Страна снов (Slumberland, реж. Фрэнсис Лоуренс, 2022)

Капитан Марвел 2 (The Marvels, реж. Ниа Дакоста, 2023)

Синий Жук (Blue Beetle, реж. Анхель Мануэль Сото, 2023)

Берлин (Berlin, реж. Давид Баррокаль, Альберт Пинто, Джеффри Каупер, 2023)

10.