Классические подходы
Классический пайплайн и основные трудности создания 3D людей
Стандартный пайплайн создания реалистичного человека подразумевает концепт-арт или сборка референсов, скульптинг, ретопологию, текстурирование и риггинг.
Laurence Fishburne sculpt by Marlon R. Nunez
3D-скульптинг (или цифровая скульптура) — это процесс создания трехмерных моделей на компьютере, который имитирует традиционную лепку из глины. Его особенность это высокая детализация и высокий полигонаж как последствие. Стандартом индустрии среди софтов для скульптинга является Zbrush.
На этом этапе создают высокодетализированную модель персонажа и прорабатывают текстуру поверхности (например поры, морщины, шрамы и тд.)
Пример неоптимизированной и оптимизированной топологии
Ретопология это процесс оптимизации полигональной сетки (топологии) 3D-модели. Суть процесса заключается в создании новой, чистой и эффективной (low-poly) сетки поверх уже существующей высокодетализированной модели, полученной в результате скульптинга или 3D-сканирования.
Оптимизированная сетка нужна для естественной деформации модели при анимации и оптимизации вычислительных мощностей.
После ретопологии модели требуется UV-развёртка. Она нужна для преобразования трёхмерной поверхности модели в плоскую 2D-карту, чтобы точно проецировать текстуры, цвета и детали на объект без искажений или растяжений.
Текстуры
Риг лица основанный на костях
Риг лица можно реализовать несколькими методами: первый основан на блендшейпах, второй — на костях. Также эти подходы можно комбинировать между собой, но для реалистичных ригов используют в основном первый метод.
Цифровые двойники в кино
В кино очень часто требуется точная цифровая копия актера. Классический метод создания персонажей описанный выше в данной ситуации не зарекомендовал себя как эффективный, так как многое зависит от умений художника. В условиях кинопроизводства, где важна скорость и качество, ручной труд автоматизировали системами, о которых я расскажу далее.
Для создания цифровых двойников в кино создают серию сканов головы актера, используя специальные системы по типу Light Stage. Обычно они представляет собой сферическую конструкцию, внутри которой располагается актер. Процесс сканирования включает в себя множество камер, которые одновременно делают снимки с разных ракурсов, и управляемое освещение, расположенное по всей сфере. Это позволяет зафиксировать реакцию поверхности объекта на свет, падающий с каждого конкретного направления. В результате получаются высококачественные сканы лица и текстуры кожи, реагирующие на различные сценарии освещения.
Актера сканируют с определенными выражениями лица по системе FACS.
FACS — это комплексная система кодирования мимики лица. Она основана на анатомии для описания всех визуально различимых движений лица и используется для создания реалистичной и выразительной анимации лица цифровых персонажей.
Ее принцип работы заключается в разложении любого выражения лица на набор элементарных компонентов мышечного движения, называемых «единицами действия» (Action Units, AU). Комбинируя несколько AU, можно создать почти любое выражение лица персонажа.
В итоге сканирования мы получаем серию (от 50 до 100) высокодетализированных сканов лица, которые позволяют нам обойти ручной скульптинг, однако каждый из сканов, представляющий из себя отдельный AU-меш, мы получаем в виде неоптимизированной сетки.
Для использования этих сканов в анимации мы должны пройти тот же процесс ретопологии, однако в данном случае используют базовую топологию головы и проецируют ее на скан головы в нейтральной позе и на все остальные AU-меши. При надобности их также корректируют вручную в Zbrush или Maya.
После настройки топологии на всех AU-мешей их объединяют в систему блендшейпов в Maya. При возникновении неестественных деформаций при комбинации блендшейпов используют корректирующие формы (corrective shapes). Это дополнительные блендшейпы, которые активируются поверх комбинации двух блендшейпов.
Для захвата актерской игры на съемочной площадке актеру наносятся маркеры на лицо и крепится система камер для трекинга. Отснятое видео анализируется трекинг программой и интерпретируется как комбинация AU по системе FACS. Данные с трекинга потом переносятся на 3d риг лица в виде анимации.
Также есть альтернативные системы захвата движения, позволяющие захватить трехмерное видео актерской игры и обойти FACS и блендшейпы, использовав уже готовую анимированную геометрию, захваченную с актера.
Для этого используется формат 4D-мешей (3D пространство + 1D время). По сути это 3D видео, где система из нескольких камер каждый кадр создает новый 3D скан с текстурами. Однако полученные данные еще не оптимизированы, так как представляют из себя стони или тысячи 3D сканов с индивидуальной топологией.
Для решения этой проблемы используют специальный софт (например R3DS), который проводит трекинг лица у 4D-меша и через враппинг проецирует на него модель головы с нужной консистентной топологией. В результате получается меш головы с оптимизированной топологией и запеченной на геометрию анимацией.
Данный подход позволяет обойти построение рига с FACS-бленшейпами и захватить деформацию лица непосредственно с актера.
Для фанстастических антропоморфных персонажей используют ретаргетинг анимации с актера на персонажа. Сначала записывают игру актера с трехмерной копией его лица и потом переносят эту анимацию на модель персонажа с идентичной топологией.
Также крупные студии имеют в своем распоряжении эксклюзивное аппаратное и системное обеспечение, например Medusa, разработанная в Disney Research Studios Zurich. Это мобильная система захвата лица без маркеров, совместимая как и с FACS, так и с 4D-меш подходом. Она уже была использована в десятке фильмов франшиз Marvel и Star Wars. Разработка студии ILM FLUX осуществляет безмаркерный трекинг камерами, которые расположены на съемочной площадке, а не прикреплены к голове актера, как другие системы захвата лица. Эта технология дебютировала в фильме «Ирландец».
Однако эти технологии находятся за закрытыми дверями больших студий и не доступны широкой аудитории, поэтому детальной информации о том как они устроены в общем доступе не имеется.
Все вышеперечисленные способы требуют дорогих и не всегда доступных технологий и/или специальных знаний и кропотливого труда. Reallusion Character Creator призван с этим помочь и автоматизировать многие процессы.
