Всем привет! Меня зовут Василий Мазалов, я работаю старшим видеоредактором в Pixonic. Наш отдел создает видеокреативы для маркетинга и сообщества: видеоролики для страниц магазинов, видеоролики-обзоры игровых новинок и другой контент. Когда я не занимаюсь созданием креативов, я слежу за Интернетом в поисках новых форматов и способов подачи материала, чтобы сделать собственный контент более разнообразным, интересным и привлекательным для новых игроков.
Год назад наткнулся на следующее видео: Смотреть видео Что мы здесь видим? Парень надел костюм для захвата движения тела (пока ничего необычного), повесил перед собой айфон (но это уже интересно) и таким образом транслирует анимацию лица и тела персонажа прямо в реальном времени в Unreal Engine, и результат выглядит для такой простой реализации вполне качественным.
Классная идея, подумал я.
Потом я закрыл видео.
И он продолжал работать.
Шесть месяцев спустя учебный материал о том, как захватывать лицевую анимацию в Unreal Engine с помощью приложения на iPhone, стал общедоступным.
В то же время я узнал, что наш художественный отдел приобрел костюм для захвата движения.
Посмотрел его совместимость с UE: все работало.
Оставалось только найти айфон для дальнейшей работы, но сейчас с этим проблем еще меньше.
Смотреть видео Было много вопросов.
Передо мной было неизведанное поле неизведанной анимации, Unreal Engine, моделирования человеческого лица и тела и прочего, совершенно далекого от видеомонтажа, но в то же время огромного желания воплотить свои планы в жизнь.
Начался долгий процесс изучения различной документации.
Что получилось в результате и как мы этого добились, читайте дальше.
Анимация лица
Для реализации нашей идеи нам было невыгодно использовать и лепить персонажа с нуля: это заняло бы много времени и потребовало бы сложных и, чаще всего, неоправданных доработок.Поэтому мы решили использовать DAZ Studio: там изначально были заложены лицевые кости, что позволило быстро создать необходимые лицевые сокращения и эмоции, на которые скульптор потратит гораздо больше времени.
Да, модели, созданные в DAZ, далеки от фотореалистичных изображений, но для наших целей они подошли идеально.
Для записи лицевой анимации нам понадобился только iPhone с фронтальной камерой TrueDepth — то есть от iPhone X и выше.
Именно эта технология прочитала топологию лица и передала необходимые значения из Unreal в нашу модель.
За разное выражение лица отвечают Blendshapes — 3D-модели одинаковой топологии, то есть с одинаковым количеством вершин, но различающиеся по форме.
Face AR использует 51 форму смешивания, и благодаря подробной документации Apple, в которой описывается, какие конкретные формы смешивания используются в DAZ, мы смогли создать их довольно быстро.
Примерно так выглядит набор эмоций и блендшейпов в 3D-модели: 
Блендшейпы из Интернета 
Наши блендшейпы
Итак, сначала мы запускаем нашу версию Unreal Engine для тестирования, затем собираем приложение и возвращаемся обратно в Unreal, чтобы получить результат. 
Анимация тела
Для создания тела необходимо было учесть специфику программного обеспечения для работы с костюмом.Мы работали с системой захвата движения Perception Neuron 2.0 от Noitom. Это стоит около 2500 долларов.
Это самый дешевый костюм на рынке и не лучший представитель среди аналогов: он очень чувствителен к электромагнитному излучению, из-за чего координаты датчиков могут смещаться, если он находится в радиусе активного излучения, а это будет еще больше.
сложно убрать анимацию.
К счастью, мы только что переехали на другой этаж, и новое место оказалось достаточно пустынным, а значит, электромагнитное излучение было сведено к минимуму – то есть оно было для нас идеальным.
Почему костюм? Готовые анимации из различных библиотек нам не подошли, так как наш персонаж должен иметь уникальный характер и поведение, а лицо и тело должны точно их отражать.
Если бы мы делали анимацию с нуля, это заняло бы месяц, а то и два.
Использование оборудования для захвата движения помогло сэкономить это время.
В отличие от лица, саму модель тела художники нарисовали с нуля.
Потом нужно было его ригить и шкурить в Maya. После сборки тела переносим его в Unreal, там собираем все для мокапа, записываем анимацию, после чего результат остается только микшировать.
Для того, чтобы анимация передавалась точно, модификации были минимальны или их вообще можно было избежать, а также передать анимацию из костюма напрямую в Unreal Engine, необходимо было правильно установить кости и удалить ненужные значения из нашей модели.
У компании Noitom есть черновая 3D-модель для Unreal Engine, используя которую в качестве эталона, нам нужно было доработать собственную модель: поставить ее в Т-позу, разместить ладони и пальцы в нестандартных положениях для моделирования и сбросить все значения.
до нуля.
Очень важно было, чтобы все кости были без лишних вращений, иначе программа их размножала, тем самым сильно искажая движения.
В общей сложности на калибровку скафандра и запись первых видеороликов ушло около двух часов.
Мы выставили настройки в Unreal Engine, записали анимацию тела со всеми необходимыми паузами по сценарию, затем записали анимацию лица по движениям тела и тому же сценарию и получили результат, который вы увидите на следующей иллюстрации.
После записи анимацию нужно было доработать, поэтому мы поручили аниматору ее почистить.
Ему потребовалось три дня, чтобы очистить две минуты анимации.
Тогда нам потребовалось около трех недель, чтобы добраться до финальной версии, и если исключить доработки некоторых факторов как в модели лица, так и в модели тела, этот срок может сократиться еще на неделю.
Для чего мы его используем?
Давайте отойдем от процесса CGI и поговорим о целях проекта.В тот момент, когда я углубился в эту тему и собрал необходимую для работы информацию, в нашей игре появились пилоты.
Обычно, когда выходит новый контент, его либо озвучивает закадровый голос, либо сами разработчики, либо информация просто каким-то образом передается через игровой процесс.
Теперь у нас есть возможность создать персонажа, правильно его подготовить, собрать из качественных ассетов локации, в которой он будет находиться, и через этого героя общаться с игроками: от сюжетных и обзорных видеороликов до прямых трансляций.
Впервые в игре про роботов появились живые персонажи, а за ними — истории, которые они могли рассказать о себе и мире.
И я подумал, что было бы здорово, если бы мы могли так же быстро, как мы делаем видеоролики в движке, собирать геймплейные ролики с персонажами, которые погружали бы игроков в мир игры.
Мы вместе с общественным отделом начали придумывать образ персонажа, как он мог бы выглядеть и какова будет его история.
Наш старший комьюнити-менеджер написал сценарий, который мы впоследствии доработали, чтобы сэкономить время и упростить производство.
В этом видео вы можете увидеть почти все тесты, которые мы делали с лицевой анимацией и анимацией тела.
Поскольку их характеристики различаются, нам пришлось тестировать их один за другим и смешивать только в конце.
Для тестов анимации тела была взята модель костюма из CGI-трейлера нового выпуска:
Ну а теперь покажем, что у нас получилось в результате:
Нижняя граница
Имея костюм для захвата движения, iPhone, 3D-модель и Unreal Marketplace с огромным выбором бесплатных высококачественных ресурсов, мы можем собрать интересные истории для наших игроков всего за пару недель.Также у нас есть опыт и понимание того, как можно быстро создать нового персонажа и уже на этапе его создания учесть все особенности производства, чтобы в короткие сроки добиться наилучшего результата.
Почему мы не поставили перед собой цель добиться качества крутых синематиков, как у Blizzard? Текущего качества контента для сообщества и маркетинга достаточно, чтобы дать нашим пользователям новый взгляд на игровой мир.
Однако, хотя необходимости улучшать качество видео пока нет, мы всегда ищем новые решения.
Теги: #Игры и игровые приставки #Работа с видео #gamedev #Компьютерная анимация #unreal engine #3d графика и анимация #cgi #Mocap #Motion Capture #motion capture #трейлеры
-
Модуль Против Компонента
19 Oct, 24 -
Новый Android Маркет
19 Oct, 24 -
Офисный Бумеранг
19 Oct, 24 -
Геокэшинг — Игра На Свежем Воздухе Для Гиков
19 Oct, 24
