Студия Motion Capture против Kinect: Свен Винке про технологии захвата анимации

Напомню, что проблема заключалась в том, что Dragon Commander содержит огромное количество диалогов, а также множество сюжетных выборов, ведущих к тем или иным последствиям. Всё это требуется каким-то образом наглядно представить игрокам.

В наших мечтах все эти диалоги полностью анимированы и озвучены, однако реальность такова, что мы имеем дело с несколькими часами диалогов на нескольких языках, и стоимость реализации этой затеи довольно высока. Анимация же всех диалогов вообще выглядит тотальным безумием.

В общем, после долгих обсуждений и споров мы решили пойти на безумство.

Посмотрите это короткое видео о необычной посылке, пришедшей в офис Larian Studios некоторое время назад:

Посмотрели? Да, мы купили специальное оборудование для распознавания движения лицевых мышц (facial motion capture). Как вы могли заметить из видео, некоторые сотрудники нашей студии были крайне возбуждены этим приобретением.

С помощью купленных нами камер мы будем снимать актёров звукозаписи, а затем используем полученные данные для создания правдоподобной лицевой анимации у 3D-персонажей игры.

Получившаяся анимация будет совмещена с анимацией движения тел (body motion capture), полученной с помощью другого оборудования (оно также есть в нашем офисе), а конечным результатом должно стать реалистичное поведение всех персонажей Dragon Commander во время диалогов.

По крайней мере, таков наш план.

Решение реализовать всё именно таким образом пришло к нам после рассмотрения множества альтернативных вариантов – от попытки самостоятельно снять анимации при помощи Kinect (самый дешёвый вариант) до аренды студии одновременной записи лицевой и телесной motion capture (самый дорогой вариант).

Стоимость последнего колеблется от 1000 до 2000 долларов за минуту, что дает общую сумму от 0,5 до 1 миллиона долларов. Я сам некоторое время выступал за этот вариант, но потом передумал. Я пришел к выводу, что в конечном счёте будет лучше, если мы самостоятельно решим эту проблему, даже если это будет труднее и не обеспечит максимального качества при первом приближении.

Логика такова: какую бы игру мы ни взялись делать, нам всегда нужно будет нанимать актёров озвучения – как ни крути, это постоянная статья расходов. В процессе звукозаписи актёры «генерируют» все необходимые нам данные – все их эмоции уже у них на лице, нам нужно лишь оцифровать их и перенести на игровых персонажей.

Купленное нами оборудование позволяет нас записывать данные движения мимических мышц лица со скоростью 100 кадров в секунду с семи направлений. Если в процессе работы выяснится, что этих данных не хватает, мы всегда сможем добавить дополнительные камеры. Как бы то ни было, наши первые опыты показывают, что полученных данных вполне достаточно.

Таким образом, если мы организуем свою работу так, что при каждой сессии звукозаписи мы будем записывать не только звук, но и снимать данные лицевой анимации, то у нас должно накопиться достаточно материала для последующей обработки. Очевидно, что такой подход чреват некоторыми осложнениями – мы тратим больше времени на запись, тем самым увеличивая её стоимость, но расчёты показывают, что эта проблема решаема.

Настоящая сложность заключается в переносе этих данных на наших 3D-персонажей. Хотелось бы осуществлять этот перенос в автоматическом или хотя бы в полуавтоматическом режиме. С помощью программного обеспечения, которым мы располагаем на текущий момент, мы можем получить приемлемый результат, но уже ясно, что готовые решения не позволяют добиться высокой детализации. Иными словами, когда сравниваешь считанную нами информацию о движениях лицевых мышц актёра с конечной анимацией лица персонажа, замечаешь значительные потери данных.

Ещё одна проблема: исправлять ошибки преобразования данных в 3D-картинку приходится вручную. Возможно, это грозит стать самой дорогой частью всего предприятия, но, в то же время, если подойти к решению проблемы с умом, можно существенно оптимизировать расходы.
Честно говоря, я пока не имею ни малейшего представления о том, сколько денег мы потратим в итоге, но в паре вещей я уже уверен:

а) Какой результат мы бы не получили, он будет лучше, чем в Divinity II: The Dragon Knight Saga.
б) Чем больше времени мы потратим на оптимизацию переноса данных в анимацию, тем лучше будет выглядеть Dragon Commander, а также наши будущие игры.
Перед тем, как закончить, я должен ответить на один вопрос: «Так почему же мы всё же взялись за эту безумную затею?»

Некоторые читатели в комментариях к прошлой записи высказались за то, что нам не следует ввязываться в эту авантюру с диалогами, а лучше сосредоточиться на игровом процессе. В глубине души я с ними согласен, но геймплей состоит из множества слоёв и визуализация, вне всяких сомнений, очень важный его аспект. Я считаю визуализацию особенно важной в случае Dragon Commander, в котором создание правдоподобных персонажей для нас является одной из первостепенных задач, а значит – на её реализацию мы должны потратить существенные ресурсы.

Эта игра - про рыцаря-дракона, создающего великую империю. Это означает, что в дополнение к командованию армией и выбору стратегических и тактических схем мы хотим дать вам ощущение вживания в роль реального правителя, занятого политикой, общением с прессой, а в перерывах от державных забот и своей личной жизнью.
Чтобы всё это выглядело убедительно, нам нужны правдоподобно выглядящие персонажи. А это значит, что нужны и лицевые анимации, и motion capture, и полностью озвученные диалоги, и огромная куча денег на реализацию всего этого.

Стоила ли овчинка выделки, я узнаю только, когда будет готова игра, но сейчас я полон оптимизма.
Я буду держать вас в курсе нашего прогресса. Если всё пойдёт хорошо, первые результаты нашей работы будут заметны по видеороликам с E3. Помимо презентации нашей новой игры (Project E), мы также планируем показать многопользовательский режим Dragon Commander и раскрыть кое-какие подробности об игровом процессе.

До новых встреч в эфире!

Текст: Свен Винке. Основатель и директор студии Larian. twitter.com/LarAtLarian

На вопросы в комментариях отвечает: Сергей Климов. Директор студии Larian по развитию бизнеса. twitter.com/SergeiKlimov