Высокая четкость и реализм мимики достигаются за счет сочетания статического сканирования со считыванием движений лицевых мышц.

На посвященной компьютерной графике выставке-конференции SIGGRAPH 2011, проходящей в Ванкувере (Канада) с 7 по 11 августа, представлен доклад о новом методе создания 3D-изображений человеческих лиц с правдоподобными текстурами кожи и мимикой. Технология разработана специалистами из Microsoft Research Asia под руководством Синь Туна в сотрудничестве с профессором Техасского университета (США) Цзиньсян Чаем.

Человеческая мимика поддерживается 52 лицевыми мышцами; чтобы запечатлеть их согласованные движения, применяются три методики: использование датчиков (хорошо фиксирующее собственно мимику), 3D-сканы (хорошо фиксирующие детали поверхности кожи, но статичные) и структурированный свет (снимающий движения в реальном времени, но с низкой четкостью). Технология, разработанная в Microsoft, сочетает высокую детализацию и высокое темпоральное разрешение (термин команды Синь Туна).

В качестве мимических моделей в Microsoft Research Asia использовали трех профессиональных актеров с очень подвижными лицами (вспоминаются Тлейлаксу из романов Фрэнка Херберта). Актеры строили запланированные гримасы на высокоскоростную камеру; на их лица были нанесены по сотне отражающих точек. Затем программа определяла нужное число статичных сканов, и лицедеи фиксировали выражения надолго.

Для сканов высокого разрешения задавалось соответствие кадрам видео и производился обсчет промежуточных состояний поверхности кожи (её текстуры, включая поры и морщинки, и движений). Преемственность пор и морщинок обеспечивало деление изображений лиц на участки, каждый из которых сравнивался с соответствующим участком с другого скана; затем происходило "усреднение". Результат накладывался на мимическую основу, захваченную с помощью видео.

Авторы технологии полагают, что её можно применять не только в играх, но и для создания реалистичных аватаров или в видеоконференциях. Впрочем, пока есть существенные недостатки: недоработана синхронизация с движениями век и губ, а на обсчет, который в идеале должен проходить в реальном времени, уходит несколько часов. Следует отметить, что считывание мимики — не первая за последнее время перспективная, но сырая Microsoft-технология, о которой компания торопится сообщить. Зачем?