具有细微表情的人脸动画实现方法具有细微表情的人脸动画实现方法.doc

面向纹理特征的真实感三维人脸动画方法 姜大龙1 高文1,2 王兆其1 陈益强1 1（中国科学院计算技术研究所，北京，100080） 2（哈尔滨工业大学计算机科学与工程系，哈尔滨，150001） (email: {dljiang, wgao, zqwang, yqchen}@ict.ac.cn) 摘要： 纹理变化是人脸表情的重要组成部分，传统的人脸动画方法通常只是对纹理图像做简单的拉伸变换，没有考虑人脸细微纹理特征的变化，比如皱纹、酒窝等。本文提出了一种面向纹理特征变化的真实感三维人脸动画方法。给出局部表情比率图（partial expression ratio image，简称PERI）的概念及其获取方法，在此基础上，进一步给出了面向MPEG-4的PERI参数化与面向三维人脸动画的多方向PERI方法，前者通过有机结合MPEG-4的人脸动画参数（facial animation parameter，简称FAP），实现人脸动画中细微表情特征的参数化表示；后者通过多方向PERI纹理特征调整方法，使得三维人脸模型在不同角度都具有较好的细微表情特征。本文提出的方法克服了传统人脸动画只考虑人脸曲面形变控制而忽略纹理变化的缺陷，实现面向纹理变化的具有细微表情特征的真实感三维人脸动画。实验表明，本文提出的方法能有效捕捉纹理变化细节，提高人脸动画的真实感。 关键词： 人脸动画；纹理特征；局部表情比率图；MPEG-4；人脸动画参数 1. 引言 真实感三维人脸动画是近30年来计算机动画研究的一个热点问题。人脸动画的成果可以广泛地应用于电影广告、电子游戏、虚拟会议、辅助教学、医疗研究等领域。 传统的人脸动画方法一般只使用一张中性表情的纹理，主要工作都集中在人脸几何曲面的变形控制上[1-9,17]。这些方法把纹理映射到网格上，在动画过程中随着网格的变形，纹理也相应的拉伸。但是，人脸是一个非常复杂的几何体，人脸的复杂表情不仅仅是面部特征的位置变化，而且还有许多细微的形变，比如皮肤的褶皱。这些细微形变是人脸表情的重要组成部分，由于实现这些细微形变需要极其精细的人脸模型和非常复杂的形变控制，因此应用传统的人脸动画方法实现起来非常困难。虽然传统的方法也能最终生成各种表情，但缺乏细微表情特征的动画显得不够生动和真实，如何表现出表情的细微特征是实现具有高真实感三维人脸动画中的一个亟待解决的问题。在现有的技术条件下，要想表现人脸的这些细微特征，一种可行的思路是：并不真正在模型上产生微小的形变，而只是修改纹理，用在纹理图像上进行的亮度或颜色变化来表现这种微小形变，从而在视觉上达到皮肤产生褶皱的效果。 本文提出了一种能够表示细微表情特征的三维人脸动画方法。首先，采集人脸表情在细微特征区域的亮度变化，我们称这种亮度变化为局部表情比率图（partial expression ratio image，简称PERI）。采集的结果建立一个PERI库。在此基础上，给出PERI参数化方法，实现人脸动画中细微表情特征的参数化表示，具体做法是将PERI与MPEG-4中的人脸动画参数（facial animation parameter，简称FAP）[13,14]相结合，用FAP计算PERI的系数，从而控制细微表情特征的可见度，实现三维人脸动画中细微表情特征表示的参数化。最后，提出多方向PERI方法，使得在不同角度都能观察到较好的细微表情特征。由于皮肤褶皱遮挡的关系，有些表情细微特征（比如酒窝）在不同的角度看具有不同的纹理特征。为解决这个问题，我们在同一区域建立正面和侧面两个PERI。根据人脸的旋转角度计算两个PERI可见度的加权系数，然后根据加权系数把两个PERI都叠加到纹理上，从而使三维人脸动画中的细微表情特征在不同角度都可以得到正确的显示。 本文的结构安排如下：第二部分介绍相关工作；第三部分介绍局部表情比率图（PERI）的原理及获取方法；第四部分介绍PERI的参数化，给出PERI如何与MPEG-4人脸动画中的FAP相结合，实现细微表情特征表示的参数化方法；第五部分介绍多方向PERI方法，使得在不同角度都能观察到较好的细微表情特征；第六部分展示我们的实验结果；最后在第七部分进行总结分析。 2. 相关工作 自从1974年Parke[1]首先用计算机生成人脸图像以来，30年间计算机图形工作者在人脸动画方面的研究取得了许多成果：Lee [2] 等人采用基于物理的肌肉模型来产生人脸动画。Liu[16]等人用人脸视频作为输入，在手工标记5个特征点后可自动生成三维人脸模型，同时产生与视频相应的人脸动画。Koch [4] 等人在Waters肌肉模型[6]的基础上，采用了有限元的方法来产生人脸表情。Williams[9]采用行为驱动的方法来产生动画。以上这些方法各有侧重点，解决了人脸动