（计算机软件与理论专业论文）基于多种方法的人脸特征跟踪及人脸动画.pdf

摘要 摘要 视频驱动的人脸动画一直是计算机图形学和计算机视觉研究领域中的难点， 并成为近年来的研究热点，在视频会议、网络游戏、数字娱乐等诸多方面有着非 常广泛的应用。本文重点研究三方面的内容：视频人脸特征跟踪、二维夸张化卡 通人脸生成以及基于旧e g _ 4 的二维人脸动画技术。 在视频人脸特征跟踪中，根据特征点所在人脸部位具有不同的纹理特征进行 分组，提出在不借助任何外部条件( 如贴标记点) 的情况下对不同组特征点采用 不同的跟踪方法。首先，对于纹理变化不大的眉部等一组特征点，采用光流方法 进行跟踪，同时对其进行了改进，将通常只参考前一帧图像改为利用初始帧和前 一帧的加权和进行预测，提高了光流跟踪的准确性。其次，对于嘴部特征点，通 过分析其多样的纹理信息，采用弹性图匹配的方法进行跟踪。该方法中，g a b o r 变换能够提取特征点周围丰富的频域特征而助于跟踪，但速度慢，无法实时。本 文通过光流预测、j e t 值估计等方法提高了匹配时的搜索速度以满足实时要求。 再次，对于眼皮上的特征点，因眼睛周围有着特殊的边缘纹理特征，可采用图像 二值化方法得到特征点的大致位置以达到跟踪的目的。实验表明，这样将多种方 法相结合跟踪特征点的方法是有效的。 在二维夸张化卡通人脸生成中，本文通过特征分析提取出人脸与众不同的特 征，之后将基于规则和基于样例学习的两种方法统一起来对这种与众不同的特征 进行形状夸张。实验表明，这种方法既减少了训练样本，又可以使生成的人脸具 有画家的风格。 在基于m p e g _ 4 的二维人脸动画技术中，本文将针对于三维人脸设计的 瑚p e g _ 4 人脸动画机制中的f a p 和f d p 参数进行了修改，使其符合本文的二维 卡通人脸动画。这样，既满足了实际需要的同时，又提高了表情动画的合成速度。 最后，在以上各项研究的基础上，构建了视频驱动下的夸张化卡通人脸动画 系统。该系统可完成任意输入真实人脸的卡通肖像生成、表情合成和f a p 流驱 动的人脸动画等功能，具有很强的娱乐色彩。 关键词人脸跟踪；人脸动画；光流；弹性图匹配；m p e g _ 4 a b s t r a c t v i d e o - d r i v e nf a c i a la n i m a t i o ni sad i 伍c u l tp r o b l e mi nc o m p u t e rg r a p h i c sa n d c o m p u t e rv i s i o na l lt h el i m e ，a n di th a sb e e nr e s e a r c h e df r o mm a n yw a y si nr e c e n t y e a r s t h e r ea r em a n ye x t e n s i v ea p p l i c a t i o n so ff a c i a la n i m a t i o nt oal o to fi n d u s t r i a l f i e l d s ，s u c h 船v i d e oc o n f e r e n c e ，c o m p u t e rg a m e ，d i 百t a le n t e r t a i n m e n t , a n ds oo n i n t h i sp a p e r , t h r e ea s p e c t sa r cm a i n l ys t u d i e d ：v i d e o - b a s e df a c i a lt r a c k i n g , g e n e r a t i o no f 2 de x a g g e r a t e dc a g t o o nf a c ea n d2 df a c i a la n i m a t i o nb a s e do nm p e g - 4 i nv i d e o - b a s e df a c i a l 仃a c k i n g ，a f t e ra n a l y m gt h ed i f f e r e n tt e x t l a r ef e a t u r eo f d i f f e r e n tf e a t u r ep o i n t s ，w eu n i t et h e s ep o i n t si n t ot h r e eg r o u p sa n dp r e s e n tu s i n g d i f f e r e n tm e t h o d st ot r a c kp o i n t si nd i f f e r e n tg r o u p sw i t h o u ta n ys p e c i a lm a r k e r s f i r s t , f o rt h es e to fp o i n t sa r o 岫dt h ee y e b r o w , w eu s eo p t i c a lf l o wm e t h o dt ot r a c ka n d i m p r o v et h i sm e t h o da tt h es a m et i m e w er e f e r e n c et h ef i r s tf i h l n ea n dt h ep r e v i o u s f l a m ei n s t e a do fo n l yt h ep r e v i o u sf r a m eo r i g i n a l l yt oi m p r o v et h et r a c k i n gv e r a c i t y s e c o n d , f o rt h es e to fp o i n t sa r o u n dt h em o u t h ，e b g m 眦u t i l i z e db ya n a l y z i n g v a r i o u si n f o r m a 廿o na b o u tt e x t u r e t h i sm e t h o di sp a i da t t e n t i o nf o re x t r a c t i n gh e l p f u l f e a t u r e si nf r e q u e n c yf i e l db yo a b o rt r a n s f o r m b u tt h es p e e di st o os l o w i nt h i sp a p e r , p r e d i c t i o nw i t ho p t i c a lf l o wa n de s t i m a t i o no fj e ta r eu s e dt oa c c e l e r a t et h e 的c k i n g s p e e df o rs a t i s f y i n gt h ep r a c t i c a lp u r p o s e t h i r d , f o rt h es e to fp o i n t so nt h ee y e l i d s ， i n l a g eb i n a f i z 蜥o nm e t h o db a s e do nm a x i l n u l ne n t r o p yi su s e dt ot r a c kt h ep o i n t so n t h ee y e f i d sf o rt h es p e c i a le d g e 缸匀c t m eo fe y e s e x p e r i m e n t a lr e s u l t sd e m o n s t r a l et h a t o u rc o m b i n e dt r a c k i n gm e t h o di se 彘c 吐v e i nt h ep r o c e s so f2 de x a g g e r a t e dc a r t o o nf a c eg e n e r a t i o n , d i f f e r e n tf e a t u r e sa r c e x t r a c t e dt h r o u g hf a c ef e a t u r ea n a l y z i n g t h e nt h er u l e - b a s e dm e t h o da n dt h e e x a m p l e - b a s e dm e t h o da u s e dt o g e t h e rt oe x a g g e r a t et h ed i f 陆 c b c e i nt h i sw a y , n o to n l yt r a i n i n gi m a g e sc a nb er e d u c e d , b u ta l s ot h eg e n e r a t e dc a r c 0 伽f a c eh a s a r t i s t i cs t y l e i n2 df a c i a la n i m a t i o nb a s e do nm p e g 4 w ea m e n dt h ef a pa n df d pi n l 讧p e 舛s t a n d a r dw h i c ha i m st o3 df a c ea n i m a t i o na n dm a k et h e ms u i t a b l ef o r2 d f a c ea n i m a t i o n i nt h i sw a y , n o to n l yp r a c t i c a lp u r p o s ec n nb es a t i s f i e d ，b u ta l s ot h e s p e e do f e x p r e s s i o ns y n t h e s i z i n gc e nb ea c c e l e r a t e d b a s e do na l lo fa b o v er e s e m c h e s ，w ec o n s t r u c tav i d e o - d r i v e nc a r t o o nf a c e a n i m a t i o ns y s t e n t h i ss y s t e m 锄a c h i e v et h ef o l l o w i n gf u n c t i o n s ，i n c l u d i n gs p e c i f i c c a r t o o nf a c eg e n e r a t i o n , f a c ee x p r e s s i o ns y n t h e s i sa n df a c ea n i m a t i o nb a s e do nf a p , i r 北京工业大学工学硕士学位论文 e ta 1 e x p e r i m e n t ss h o wt h a tt h er e s u l ti sr e c r e a t i o n a l k e y w o r d s f a c i a lt r a c k i n g ：f a c i a la n i m a t i o n ；o p t i c a lf l o w ：e b g m ：m p e g - 4 i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其它 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：趟日期：主! 里笪! 童 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其它复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：j 蕴虹导师签名：j 肄日期： 加7 ? a 第1 章绪论 第1 章绪论 视频人脸跟踪及虚拟人脸动画长期以来都是计算机图形学以及人机交互中 非常活跃的研究领域，将其二者合一而产生的视频驱动人脸动画更是这些年来的 研究热点，被应用到现实生活中的各个领域。其中，视频跟踪的准确性与逼真的 面部表情合成是研究中最根本的难点问题。 本章内容是按以下方式组织的：首先介绍本文的研究背景、意义；接下来分 别从人脸跟踪、人脸建模以及人脸动画三个相关方面介绍国内外的研究发展现 状：最后是文章的研究内容和组织结构，并简要阐述层次细节技术所涉及的内容 及本文的创新之处。 1 1 研究背景及意义 人脸是人类喜、怒、哀、乐等复杂表情和语言的载体，是人类相互交流和沟 通的重要渠道。通过人脸，可以鉴别出个人的身份、推断他的个性。因此，人们 对于人脸的研究一直抱有浓厚的兴趣。 随着计算机图形学在建模、渲染、动画等方面的发展，视频驱动的人脸动画 在远程会议、视频电话、数字娱乐，电影、广告人物动画、计算机辅助教学、医 疗诊断等众多方面都取得了广泛的应用。研究表明：人脸动画系统可以提供友好 的人机交互方式，可以让人们更好地理解噪声中的语言，吸引人们的注意力，提 高人机交互的效率，对实现机器的智能化有着非常重要的意义。近年来，网络技 术的发展和推广使得人们越来越多地通过网络进行交流，而人脸动画技术可以为 这种通信方式提供更丰富、更直接的面部信息，让使用者有近距离交流的感觉。 然而这些应用都要求发送端的人脸控制参数可以实时提取并在低带宽下进 行传输，同时要求接收端的人脸动画模型必须计算高效、并能够准确合成人脸多 样的表情变化，即对于给定的人脸行为视频序列，如唇动、表情变化、眼睛的运 动、头部的运动等等，怎样实时而生动地在现到虚拟人脸上。要完成这个任务， 必须解决多方面的问题，也因此面临着极大的挑战。 总之，作为当前计算机视觉和计算机图形学领域的研究热点，视频驱动的人 脸动画研究不但具有理论研究意义，同时也具有极大的实际应用价值 1 2 国内外研究发展现状 实现视频驱动的虚拟人脸动画，必须解决三个方面的问题：1 ) 如何从视频 北京工业大学工学硕士学位论文 中准确地获取人脸的运动数据? 2 ) 虚拟人脸如何建模? 3 ) 准确捕获了运动数据 后，应如何映射( 即如何用这些运动数据驱动二维或三维虚拟人脸动画) ? 围绕 这三个问题，视频驱动的人脸动画系统也相应的主要由三个内容构成：人脸跟踪、 人脸建模以及入脸动画。流程图如图卜l 所示。 输八脸 图卜1 视频驱动人脸动画系统的一般流程图 f i g u r e1 - lt h ef l o wc h a ro f v i d e o - d r i v e nf a c ea n i r l l a t i o l l 1 2 1 人脸跟踪 人脸跟踪问题最初源于人脸识别，但目前，人脸跟踪的应用背景己远远超出 了人脸识别系统的范畴，成为计算机视觉中的一个重要的研究课题，在智能人机 交互、视觉检测、视频会议、安全监控等多方面有着非常重要的研究价值和经济 价值。 人脸跟踪的难点在于： 跟踪目标并不是确定不变的，而是可能会随着时间发生平移、旋转、缩放甚 至是表情、姿态等变化； 人脸图像可能会受到光照、噪声和复杂背景的影响； 遮挡问题，各种类型的遮挡成为跟踪算法中最大的难点。 人脸跟踪大致可分为三类【l j ： 头部的跟踪。这里主要跟踪头部的平移、转动等一系列的刚体运动 人脸特征跟踪。这里主要涉及跟踪非刚体的运动，如由说话、表情变化而引 起的脸部变形。 完全跟踪。既涉及头部的跟踪，又涉及人脸特征跟踪。 对于人脸的跟踪主要有基于颜色信息的方法、基于人脸特征的方法、基于 可变形模板的方法、基于光流的方法、基于轮廓分析的方法等【l 】。 ( 1 ) 基于颜色信息的方法 肤色是跟踪中的一个强有力的提示。一些研究表明：肤色通常都可以很好的 与背景分离开来。使用颜色信息跟踪的方法主要分为基于统计的和基于模型的两 大类。其中，基于统计的又可以进一步分为利用直方图分析的【2 卅、利用颜色概 率分布分析的1 5 - 7 和利用高斯模型分析的 8 q o 第1 章绪论 ( 2 ) 基于人脸特征的方法 这类方法主要是结合眉毛、眼睛、虹膜、嘴巴、鼻子等一些特征或其组合来 达到跟踪的目的【1 1 4 川。 ( 3 ) 基于可变形模板的方法 该方法通过选用适当的参数来定义一张特定人脸【件垌。然而这种方法由于将 特征跟踪转为模板匹配，因而在实际使用中不够稳定。 ( 4 ) 基于光流的方法 光流可以从单个象素的角度进行图像的跟踪，因而被广泛地应用于头部的跟 踪上f 1 7 - 2 0 。最早，通过在人脸上贴一些标记点的方法来进行跟踪。但是标记点的 使用在某些场合又不太现实。然而如果不使用标记点，一些区域太光滑难以精确 地估计光流，有时候一些局部外观变化太大，又不能给出可靠的光流。后来，一 些研究者将光流跟踪和一个事先建好的模板结合起来，以此来弥补光流本身其跟 踪各特征点之间无内在约束性而导致产生较大误差的缺陷。 ( 5 ) 基于轮廓分析的方法 主动轮廓( 或s n a k e ) 是一种可变形的轮廓或曲线，它受内力和外力的共同 作用而发生增长和收缩【2 l - 2 4 。其中，内力利用的是轮廓的平滑性约束，而外力牵 引着轮廓使其与明显的图像特征相匹配。这类方法大都需要在脸上或嘴唇上做一 些彩色的标识，用于辅助发生表情变化时的跟踪，然而在人脸上做标识不太切合 实际，因而使其使用受到了限制。 s n a k e 等方法主要考虑了跟踪目标的形状信息，而基于表面特征的跟喇2 5 - 2 9 则重视了整个对象区域内的信息，在有些文献中也被成为纹理特征。在跟踪的过 程中，人脸区域的纹理肯定会发生变化，文献 3 0 , 3 1 】假设区域变化符合仿射变换。 a a m p o 刀模型也是采用主元分析来学习表面特征的变化。 1 2 2 人脸建模 人脸是一个层次化的结构，由头骨、肌肉层、覆盖的结缔组织和外部的皮肤 层组成，而人脸表情的产生则是由于脸部肌肉变形而引起的。通常人脸建模包括 脸部数据的获取和几何建模两部分。 对于三维人脸，脸部数据获取方法主要包括基于手工的方法、基于特征的方 法、基于扫描的方法以及基于统计的方法等。三维人脸的几何建模是把人脸的框 架标准化，然后用网格表示出来，作为人脸动画的基础p 2 j 。通常情况下，为了将 脸部表情刻画的更加生动、具体，希望网格数越多越好。但是这样做的代价是计 算量大幅度上升。为提高速度，需对网格进行有效地精简，同时还要保证能够表 达清楚脸部的明显特征。常用的网格生成方法有多边形建模技术 3 3 1 、曲面建模技 3 北京工业大学工学硬士学位论文 术口4 1 等。 虽然人脸建模的趋势主要是建立三维人脸模型，但近年来，随着数字娱乐产 业的蓬勃发展，非真实感图像处理，尤其是利用计算机来模仿画家绘制出基于真 实人脸图像的二维卡通肖像，已经成为图像理解与图形学研究领域的热点问题， 并在众多领域有着广泛的应用。如图1 - 2 所示。 图卜2 二维卡通人脸 f i g u r e1 - 22 dc a r t o o nf a c e 卡通肖像画的手工绘制中，画家能够抓住被画者与众不同的特征并加以夸 张、变形，从而产生出具有幽默或讽刺效果的卡通肖像画。为了学习画家这种能 力，需要分析：1 ) 什么是被画人与众不同的特征? 2 ) 如何定义和衡量这种特征? 3 ) 如何根据发现的特征做出相应的夸张变形以强化该特征，从而达到夸张的目 的。围绕着上述问题，人们进行了许多相关研究工作，主要有基于规则的方法和 基于样例学习的方法。 ( 1 ) 基于规则的方法 基于规则方法主要是通过人为指定夸张变形参数，并将其应用到脸部任何待 夸张区域。该方法生成卡通人脸笔调生硬，难以表现画家多样的夸张模式。 b r e n n a n 3 习在1 9 8 2 年首先提出了一套交互式的卡通肖像生成系统。e r g u n a k l e m a n 3 6 1 采用线对变形的方法进行夸张m u r a k a m i 3 。7 提出了卡通肖像产生系统 p i c a s s 0 ，通过比较输入人脸与平均人脸的差异进行夸张。江佩颖等p 硼利用统计 方法对人脸形状进行夸张，因而形状夸张不具有风格化的效果，风格的转换仅仅 通过选用不同的卡通纹理来实现。 ( 2 ) 基于样例学习的方法 基于样例学习的方法将从训练样本中学习到的夸张模式运用到输入的真实 人脸上，从而得到具有这种画家风格的卡通人脸肖像画。l i n 3 9 1 通过p l s 方法分析 真实人脸形状与其对应夸张人脸形状之间的关系，来对画家的夸张风格进行学 习，进而指导夸张变形。h o n gc h e n 【帅】的卡通肖像生成系统分为脸部和头发两个 子系统。此方法的最大特点在于对头发单独建模，并产生了较好的效果。还有人 提出了一种产生具有画家风格的卡通肖像画的方法，先在库中找出与该人脸各部 第1 章绪论 分组件相似的人脸图像，然后将搜索出的库中所有真人相应幽默肖像画的对应部 件进行重组。采用样例学习的方法效果颇佳，但学习画家的风格需要画家绘制大 量的训练样本，代价很高。 1 2 3 人脸动画 1 9 7 2 年，p a r k e 首先开始了人脸动画的研究，引入人脸参数模型。此后的几 十年中，众多学者在这个领域做出许多创造性的研究工作。 到目前为止，人脸动画方法主要有：关键帧差值方法、参数控制方法、肌肉 模型方法、伪肌肉模型方法、变形方法以及表演驱动方法等。 ( 1 ) 关键帧插值方法 4 1 删：关键帧技术来直接源于传统的动画制作。这种方 法是利用最多的一种动画技术，实现起来非常简单。其基本思想是对人脸的表情 在某两个时刻进行建模，得到相应的几何模型，然后在这两个时刻的模型之间进 行插值，得到中间时刻的几何模型，由此可以得到某种处于两种人脸表情之间的 一种新的人脸表情，传统动画的实现方案基本上都是关键帧插值方法的应用。近 年来，有许多数学方法被应用到这一技术中，以达到更好的差值效果，如最早的 线性插值，到样条曲线插值、双线性插值等。 ( 2 ) 参数控制方法i “4 8 】：参数化技术客服了简单插值的一些限制，通过选取 一组独立的参数值，经过少量的计算参数的组合就能构造出人脸表情。但参数化 方法很容易产生不自然的表情，而且需要大量的手工调节去设置参数值。p a r k e 在1 9 7 2 年引入人脸参数模型，指出有两种参数应被考虑：特定人标识参数和人脸 表情控制参数。特定人标识参数因人而异，用于描述特定人的眼睛的大小，鼻子 的高低，额头、下巴的形状等特定人的独立特征表情控制参数则用于描述眼睛 的开合、眉毛的位置变化、脸颊的运动等情况。参数模型建立在网格模型基础上， 面部表情的完成是通过挤压、变形代表面部表情网格的相应区域实现的，使用这 种纯几何模型忽略了人脸的现实层状结构和人脸皮肤的柔韧性，从而降低了真实 性。p a r k e 的人脸模型如图1 - 3 所示。 图卜3p a r k e 的人脸模型 f i g u r e1 - 3p a r k e r sf a c em o d e l 北京工业大学工学硕士学位论文 o ) 肌肉模型方法和伪肌肉模型方法 4 9 巧2 】：p l a t t 和b a d l e r z e l 9 8 1 年提出了最 原始的人脸肌肉模型。该模型中，人脸由皮肤表面顶点相互弹性地连接，并且通 过具有弹性和收缩性的3 8 块肌肉连接到基本骨骼上，通过施加肌肉力来控制和变 形弹性皮肤网格得到各种人脸表情和动作。1 9 8 7 年，w a t e r s 提出了一种向量肌肉 模型，利用肌肉向量去控制人脸表情，通过模拟人脸组织和肌肉的物理特性来模 拟人脸肌肉运动。这是一种基于物理属性的合成面部结缔组织和一组基于解剖学 的面部肌肉活动的结合。这里的肌肉被定义为向量的形式，包含起点和插入到人 脸网格中的控制顶点。不同肌肉的运动仅限于一个局部的变形区域，这个变形范 围是按c o s i n e 函数因子定义的一个圆锥体形状。同时w a t e r s 将嘴巴等器官的变化 使用一个圆环形的轮匝肌来模拟，轮匝肌围绕一个椭球中心收缩，如图1 - 4 所示。 在向量肌肉模型中，如何按生理学的规律正确放置肌肉向量是一项非常困难的工 作，不正确的肌肉向量定位，会出现不自然的表情动画，甚至出现不可能发生的 表情动画，因此需要反复实验来得到比较好的效果。要实现人脸肌肉模型，需要 大量的细致的手工调节工作。为克服这些缺点，出现了伪肌肉模型。伪肌肉模型 不涉及人脸内部复杂的生理结构，但使用类似于肌肉的方式对人脸的局部网格实 施变形。m a g n e n a t - t h a l m a n n 等人开发了一个肌肉模型，其控制参数是“抽象肌 肉运动( a m a ，a b s t r a c tm u s c l ea n i m a t i o n ) ”过程，这些a m a 过程与f a c s 运动单 元有一定的相似性，但又不完全相同。这些a 龇过程间并不独立，而且运动的 顺序非常重要。该模型允许通过控制低级a m a 过程和高级“表情”参数来进行 面部控制。 图卜4w a t e r s 的肌肉模型 f i g u r e1 - 4w a t e r s m u s c l em o d e l ( 4 ) 变形方法【5 3 】：计算机动画中另一类重要的运动控制方式是变形技术。变 形可以是二维或三维的。基于图像的w a r p i n g 和m o r p h i n g 是常用的二维动画技术。 图像本身的变形称为w a r p i n g ，图像之间的插值变形称为m o r p h i n g 。对图像作 w a r p i n g ，首先需要定义图像的特征结构，然后按特征结构变形图像。两幅图像 的m o r p h i n g 方法是首先分别按特征结构对两幅原图像w a r p i n g 操作，然后从不 同的方向渐隐渐显地得到两个图像系列，最后合成得至l j m o r p h i n g 结果。常用的二 第l 章绪论 维和三维变形方法有基于网格的方法、基于特征线对的方法、径向基函数的方法 和f f d 方法等。m o r p h i n g 技术在电影特技处理方面得到了广泛的应用。 ( 5 ) 表演驱动方法【斗5 7 】：这种方法通过从连续视频图像序列中提取信息作为 动画系统的控制输入。通过跟踪表演者面部的各个特征点并将图像纹理映射到多 边形模型上，仅仅需要很少的计算消耗且不需分析就可以得到实时的面部动画。 表演驱动的方法可以创建生动的脸部动画，其中动画受控于被跟踪的人。通常将 被跟踪的二维或三维特征运动进行滤波或变形，产生驱动特定动画系统的运动数 据。运动数据可直接用于产生脸部动画，或经过分析转化为面部动画参数而产生 脸部表情。精确跟踪特征点的运动对于获得一致而生动的动画至关重要。 1 3 文章的研究内容和组织结构 本文所涉及的研究课题得到了国家自然科学基金、北京市自然科学基金以 及北京市属市管高等学校人才强教计划资助。研究的主要目标是试图给出一套 基于视频跟踪的卡通人脸动画理论方法与算法模型；研究内容包括三部分：基 于视频的人脸特征跟踪、二维卡通人脸建模以及人脸表情动画合成。其中，在 卡通人脸建模方面，重点研究二维夸张化卡通人脸的生成过程。 本文的主要贡献有五点： ( 1 ) 根据人脸特征点所在区域的不同特征进行分组，对不同组的特征点提出 了分别采用光流、弹性图匹配以及图像二值化方法进行跟踪点的跟踪，获得了较 好的跟踪结果。 ( 2 ) 受视频编码算法的启发，对光流跟踪特征点方法进行了改进，将通常的 只参考其前一帧改为参考初始帧和前一帧两帧，即将这两帧的加权和作为对当前 帧的预测，从而减少了累计误差，提高了跟踪的准确性。 ( 3 ) 将光流跟踪与弹性图匹配方法有效地结合起来，提高了弹性图匹配时的 搜索速度。 ( 4 ) 在卡通人脸的生成中，采用将基于规则和基于样例两种方法结合起来对 与众不同的人脸特征进行形状夸张，既减少了样本用例，同时又生成了具有画家 风格的夸张化卡通人脸。同时，在实施人脸变形阶段引入了动画领域中的局部变 形方法，通过限制变形参数的影响区域改进了该方法。 本文共由5 章组成，各个章节内容安排如下： 第l 章绪论。本章介绍了视频驱动人脸动画的研究背景与意义；分别从人 脸跟踪、人脸建模及人脸动画三个相关方面介绍了视频驱动人脸动画的研究进展 和研究现状；给出了本文的主要研究内容、组织结构及主要贡献。 第2 章视频人脸特征跟踪。本章根据人脸特征点所在部位的不同特征，引 北京工业大学工学硕士学位论文 入了三种不同的跟踪方法? 基于光流的方法、基于弹性图匹配的方法以及基于 图像二值化的方法。同时介绍了这些方法的基本概念、主要算法，并讨论了在实 现中的具体应用和改进。 第3 章夸张化卡通人脸生成技术。夸张化卡通人脸的生成主要包括形状夸 张和纹理转换两个方面，本章重点研究形状夸张。文中回顾了当前已有的夸张人 脸生成方法。通过比较，提出了本文所采取的方法，并得到了本文系统中所使用 的二维虚拟人脸 第4 章基于m p e g - 4 的二维人脸动画技术。本章介绍了m p e g - 4 人脸动 画技术，重点介绍了将针对于三维人脸设计的m p e g - 4 人脸动画机制中的f a p 和f d p 参数进行了修改使其符合本文的二维卡通人脸动画以及特定人脸f a p 的 计算方法。既满足了实际需要，同时，又提高了表情动画的合成速度。 第5 章系统框架及实验结果。本章总体介绍了视频驱动人脸动画系统的各 功能模块的具体实现以及最后的实验结果。 最后，对整个论文主要工作和成果进行了总结。 第2 章视频人脸特征雕踪 第2 章视频人脸特征跟踪 要实现视频驱动的人脸动画，准确获取视频中人脸的运动数据是最基础也最 重要的一项。本章不考虑头部的刚体运动，仅对与表情变化密切相关的2 2 个人 脸特征点进行了跟踪，如图2 - 1 所示。本文采用“分而治之”的策略，给出了将 多种方法相结合的一种特征点跟踪方法，从而在不借助任何外部条件( 如贴标记 点) 的基础上获得了较为准确的运动数据，同时为以后的人脸动画打下了基础。 图2 - 1 人脸跟踪的2 2 个特征点 f i g u r e2 - 1t h e ：2 2f e a t u mp o i n t so f f a c i a lt r k i n g 2 1 问题的提出 准确获取人脸特征点的运动数据是实现m p e g - 4 机制下人脸动画的关键。那 么，应该采取什么样的方法来准确跟踪特征点昵? 根据是否在人脸上贴标记点， 将基于视频的人脸特征点跟踪分为未标注的人脸运动数据获取方法和基于标注 的人脸运动数据获取方法。第一种方法对取得的人脸图像，使用图像分析和计算 机视觉的技术提取人脸特征点及运动信息，如光流1 1 7 也 捌、s n a k e 1 、可变形 模板1 6 1 】等方法。光流因可以从单个象素的角度进行特征点的跟踪而受到广泛地应 用。在外界环境和跟踪点周围的纹理特征变化都不大的情况下，光流跟踪速度快 且结果准确。s n a k e 和可变形模板的方法均利用曲线( 点集) 来逼近特征所在位 置的边缘，要求边缘信息比较突出。第二种方法直接在人脸上标注一些荧光点或 彩色点，然后在图像中提取这些点的信息。这种方法获得的数据更为准确，但是 有些场合在人脸上使用这些标记点又不切实际。 本文采用未标注标记点的方法对所选特征点进行跟踪。由于人脸不同的部位 北京工业大学工学硕士学位论文 具有不同的特征，而不同的跟踪方法也有其具体的适用情况，因此，本文采用了 一种“分而治之”的策略，即对具有不同纹理特征的特征点进行了分组，对不同 组的点选用了不同的跟踪方法。具体方法如下： 对于图2 - 1 中红色标记的特征点，在人脸表情变化的过程中，其周围的纹理 特征没有大的变化，满足光流算法的基本假设，因此本文选用基于光流的方法从 单个象素点的角度进行跟踪。嘴是人脸丰富表情的主要体现者，人脸表情变化时， 嘴部的纹理通常会产生较大的变化；另外，眼睛周围的纹理也会在眼睛张、闭的 过程中有较大改变。因此对于嘴和眼皮上的特征点( 图2 1 中黄色和绿色标记的 点) ，因不符合光流算法基本假设，无法满足光流的基本公式，如果仍采用光流 跟踪的方法，会导致结果不准确，甚至跟踪失败。考虑到眼睛周围有着丰富而特 别的纹理，其水平的边缘信息比较突出，因此可采用边缘检测或图像二值化的方 法得到点的大致位置以达到跟踪的目的。鉴于使用的方便性和稳定性，本文采用 了基于图像二值化【蚓的方法对眼皮上的4 个特征点进行跟踪。 嘴部的纹理信息非常复杂，伴随有牙齿的出现和隐藏，同时变化幅度较大时 会使光线反射的影响更加突出而导致跟踪的难度进一步增加。一些嘴部特征点的 跟踪采用s n a k e 和变形模板的方法。然而这些方法都要求具有比较好的边缘信 息，因此有时会在嘴上涂上较深的颜色以加强特征，否则也会产生不令人满意的 结果。本文选用基于弹性图匹配【6 列的方法进行特征点的跟踪。弹性图匹配利用 g a b o r 变换在特征点周围提取丰富的频域特征( j e t s ) ，这些特征不仅能够反映 特征点本身的表面特征，还能够它与人脸其他区域的关系。此外，这些特征对光 照和背景变化都具有较好的鲁棒性。 2 2 多种方法相结合的特征点跟踪 本章根据跟踪特征点所在区域的不同特征，分别运用了光流、弹性图匹配以 及图像二值化的方法。 2 2 1 基于光流的特征点跟踪 2 2 1 1 背景知识 光流表达了图像的变化，由于它包含运动目标的信息，因此可被观察者用来 确定目标的运动情况。光流的运动是计算机运动视觉中一个重要部分，是利用运 动图像序列中的灰度图像数据的时域变化和相关性，确定图像象素的运动情况。 ( 1 ) 光流算法基本公式 第2 章视频人脸特征跟踪 1 9 8 1 年，h o r n 和s c h u n c k 首次提出了计算光流场的基本等式。对一个图像 序列，其亮度用i ( x , y ，t ) 来表示。首先定义两个假设： 1 在图像的大部分区域，亮度值，( 工，y ，r ) 只与其所在的坐标x ，y 有关； 2 运动或静止物体上任何一点的亮度值不随着时间而变化。 对于图像上一个运动的物体或着某物体上一个运动的点，假设经过时间西后 其位移为( 丸咖) 。对亮度j ( 而y ，t ) ，用泰勒进行展开为： ， + 出，y + 砂，f + 毋) = j ( 毛) ，f ) + 夏o d x + 万o 方 o 西d r + 公式( 2 1 ) 中的省略号为x ，y ，t 的更高阶偏导数。之后， ，( x + 出，y + d y ，r + 出) = j ( 工，y ，t ) 则有： 昙凼+ 考砂+ 尝研+ = 。 ( 2 - 1 ) 根据假设2 有： ( 2 - 2 ) ( 2 - 3 ) 定义_ d r ：甜，冬：v ，并与公式( 2 3 ) 相结合，除以出，得到： d td t 一丝：塑“+ 丝v ( 2 4 ) 一一“十一v l 二一鼍j 西西 砂 公式( 2 - 4 ) 称为光流约束公式。光流场计算基本等式在速度平面上确定了 一条光流约束线，如图2 2 所示，这条直线上的任何一点( 甜，v ) 都满足基本公式， 可作为图像上所求点处的待选速度。由梯度确定的法向和约束线相交确定唯一一 点“，1 o ) ，满足公式，通常称为法向速度。可由下式求出： 一i t l 耳i 、 忙宵 ( 2 - 5 ) 因此，利用基本等式求光流场，只能确定沿梯度方向的速度分量，而垂直于梯度 方向的速度分量却不能求出，是一个不适定问题。这个问题在光流场计算中称为 孔径问题。 孔径问题表明，由基本等式只能求出光流沿梯度方向的速度分量。如图2 3 所示，c 是具有相同灰度的轮廓线，经单位时间后移动到c 。对于c 上任意一点 ，因为与其他点具有相同的灰度值，所以不能确定其在c 上的对应点p 。因 而，要准确计算光流场，需要寻求其他的约束条件。 北京工业大学工学硕士学位论文 图2 2 光流场基本公式的几何解释 f i g u r e2 - 2i n e r p r e t a t i o no f t h cb a s i cf o r m u l ao f o p t i c a lf l o wf i e l d 图2 - 3 光流计算的孔径问题 f i g u r e2 - 3a p e r t u r ep r o b l e mf o ro p t i c a lf l o wc o m p u t a t i o n ( 2 ) 光流场的附加约束技术 由光流计算中的一个基本公式无法得出未知量u 和v ，必须加入其他约束才 能够唯一确定光流场。研究者们从不同角度入手引入不同的约束，从而产生了不 同的光流分析方法：l u c a s & k a n a d a 技术、h o r n & s c h t m c h 技术以及块匹配技术 等。 l u c a s k a n a d a 技术是一种局部优化方法，采用加窗加权的方法增加约 束条件，进行光流的计算，即对于每个局部区域，使用最小平方和的方 法进行极小化。该方法把光流场的计算变为了线性系统的解。如果在一 个邻域内梯度变化丰富，则可得到唯一的光流值。 h o r n 依据同一运动物体引起的光流场应该是连续、光滑的，即同一个 物体上相邻点的速度是相似的，那么它投影到图像上的光流变化也应该 是平滑的，因而提出了一种利用加在光流场上的附加约束： 第2 章视频人脸特征跟踪 r 础、2f ，孔、2r 8 v 、2f 西、2 l 苏jl 砂jl 舐l 砂j 这样整个平滑约束将光流场的计算问题转化为一个最优化问题。 块匹配技术是视频中最通用的算法。它将图像分割为称为块的小区域 ( 块可能互相重叠) ，并假定每一个块内都可以用一个简单的参数模型 特征化。如果块足够小，这种模型是相当合理的。这种方法复杂度低， 被认为是最通用的方法。块匹配方法没有直接利用光流的基本等式，其 基本思想是：将视频序列划分为许多子块，并认为子块内所有的象素都 有相同的位移，即把整个子块视为一个运动物体。假设在图像序列中， 以帧为时间单位，t 时刻对应第k 帧图像，t - 1 时刻对应第k 一1 帧图像。 对于k 一1 帧中的一个块，在k 帧中寻找与其相似的块，这个过程就叫 块匹配，认为该块从k l 帧中的当前位置运动到第k 帧所处的位置。 这种位置的变化就是运动矢量。 2 2 1 2 光流跟踪方法的改进 光流跟踪方法在光照等因素变化缓慢的情况下，其跟踪结果比较准确、快速。 但由于后一帧以前一帧为参考，随着时间的推移不可避免会产生一定的累积误 差，从而使跟踪结果变得越来越不准确，甚至失败。本文从实际应用需要的角度 考虑，在视频编码方法中获得启发，在选用l u c a s - k a n a d e 光流算法和将拉普拉斯 金字塔图代替灰度图的基础上，提出将初始帧和当前帧的前一帧有机结合起来， 共同作为当前帧的参考，即当前帧为2 个参考帧的加权和：= w j o + 呱。其 中，厶为初始帧，l 为当前帧的前一帧，l 为当前帧。m 、心为权值，其和为 1 ，具体计算公式如下： ! 生q xd ”哥尝篙磊i ! ! ! = ! 6 肾 兰警甄 协6 ， 1 p o + 1 p c l1 e o + 1 p 一l 权值w i 和的确定与2 个因素有关：1 ) 和，分别为利用厶和对l 进行光流跟踪的误差，值越大，对当前帧的影响越小。2 ) a 和b ，分别为根据厶 北京工业大学工学硕士学位论文 和一对t 跟踪的初始影响因子。由于厶中特征点用a s m 结合手工调整进行精确 定位，能够准确代表特征点所在的局部特征，因此认为其对l 的准确性影响应较 i ，。大。本文设口= 0 6 ，b = 0 4 。当特征点位置变动稍大时，根据厶对t 。的跟踪 不如根据t 对l 的跟踪准确。因此，本文对当前帧用厶和l 。的加权和得到。 以上方法较好地修正了当特征点运动幅度、纹理变化均不太大的情况下用光流跟 踪产生逐渐偏移的问题，获得了较好的跟踪结果。此外，本文用拉普拉斯金字塔 图代替了通常的灰度图作为光流跟踪的输入图像，也提高了一定的准确性。 在意外情况下，如有遮挡等，可能会导致有些点跟踪失败。这时可利用跟踪 成功的点和初始定位时求得的点之间的拓扑关系计算出失败点的大致位置，为后 续跟踪提供条件。由于在表情变化的过程中，鼻孔两个特征点的位置及附近纹理 都基本保持不变，光流跟踪比较准确，因此在初始阶段特征点定位之后，求得其 他特征点与鼻孔两点的位置关系。如果鼻孔两点也跟踪失败，则需重新进行初始 化。 2 2 2 基于弹性图匹配的特征点跟踪 2 2 2 1 背景知识 弹性图匹配是人脸识别中的一种经典方法，其基本过程简述为：对原型图m 和图像域中的变化图的弹性图匹配等同于搜索一个顶点位置集合 爿 ，这个集合 能够对顶点和边进行最优化匹配。弹性图匹配方法利用g a b o r 变换在图像中的特 征点周围提取丰富的频域特征。 ( 1 ) g a b o r 变换 研究表明，g a b o r d 、波提供了多精度、多通道表现图像空间到频率域特性的 机制，较好地反映了生物视觉神经元的感受野。与其他方法相比，c r a b o r t j 、波方 法是一种多分辨率的描述，并且能够很好地解决由于环境变化而引起的图像变化 的问题。 g a b o r 变换具有以下一些良好的性质 6 0 1 ： g a b o r 滤波器具有生物学的意义，其核函数与脊椎动物大脑视觉区域皮 层细胞的感受野形状十分类似，能够体现出不同的方向性和尺度性。 g a b o r 滤波器能够充分描述图像的纹理信息，g a