（模式识别与智能系统专业论文）基于三维数据的人脸表情识别.pdf

摘要 迄今为止，表情识别领域的绝大多数工作都是以二维静态或序列图像为 处理对象的。这些方法给出的表情识别率般都较低，而且能识别的表情的 种类也不多，尤其是对微小的表情变化难以识别，成为表情识别研究中的一 大难点。另外，大多数已有的人脸表情识别算法的适应性较差，不能完成对 陌生人面部表情的识别工作，在光照条件不同以及待识别人的头部姿态存在 变化的情况下，也不能取得满意的识别结果。近年来，随着三维成像技术的 发展，三维图像的获取越来越容易。和二维图像相比，三维图像可以提供信 息量更大、鲁棒性更强并且与光照和人的头部姿态等因素无关的三维信息。 显然，将人脸三维图像用于人脸表情识别，可以期望得到更好的结果。 现在进行的大多数的人脸表情识别研究都利用的是二维的人脸图像。三 维成像技术的发展使得三维图像的获得变得容易而且被用在越来越多的地 方。为了充分利用三维图像，在前人的二维图像研究的基础上，本文提出了 一种新的基于三维数据的人脸表情识别方法。此方法根据三维成像仪的特性， 利用得到的三维数据，并结合原始的二维图像进行特征点识别，然后综合分 析特征点的性质完成人脸表情识别。实验表明，本方法能够对六种人脸表情 进行识别，有较高的识别率。 关键词：表情识别、三维数据、特征点 a b s t r a c t t i | in o w , ai o to fm e t h o d sh a v eb e e np r e s e n t e dt os o l v et h ep r o b l e mo f f a c i a le x p r e s s i o nr e c o g n i t i o n t h e s em e t h o d su s u a l l yu s e2 ds t a t i ci m a g e s o ri m a g es e q u e n c e st op e r f o r mt h er e c o g n i t i o nt a s k s i ti su n f o r t u n a t et h a l m o s to ft h e mh a v eo n l yi o wr e c o g n i t i o nr a t e t h e yc a no n l yr e c o g n i z ea s m a l is e to fe x p r e s s i o n s e s p e c i a l l y , m o s to f t h e mc a n n o tr e c o g n i z es u b t l e e x p r e s s i o nc h a n g e s i n a d d i t i o n t h e a d a p t a b i l i t y o f m a n y c u r r e n l a l g o r i t h m si sl o w , t h e yc a nh a r d l yr e c o g n i z et h ee x p r e s s i o n so fs t r a n g e r s a n di nt h ec a s e so fd i f f e r e n ll i g h t i n gc o n d i t i o n sa n d ( o r ) d i f f e r e n th e a dp o s e s s a t i s f a c t o r yr e s u l t sa r eb a r e l yo b t a i n e d r e c e n t l y ，w i t ht h ed e v e l o p m e n t o f 3 di m a g i n gt e c h n i q u e s ，i ti se a s i e rt og e t3 di m a g e sn o wc o m p a r e dw i t h 2 di m a g e 3 di m a g ec a np r o v i d e3 dl n f o r m a t i o nt h a th a sm o r ec a p a c i l y a n di sm o r er o b u s t ，i n d e p e n d e n to fl i g h t i n gc o n d i t i o na n dh e a dp o s e t h u s ， i ti s e x p e c t e dt h a lb e t t e rr e s u l t s c a nb eo b t a i n e d b yu t i l i z i n g 3 df a c i a i i m a g e s i no r d e rt om a k ef u l iu s eo f3 di m a g e s w ep r e p o s e dan e w3 dd a t a b a s e d e x p r e s s i o nr e c o g n i t i o nm e t h o d t h e m e t h o du s e sb o t ho r i g i n a l3 dd a t aa n d 2 dc o l o ri m a g ep r o v i d e db ya3 di m a g i n gi n s t r u m e n lt oe x t r a c tf e a t u r e p o i n t s a n dt h e nt or e c o g n i z ee x p r e s s i o n sa c c o r d i n gt ot h e s ef e a t u r ep o i n t s t h ee x p e r i m e n t a ir e s u l t s s h o wt h a ts i xf a c i a l e x p r e s s i o n s c a n b e r e c o g n i z e di nah i g hr e c o g n i t i o nr a t e k e y w o r d s ：f a c i a le x p r e s s i o nr e c o g n i t i o n ，3 di m a g e ，f e a t u r ep o i n t 致谢 此论文完成之际，首先我谨向我的导师汪增福老师表示由衷的感谢。他 在我写作本文期间对我进行了极其耐心的指导和帮助，在最后定稿期间，又 认真地对本文进行了审阅和修改。我在实验室里工作学习的这五年多时间里 汪老师严谨的治学态度，和蔼可亲的待人方法，正直的为人和对学术前沿的 极为敏锐的洞察力，都给了我很好的熏陶，令我受益非浅。 n 时，我也要感谢我的班主任陈锋老师，在这三年的学习生活中，他给 予了我大量的帮助与关怀。 特别地，我要感谢我们实验室的研究生王龚，范斌，董志峰、吴新宇 詹羽中、胡元奎、刘伟峰同学。他们为本文的顺利完成提供了大量的帮助。另 外，我还要感谢我们实验室的关胜晓、郑志刚两位老师，研究生金学成、i 新欣、李晓伟、韩龙、赵海鹰、郭眷钊同学，与他们一起合作，我感受到了 良好的学习和工作的氛围。 我并以此文献给我的父亲，母亲和我所有的亲人，感谢他们对我的养育与 关怀。 最后，我最衷心地感谢我所在的s a 0 1 0 1 0 班的全体同学和朋友，他们令 我度过了充实而又有意义的三年研究生学习生活。同时，我还要感谢自动化 系的所有老师，以及所有曾经在学习和生活中帮助和关心过我的知名的和不 知名的2 , 4 1 。 文沁 中囝科学技术入学硕l j 毕业论义 第章绪言 一位老人在自动取款机屏幕前眯起了眼睛，屏幕上的字号码上放大了一 倍。一位妇人对购物中心的信息显示台上的旅游广告笑了，提示该信息台打 印一张旅游优惠券。几个用户对另个信息显示台上的粗俗广告皱眉头，商 店随后就将其去掉。由于用户的情感能提供丰富的营销信息，对于像银行和 商场这样的场所，使用能响应表示感情的面部表情的机器将会对营业很有帮 助。 人的面部能够传达大量的信息，是人与人互相区别以及通过表情传递情 感的重要的部位。人们总是通过各种各样的表情来表达自己的情感，因此人 脸包含了大量的特征信息。 人脸表情在人与人的交流中发挥着重要的作用。有报道称，在人们的交 流中，只有大约7 的信息是通过语言来传递的，而通过表情来传递的信息 大约是5 5 。因此，如果计算机能够更好的理解人们的表情从而更好地对人 们的情感做出反应的话，就能构造出更加友好的人机界面。 人们之间的交流主要通过两个方面：口语的( 听觉) 和非口语的( 视觉) 。 前者最基本的信息单元是单词，而像面部表情、身体移动和心理反应等则是 非口语交流的基本单元。虽然在交流中，非口语形式的交流并不是必需的， 但许多心理学的研究表明，在对话中同步使用表情和手势可以使交流更加明 确和方便。这就是蜕，实现人机交互可以使计算机系统的操作更加方便也更 有效率。 表情识别的目的就是通过对人脸面部图像的分析，分辨出待识别人的表 情。表情识别是实现人机交互的一种手段，使得机器能够识别操作者的表情， 决定下一步的动作。这项技术现在已经被应用在工业、商业、医学、心理学 等很多方面。 近年来，人脸表情识别成为了模式识别的个发展重点，得到了飞速的 文沌中同科学技术人学坝 毕业论文 发展。己经建立起基于模型、基于神经网络和基于隐马尔科夫过程的三大类 识别方法。处理的对像大多是人脸的正面或侧面二维图像( 图像序列) ，处理 方法已经趋于成熟。随着三维成像仪的广泛应用，获得三维图像更加方便。 加上三维图像的数据量比二维图像更大更全面，对三维图像的研究将越来越 多。本文的研究正是利用了三维图像，并结台二维的方法而展开。 文沁中国科学技术人学硕l 。毕业论文 第二章研究背景 2 1 概述 在第一章里提到了表情识别的几种可能的应用。一家叫n c r 的公司f 在 于洛杉矶的南加州大学( u s c ) 综合媒体系统中心在一项叫e m o t i o n s 的项目 上进行合作。他们的想法是捕捉用户面部特征和动作，尤其是眼睛和嘴巴周 围的特征和动作，并将图像与数据库中面部特征模板进行比较，了解基本的 感情。 i b m 也在d i 】, 7 - 圣何塞市的a l m a d e n 研究中心研究感情表达的计算机识 别。通过蓝眼睛计划，i b m 正在开发基于眉毛和嘴角位置的“感情检测”算 法。这个设想是要计算机采用适合用户个性的工作风格。例如，若他感觉到 用户很沮丧，它就可能给出不同类型的显示。 人的面部能够传达大量的信息，是人与人互相区别以及通过表情传递情 感的重要的部位。人们总是通过各种各样的表情来表达自己的情感，因此人 脸包含了大量的特征信息。 人脸表情在人与人的交流中发挥着重要的作用。有报道称，在人们的交 流中，只有大约7 的信息是通过语言来传递的，而通过表情来传递的信息 大约是5 5 。因此，如果计算机能够更好的理解人们的表情从而更好地对人 们的情感做出反应的话，就能构造出更加友好的人机界面。 人脸中包含了关于人们行为的大量信息，面部表情能表现感情、规范社 会行为、表示交流信息，它与人们的语言有关，而且还能反映人们的思维活 动。面部表情是人们交流思想和感情的一种最有效、最自然也最直接的方法。 在人们说出自己的感情之前，面部表情已经将感情表现了出来，有时表现感 情的速度甚至比意识到自己的感情的速度还要快。近二十年来，自动识别人 脸表情的研究已经取得很大的进展。大部分的系统都尝试去识别一小类典型 的表情，如喜悦、惊讶、愤怒、悲伤、恐惧和厌恶。这些研究都是延续了早 期d a r w i n 7 以及近期e k m a n 8 、f r i e s o n 9 平 1i z a r d 1 0 等人的工作，他们都 文沁 中国科学技术大学顺i 毕业论文 认为这几种基本的感情有典型的表情与之对应。实际上，这几种供研究的典 型的表情在日常生活中出现的相对较少，而些较小的表情变化出现较多。 在这些情况下，只有少数的面部特征发生了微笑的变化，如愤怒时紧缩嘴唇， 悲伤时嘴角降低等。 上世纪末，计算机增加了许多新的输入输出设备和新的功能，使得在人 机交互系统中，计算机使用者的情感可以在他的动作、语音和表情等信号中 反映出来。人脸在同常生活中发挥着重要的作用，因此，许多近期的人机交 互系统的研究都集中在表情分析方面，希望在人机之间通过表情分析实现对 话。为了实现表情识别，必须进行表情建模、表情分析和表情分类三个方面 的研究。从生理的角度看，人脸表情是由于面部肌肉的收缩引起面部特征的 变形而产生的。表情识别工具的构造用到了哲学、生物学、生理学和心理学 等多方面的知识。 而在具体应用中的工程应用、心理学、人类学、整容术和牙科等许多领 域，人脸和表情都得到了广泛的研究，成为个重要的研究课题。人脸显示 了一个人的身份而面部表情则显示一个人的情感状态。在工程应用领域，已 经开始使用机器自动识别人脸及其表情。另外，由于表情在人们的交流中发 挥着重要的作用，使用机器自动识别表情就可以减小面部数据传输时的带宽， 并在计算机和使用者之间建立一个友好的交流界面。 人们之间的交流主要通过两个方面：口语的( 听觉) 和非口语的( 视觉) 。 前者最基本的信息单元是单词，而像面部表情、身体移动和心理反应等则是 非1 5 语交流的基本单元。虽然在交流中，非口语形式的交流并不是必需的， 但许多心理学的研究表明，在对话中同步使用表情和手势可以使交流更加明 确和方便。这就是说，实现人机交互可以使计算机系统的操作更加方便也更 有效率。 表情在人们的交流中发挥了很大的作用。m e h r a b i a n 1 1 】就曾经指出，在 人们面对面的交流中，只有7 的信息是通过语言来传递的，还有3 8 的信 息是通过一种称为辅助语言( p a r a l i n g u i s t i c ) 传递，而通过表情表达的信息则多 4 文扎 中田科学技术人学碳 。毕业论史 达5 5 。和人与人的交流一样，在实现人机交互时，为了实现一个更友好的 交互界面，就需要计算机能够对使用者的表情做出判断。因此，近十多年来， 人们对人脸及其表情进行了大量的研究，提出了许多新的方法。 在早期的研究中，k a t o 1 2 币g 用等密度图像来合成面部表情。他认为， 随着面部表情的变化，所提取出的等密度图像也发生变化，根据这个变化可 以有效地将表情进行分类，但他并没有对此进行详细的研究。t e r z o p o u l o s 和 w a t e r s 1 3 1 同样也是只研究了表情的合成，而不是表情的识别。他们根据面部 肌肉提出了一个三维动态模型，并通过估计肌肉收缩的一些参数，利用变形 曲线技术来合成人脸表情。 在研究表情时使用神经网络也是表情是别的一个重要的研究方向。 m o r i s h i m a 1 4 使用一个五层的手动输入的神经网络，z h a o 和k e a m e y 1 5 】使 用的是三层的手动输入的反向传播神经网络。 k a n a d e 1 6 提出了一种需要进行手动预处理的表情识别系统，利用隐马 尔科夫模型在面部图像序列中识别面部运动单元( a u ) 。先在图像序列的第一 幅图像中，在眉毛、眼睛、鼻子和嘴的轮廓上手动标定面部特征点，然后利 用- - 0 e 光流算法在剩下的图像中自动跟踪这些特征点。 e s s a 和p e n t l a n d 4 j 建立了一种几何学的基于运动的人脸模型，然后希望 在一种光流方法的基础上对人脸表情进行识别和分类。他们利用了一种二维 的运动能量模板，这个模板对运动的强度和方向进行了编码。通过对四种表 情( 愤怒、厌恶、喜悦和惊讶) 的理想的二维运动的观察，他们对这几种表情 定义了一种时间空间模板。虽然他们提出的这种方法现在仍然没有完全实现， 但是他们的这种面部表情的时间空间模板对表情识别创立了一种独特的研究 方法。 b l a c k 和y a c o o b 1 7 也利用图像运动的光流模型来分析面部表情。他们使 用了参数化的光流模型来识别六种基本的表情( 悲伤、喜悦、愤怒、厌恶、恐 惧和惊讶) 。k o b a y a s h i 和h a r a 1 8 i 9 歼究了实时的表情识别、表情分类和六种 基本表情的合成。他们的工作是要实现一个三维的动画人脸机器人，要让这 文沁 中国科学拄术大学硕士毕业论文 个机器人能够识别和重建面部表情。他们是利用面部图像的亮度分布和一个 三层的反向传播神经网络来实现的。 2 2 主要方法简介 识别人脸面部表情是人类的视觉系统的一个重要的功能。表情识别的是 一个复杂的生理过程，是人类从小长期发展积累起来的一种能力。 在表情识别研究出现之前，首先出现的是对人脸识别的研究。大约在上 个世纪六七十年代，出于在辨认罪犯、构建人机交互系统等众多方面的需要， 人脸识别逐渐成为一个非常具有吸引力的研究方向，实用的识别技术开始在 许多领域得到应用。 2 2 1建模方法 在不同的人脸分析的过程中，都会有一些共同的问题，如：人脸的检测、 人脸的表现( 即建模) 、人脸的辨别。其中，人脸的建模是一个非常重要的问 题，不同的建模方法对前期的检测工作以及后期的辨别工作都有很大的影响。 基于状态的人脸模型 虽然近年来丌展了大量的表情识别的研究，但是不容否认的是，这项研 究是非常困难的。研究的主要目的是要对表情进行自动识别，其中必须考虑 到的因素包括光照条件的变化、头部的运动、特征点搜索失败、噪音和遮挡 等等。基于状态的模型主要是针对噪音和遮挡着两方面而提出。 基于状态的面部表情的表示方法已经被一些学者所研究，如t i a n 等人 1 9 。但是这类表示方法在表情识别时的鲁棒性却没有得到足够的研究。遮 挡和噪音对识别的影响一般都没有考虑到。就像p a n t i c 2 0 指出的那样，许多 技术在不考虑面部的部分遮挡的情况下都能有很好的识别效果。而像e s s a 和 p e n t l a n d 4 在他们的研究中就考虑了面部的头发和眼镜的影响。 从对遮挡情况的鲁棒性的角度看，基于状态的面部模型使用的是面部的 文沁 中国科学技术大学顺f ：毕业论立 局部信息，相比起那些同时考虑整个面部的模型有着优越性。比如说，当面 部有遮挡时，利用光流处理整个面部的方法在最后分类的时候运动数据表达 可能会有问题。使用可变形模型的方法可以处理特征点不足的情况，前提是 这个模型的结构和它的分类器都可以处理局部数据。基于特征点的模型可以 处理部分遮挡的情况。 虽然遮挡和噪音至今仍然是表情识别中的一个重要问题，但是针对这个 问题已经产生了大量的充分利用面部整体和局部信息的新技术。b l a c k 和 y a c o o b 1 7 提出了局部参数模型，o t s u k a 和o h y a 2 1 $ 1 j 用光流对眼镜和嘴的 运动进行估计，e s s a 和p e n t l a n d 4 根据运动能量提出了面部动态模型，w a n g 等人 2 2 将人脸的1 9 个特征点联系起来，利用一种标号的图像模型来表示人 脸，c o h n 等人 1 6 用光流法自动跟踪面部特征点，然后通过计算面部特征点 的位移产生特征矢量来进行表情识别。在上面这些研究中，主要采用了光流 分析、特征点提取和边缘提取这三种方法，然后利用特征矢量来进行表情分 类。t i a n 等人 1 9 】提出的是一种基于特征的方法，利用了面部的几何和运动 特征来检测表情特征，并用几何和运动的参数来表示提取出来的特征( 嘴、眼 睛、眉毛和脸颊) 。 为了处理面部部分遮挡的情况，就要求表情分类器对输入数据的不完整 不能太敏感。这就需要利用组合的分类器，它的每一部分都是一个局部特征 分类器，最终的表情分类结果是这些局部分类器的输出的综合。具体的基于 状态的模型有神经网络模型、基于规则的模型、基于模板的模型、统计模型 以及概率模型( 如隐马尔科夫模型) 等。 2 2 2处理方法 1 ) 基于图像序列的处理方法 有一部分研究者认为，表情是连续的而不是固定的，因此他们去尝试识 别表情的连续变化。b a s s i l i 2 3 认为，使用动态图像比使用单幅静态图像能更 准确的识别面部表情。近几年，使用图像序列来识别表情的研究也逐渐增加。 史纯 中田科学技术人学倾f 。毕业论义 有一种利用光流来估计面部肌肉或者运动单元的运动的方法被提出，而且取 得了8 0 的识别率【5 ，2 4 。b l a c k 1 7 提出了一种重要的允许头部运动的面部 表情识别系统。但是对序列图像的研究大多只能对明显的表情进行识别，而 对微小的表情或者表情的激烈程度无法判断。 2 ) 特征人脸( e i g e n f a c e ) 变维分类方法 将e i g e n f a c e 多子空间分类方法用于面部表情识别时，根据连部不同区域 所含表情成分的不同，将人脸图像划分成表情子区域，构成表情子图像，分 别对各类表情子图像集求解其表情特征子空间。识别时，用变维分类方法把 表情子图像分别投影到各个表情特征子空间上，根据该图像与其在表情特征 子空间的投影之间的相似性来进行分类。 e i g e n f a c e 技术是近期发展起来的用于人脸或一般性刚体识别以及其他 涉及人脸处理( 如人脸跟踪) 的一种方法，他首先是出t u r k 和p e a t l a n d 应用 于人脸的判定和识别【2 5 。后来，e s s a 又从人脸序列图像中抽取光流信息， 应用e i g e n f a c e 机型识别人脸的动态表情【2 4 】：m o g h a d d a m 用该方法对脸部图 像进行编码 2 6 、视觉学 - j 和目标检n u 2 7 ；s c l a r o f f 应用e i g e n f a c e 进行三维 空间物体的模板匹配和跟踪 2 8 ；o h b a 和i k e u c h i 把e i g e n f a c e 技术应用于多 视面的物体识别 2 9 】。 这种方法是把一批人脸图像转换成一个小的特征向量集，叫“e i g e n f a c e ”， 它们是最初的训练图像集的基本组件。识别过程是把一幅新的图像投影到 e i g e n f a c e 所定义的子空间，并通过它的投影点在子空间的位置以及投影线的 长度来进行判定和识别。这个方法利用了特征空间，将表情分解，并用各种 特征表示出来，在特征空间中划定了表情区域，通过对特征向量的性质的识 别来判断表情。 文_ ；c ： 中图科学技术大学坝l 毕业论文 3 ) 面部温度图像方法 面部肌肉运动时会产生面部温度的变化。因此，情感的和心理的变化都 可能导致面部温度发生变化，通过对面部温度图像的分析处理就可以对表情 做出判断。利用红外线可以拍摄到人脸的温度图像。由于人眼对红外线不能 感知，这就是的机器人在利用温度图像识别人脸时有着很大的优越性。在这 个方法中，参考的模型是标准人脸网格模型，并将温度图像投影于网格模型 上，得到的是表面带有温度分布的人脸网格模型。实际上，网格模型的作用 在于将温度图像上的温度分布与人脸面部区域联系起来，标示出温度图像上 不同的区域，然后对温度图像进行处理，对表情进行判断。在进行表情识别 之前，先构造出一幅无表情的标准人脸温度图像，利用带表情温度图像与这 幅标准图像之间的差别来进行表情识别。在得到带表情温度图像之后，在鼻 子、脸颊、嘴巴区域检测温度变化，并根据温度的变化情况通过对表情的合 成进行表情判断。这种方法可以用于实时表情跟踪中，检测待识别人在一段 时间中的表情变化情况。这种方法给我们提供了一种标准人脸比较方法，并 且指出了表情变化时面部的主要变化区域，为特征检测提供了方便。 4 ) 侧面图像方法 绝大多数的表情识别研究的对象都是人脸f 面的图像，而且对被拍摄的 人脸的姿念有比较严格的限制。此方法尝试了利用侧面人脸图像进行表情识 别，对某些表情有比较好的识别效果，可以作为表情识别的个有益的补充。 在此方法中，主要利用的是人脸侧面轮廓的起伏，这些主要的轮廓起伏都出 现在眼睛、鼻子和嘴巴处。在表情发生变化时，轮廓会伴随着表情发生变化。 在图像中跟踪检测面部轮廓的变化，根据这些变化判断表情。这种方法为我 们提供了表情变化时特征的深度变化信息，为进行三维图像处理提供了参考。 文托中国科学技术人学坝i j 毕业论文 第三章面部表情编码系统 3 1 面部运动编码系统定义 面部运动编码系统( f a c s ) 是用于度量可以辨别的面部运动的一种综合 性系统。它利用4 4 个独特的运动单元( a c t i o nu n i t ) 来描述所有可辨识的面 部运动。根据头和眼睛的位置及其移动，这4 4 个运动单元被分为几类。每一 个运动单元都有一个数字编号，而且每一个编号对应的运动单元都是规定好 的，不能改动。表1 和表2 分别列出了面部运动编码系统中的运动单元编号， 以及产生每一个运动单元的肌肉。图1 显示了面部的肌肉，结合表1 和表2 图1 面部肌肉示意图 义沁 中圈科学技术人学坝l 毕业论殳 可以对各个运动单元有一个大致的了解。 型! ! 幽! 笠监j ! 1 日! 旦凹女型堕垫堡 1 f f i l l e rb r o wr a i s e rf r o n t a l i sp ar sm e d i a l i s 2 0 l i t e rb r a yr a i s e if o n t a l i s p a l sl a t e l a l i s 4b r o wl o w e r e r d e p l o s s o fg l a b e l l a ed e pr e s s o r s u p e r c i l l i ：c o r r t l g a t o r u 1 3 p crl l dr a i s e l l e v a t o fp a i p e b a es u p or i o r i s c h e e kr a i s e r 0r b l c u l a f i s0 c i i | ip a i o r b i t a i l i dt i f l h t e n e ro i l 3 i c u l a r i s0 c t j l ip a l 。p a l e b id i h n o s ewr i n k l e fi - e v a t o tl a b i is u p o l i o r ha l a e , ql i ( n a s i u p p e rl i pr a i s er l e v a t o rl o b i ls u p e r i o r i s ，c a p t i t i i l f r a o r b 心i i s n a s o l a b i a lf o l d z y g o m a t i cm i n o r d e e p e n e r l i pc o r n e rp u l l e r z y g o m a t i cm a j o r c h e e kp u 什0 r c a n i r l u s d i m p l e r b u c c i n a t o r l i pc o r n e rd e d f o s s o ft r i a n g u l a r i s l c v e rl i pd e p r e s s o r d e p r e s s o rl a b i i c h i nr a i s er m e n t a l i s l i pp u c k o r e l 1 n e i s i v i jl a b i is u p e r i o r i s ：i n c f , m i l l ps u e t c l l e i l i p f u n n e l e r l i pt i g h t e n e r l j dp jo s s o f l i p sp a r t l a b0i n t or i o r i s r i s or i u s o r b i c u i a r i o n o r b i o u l a i l 、0 r i 0 r b i c u b s0 d o d i e s s o ll a b i ie lr e l a x a t k a0 m e n t a i l so io r b i t u l a tho i h m a s e t t e l e l l l p or a la l l dl l l t c ll l a p t e r y g o i dr e l a x e d 2 7 m o u t hs tr e t c h p t er y g o i d s ：d i q a , , t r i c ! ! ：i ：! q 塾竖b 盟! ! 型b 坐q ! ! 表1 独立的运动单元 在面部运动编码系统定义的4 4 个运动单元中，有3 0 个是根据解剖学原 理与一些特定的面部肌肉的收缩相对应的，其中有1 2 个运动单元在人脸的上 半部，1 8 个在人脸的下半部。运动单元可以单独出现，或者若干个一起出现。 当几个运动单元一起出现时，它们可能是附加性的( 即简单叠加的，也就是 各个组成的运动单元都不发生改变) ，也可能是非附加性的( 即组合的，也就 是一些运动单元在组合后发生了改变) 。虽然运动单元的数量相对较小，但它 们可以有超过7 0 0 0 种不同的组合【2 】。因此，面部运动编码系统具备了描述 表情细节的能力。 5 6 ，9 ” ”倡幅”伸 加雒船巧 呈望l 一 ! 旦塑堂丝查墨堂塑! 望些堡兰 a un u r n b e rf a c sn a m e 1 9 t o n g u eol i t 2 1n e c kt i a l l t e n e r 2 9 j a wt h r u s t 3 0j a ws i d 女v a y s 31j a wc l e n c l l o r 3 2 l i p b i t e 3 3c h e e kb l o w c f l e e kp u f f c h e e ks u c k t o n g u eb u l g e l i p w i p e 5 廿f fd i l a t o r n o s t r i fc or r l p r e s o r l i c idr o o d s | i t e y e sc l o s e d s q u i n t b i l n k w i n k 表2 粗略定义的运动单元 表3 和表4 中列出了常见的运动单元和它们的一些组合。作为具有非附 加性效果的一个例子，运动单元4 在单独出现时以及在与运动单元1 一起出 现时( 运动单元t + 4 ) 有不同的表现形式。当运动单元4 单独出现时，眉毛 向中间收紧并降低。而在运动单元l + 4 中，眉毛也向中i a 收紧，但是受运动 单元1 的影响，眉毛是抬高了而不是降低了。非附加性组合的另一个例子是 运动单元1 + 2 。当运动单元2 单独出现时，只有眉毛外端抬高，丽在运动单 元i + 2 中，眉毛的内外端都抬高了。运动单元组合的非附加性效果使得对运 动单元识别的难度增大。 许多对表情分析的研究都是针对- - 4 部分典型的表情的。s u w a 等人( 3 在早期的研究中试图在一个图像序列中通过跟踪2 0 个确定点的移动来分析 表情。e s s a 和p e n t l a n d 4 在一个三位的人脸网格模型的基础上提出了一种动 态参数模型来识别五种典型的表情。m a s e 5 用光流法计算了经手动选择确定 的面部肌肉区域的运动。y a c o o b 和d a v i s 6 贝t j 在m a s e 的基础上，利用光流 法计算了面部特征( 眉毛、眼睛、鼻子、嘴) 区域的运动。 弱姻们蛇帖蛎惦 兰鎏 中国科学技术人学硕 毕业论史 - - _ h h - - ，二= 二二 。7 、 表3 人脸上半部分的一些运动单元及其部分组合 对面部运动编码系统的运动单元的识别是一个比较困难的工作，为此而展丌 的研究工作并不多。因为运动单元并没有一个严格的数值上的定义，而且它 们能够很复杂的组合在一起。m a s e 和e s s a 描述了对应于几种运动单元的光 流模式，但是并没有尝试去识别他们。b a r t l e t t 和d o n a t o 等人对面部上半部 和下半部的运动单元进行了识别，并得到了大量的实验数据。他们都是利用 头部任意运动的图像序列，手动地在坐标系中将图像序列中的人脸排列起来、 然后旋转图像使得被拍摄者的眼睛保持水平，得到人脸的坐标，最后切割出 一个6 0 x 9 0 像素的窗口进行识别。b a r t l e t t 等人识别了人脸上半部单独出现的 6 种运动单元( a u l ，a u 2 ，a u 4 ，a u 5 ，a u 6 ，a u 7 ) ，但是没有识别他们的 组合。他们在分析特征时还在一个混合式系统中运用了整体空i h j 分析和光流， 最后得到了9 0 9 的识别率。d o n a t o 等人比较了几种运动单元识别技术，包 括光流、基本成分分析、独立成分分析、特征分析和g a b o r 小波表示法等。 当运用g a b o r 小波表示法和独立成分分析时识别率最高，达到了9 5 5 ，这 兰塑生 妻旦! ! i 兰垫查盔堂! ! ；! | - i ：兰些堡苎 一m t wf 0 ex 表4 人脸下半部分的些运动单元及其部分组合 是能识别六种独立的面部上半部的运动单元f a u l ，a u 2 ，a u 4 ，a u 5 ，a u 6 ， a u 7 ) 以及两种面部下半部的运动单元和四种运动单元的组合( a u l 7 ，a u l 8 ， a u 9 + 2 5 ，a u l 0 + 2 5 ，a u l 6 + 2 5 ，a u 2 0 + 2 5 ) 。出于分析的目的，他们处理运 动单元组合是把它当作一个新的独立运动单元来处理的。c a r n e g i em e l l o n 大 学的机器人研究所的表情研究组也提出了多种表情分析系统。c o h n 等人以及 文沁 中国科学技术人学硕 。毕业论文 l i e n 等人利用深度流、特征点跟踪和边缘提取等方法识别了上半脸部的四种 独立运动单元和两种运动单元组合( a u 4 ，a u 5 ，a u 6 ，a u 7 ，a u i + 2 ，a u l + 4 ) ， 以及下半脸部的四种独立运动单元和五种运动单元组合( a u l 2 ，a u 2 5 ， a u 2 6 ，a u 2 7 ，a u l 2 + 2 5 ，a u 2 0 + 2 5 + 1 6 ，a u l 5 + 1 7 ，a u l 7 + 2 3 + 2 4 ，a u 9 + 1 7 2 5 1 。 在他们的研究中，仍然是把运动单元的组合当作一个新的独立运动单元来处 理的。根据识别方法合作是别的运动单元的不同，平均识别率从8 0 到9 2 不等。 3 2 面部运动编码系统相关简介 对情感的研究是作为心理学调查的一个课题而上世纪末出现的，而在此 之前的很长一段时间，都没有对此进行足够的研究。而人们恢复对这项研究 的兴趣的原因要追溯到上世纪七十年代，那时候人们就认为表情是和情感联 系在一起的，并且开始寻找一种编码系统来识别表情。这些尝试包括1 9 7 1 年e k m a n 、f r i e s e n 和t o m k i n s 提出的面部运动计分技术，1 9 8 3 年i z a r d 、 d o u g h e r t y 和h e m b r e e 提出的一种利用整体判断的表情识别系统，1 9 8 2 年 e k m a n 和f r i e s e n 的e m f a c s 系统，1 9 8 0 年t r o n i c k 、a l s 和b r a z e l t o n 提出 的单细胞状态理论，1 9 7 9 年i z a r d 的最大区别面部动作编码系统，以及1 9 7 8 年e k m a n 和f r i e s e n 提出的面部运动编码系统。 上面这些系统中大部分都可以使研究人员能够对情感状态作出判断，并 通过对情感状态编号来对表情进行编码。这些系统都很容易掌握并且很有影 响力。但是他们都有一些缺点，比如说：不同的系统对不同的表情运动可能 会有相同的编号；都认为面部表情和情感准确的对应，而这种对应是有疑问 的；一些辅助语言或者不用语言的表情( 如用于问候的耸眉毛) 被忽略掉了。 这样的结果是，对表情的描述性的方法越来越多地被运用到对情感的研究中， 其中最主要的方法有1 9 7 9 年i z a r d 的最大区别面部动作编码系统和1 9 7 8 年 e k m a n 和f r i e s e n 的面部运动编码系统。 早在1 9 6 9 年，h j o r t s j o 就做过面部编码的丌创性的工作。而1 9 7 8 年的面 文托 中国科学技术大学硕1 ：9 业论文 部运动编码系统是h j o r t s j o 的工作的延续和改进，甚至比1 9 9 2 年经过o s t e r 等人改进的最大区别面部动作编码系统还要全面。f a c s 系统有3 0 个单独的 运动单元和1 4 个粗略定义的混合的运动组成，通过对缓慢变化的面部动作的 观察，能够很容易的对所有可能的面部运动进行编码。每一个运动单元都在 解剖学基础上有确定的肌肉与之对应，而粗略定义的混杂的运动并不是建立 在解剖学基础上的。相比之下，i z a r d 的最大区别面部动作编码系统能提供的 对面部运动的描述就显得不够完整，而且经常把解剖学上区别不大的表情当 作要严格区分的表情，反而无法区分那些在解剖学原理中截然不同的表情。 面部运动编码系统是一个纯描述性的系统。由于它的强大的描述能力， f a c s 已经在很多领域逐渐成为面部运动的测量标准，比如情感的社会学和 外科学研究、计算机视觉、计算机图像、神经系统科学等领域。绝大部分利 用了f a c s 系统的研究工作使用的都是姿势固定的表情，被拍摄者被要求按 照某一种典型的情感表达出相应的感情。虽然对这种固定姿势的表情的研究 已经取得了很多重要的成果，但是f a c s 系统真f 吸引人的地方在于它能够 对自发产生的表情做出迅速、客观而且非常可靠的分析。而f a c s 系统能够 在研究中得到广泛的应用f 是因为它能够对白发产生的表情进行可靠的编 码。 在情感科学及其相关领域，f a c s 编码得到了广泛的应用，但是与f a c s 相关的心理学的知识却没有什么发展。所以，当我们要对f a c s 系统的编码 能力进行效率测试时，关于它对独立运动单元及其强度的编码能力，特别是 当它用于自然表情时的编码能力的相关知识去少得可怜。因此，如果想当然 的认为，因为f a c s 能很好的测度人为的做出的表情，那它就能很好的测度 自然表情的话就显得太主观了。因为与特意做出的表情相比，自然表情在形 态学和动力学方面与前者都有很大的不同，包括面部运动的速度以及流畅性 等等都不同。而且。在自然表情中，像头部移动和面部部分遮挡这样影响编 码的情况都会出现。为了能适应头部的更大范围的运动，虽然可以使用宽镜 头，但是这样会使人脸在图像上的比例缩小，对表情的变化的编码就会变得 文托 中国科学技术大学坝i 。毕业论义 困难。在进行f a c s 效率测试时，要求系统对自然表情的编码能力能够比一 组用于对比的系统的编码能力强。事实上， f a c s 在编码能力上确实有着很 高的可靠性。因而f a c s 成为了表情研究中的一个非常重要的理论，它的编 码思想被广泛的应用到了许多研究中，现阶段的表情研究都或多或少的受到 了这种思想的影响。 文沁 中国科学技术人学硕l 毕业论文 第四章表情识别 面部表情是人类在进行交流时所采用的最有效、最自然和最直接的一种 途径，也是人机交互应用中很重要的一种信息资源。研究表明，人在交流中 一半以上的信息是通过表情来传递的。人在表达自己的感情之前，面部会做 出相应的反应。因此，通过对面部图像的观测和分析从而完成对人脸表情的 识别是完全可能的。基于图像的人脸表情识别是以种非接触式的方式来完 成所需的识别工作的，这一点对于实现自然、和谐的人机交互至关重要。幽 于这个原因，人脸表情识别已经成为包括情感计算、人机交互、计算机视觉 和模式识别等在内的相关研究领域的一个重要发展方向 4 ，3 0 ，3 1 ，5 ，1 7 ， 3 2 1 。国际上有很多研究小组在从事这方面的工作，提出了包括( 1 ) 基于模 板的、( 2 ) 基于神经网络的、( 3 ) 基于规则的、( 4 ) 基于主成分分析的、和 ( 5 ) 基于i - i m m 的，等在内的多种人脸表情识别方法。迄今为止，表情识别领 域的绝大多数工作都是以二维静态或序列图像为处理对象的。这些方法给出 的表情识别率一般都较低，而且能识别的表情的种类也不多，尤其是对微小 的表情变化难以识别，成为表情识别研究中的一大难点。另外，大多数已有 的人脸表情识别算法的适应性较差，不能完成对陌生人面部表情的识别工作， 在光照条件不同以及待识别人的头部姿态存在变化的情况下，也不能取得满 意的识别结果。 近年来，随着三维成像技术的发展，三维图像的获取越来越容易。和二 维图像相比，三维图像可以提供信息量更大、鲁棒性更强并且与光照和人的 头部姿态等因素无关的三维信息。显然，将人脸三维图像用于人脸表情识别， 可以期望得到更好的结果。 本文的主要工作是在前人工作的基础上，利用