（机械电子工程专业论文）仿人面部表情机器人及表情实现方法的研究.pdf

：海人学顾l j 学位论文 原创性声明 fijlillifj ifl l ll i i ii j r l l l l r l l u l y 17 4 1 5 0 3 i i i i i 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：趋垒3 孽日期： 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：丝鲤一导师签名：砰日期：巡：! ! 芝 u 上海大学工学硕士学位论文 仿人面部表情机器人及 表情实现方法的研究 姓名：唐文彬 导师：柯显信 学科专业：机械电子工程 上海大学机电工程与自动化学院 二零一零年三月 一令一苓，牛二月 i ：海人学硕j ：学位论文 ad i s s e r t a t i o ns u b m i t t e dt os h a n g h a iu n i v e r s i t yf o rt h e d e g r e eo fm a s t e ri ne n g i n e e r i n g 一一 一 t h er e s e a r c ho nf a c i a lr o b o ta n d t se x pr e s s i o nr e a l iationitsr e a l i z a t i o n m d c a n d i d a t e ：t a n gw e n b i n s u p e r v i s o r ：k ex i a n x i n m a j o r ：m e c h a t r o n i c se n g i n e e r i n g s h a n g h a iu n i v e r s i t y s c h o o lo fm e c h a t r o n i c se n g i n e e r i n ga n da u t o m a t i o n m a r c h ，2 0 1 0 i v j ：海人学硕 ：学位论义 摘要 仿人表情机器人作为一种服务机器人，对于实现人机交流具有十分重要的 作用。其人性化、情感化的特点，使得仿人表情机器人的研究有着非常广泛的 前景。上海大学于2 0 0 8 年研制成功仿人面部表隋机器人样机，本文在此基础上 研制了机器人控制系统，并对机器人连续面部表情的实现进行了研究。 本文设计了仿人面部表情机器人s h f r i 的上位机控制系统，该系统由面 部器官运动控制模块、面部表情实现控制模块、视频监测模块、通信模块以及 面部表情识别模块组成，通过串口通信与下位机控制系统进行数据交互，对机 器人本体进行控制。机器人的下位机控制系统以a t 8 9 s 5 2 单片机为核心控制器， 包括了单片机脉冲控制电路模块、舵机驱动电路模块和串口通信电路模块。 采用面部表情静止状态的形式化描述方法，通过构建2 6 维的面部表情形态 向量空问，量化地对面部各种不同形态进行描述。通过时间序列与对应时间点 的面部表情形态序列共同构成了面部表情连续变化的形式化描述，用以生成动 态面部表情。 提出了一种基于表情运动脚本的面部表情实现方法。通过运动规划对长时 间的连续面部表情运动进行运动分割，再使用一种运动合成方法将不同的面部 表情运动单元进行合成。通过这种方法，以脚本作为高层行为指令，可以使得 机器人根据脚本实现进行连续面部表情变化。最后在仿人面部表情机器人 s h f r i 上对该方法进行了实验，获得了较为理想的结果。机器人可以根据表 情运动脚本实现连续面部表情。 关键词：表情机器人；表情运动脚本；运动缝合；表情实现； v 海大学硕i ：学位论义 a bs t r a c t a sp a r to fs e r v i c er o b o t s ，f a c i a lr o b o t s p l a y a ni m p o r t a n tr o l eo nt h e h u m a n c o m p u t e ri n t e r a c t i o n m o r e o v e r , t h e i re m o t i o n a l i t ya n dp e r s o n a l i t yh o l d f o n haf i n ep r o s p e c to ff u t u r ed e v e l o p m e n to ff a c i a lr o b o t t h ef a c i a lr o b o ts h f r 1 w a ss u c c e s s f u l l yd e v e l o p e db ys h a n g h a iu n i v e r s i t yo n2 0 0 8 i nt h i sp a p e r , c o n t r o l s y s t e mo fr o b o ti sd e v e l o p e db a s e do ns h f r - i b e s i d e s ，l o n ga n dc o n t i n u o u s f a c i a le x p r e s s i o na c t i o np r o c e d u r eh a sb e e ns t u d i e d i nt h i sr e s e a r c h ，t h eh o s tc o m p u t e rc o n t r o ls y s t e mh a sb e e nd e s i g n e d ，w h i c h i n c l u d e ss e v e r a lc o n t r o lm o d u l e sa sf a c i a lo r g a nm o d u l e ，e x p r e s s i o nm o d u l e ，v i d e o m o n i t o r i n gm o d u l e ，c o m m u n i c a t i n gm o d u l e ，a n df a c i a l r e c o g n i t i o nm o d u l e t h e h o s tc o m p u t e re x c h a n g e sd a t aw i t hl o w e rc o m p u t e rt h r o u g hs e r i a lp o r t a t 8 9 s 5 2i s s e l e c t e da st h ec o r ec o n t r o l l e rf o rl o w e rc o m p u t e rc o n t r o ls y s t e m t h eh a r d w a r e d e s i g ni n c l u d e sas i n g l ec h i pc i r c u i t r y , a ni s o l a t e dd r i v e nc i r c u i t r yf o rs e r v om o t o r s ， a n ds e r i a lp o r tc i r c u i t r y af o r m u l a t i o nm e t h o df o rd e s c r i p t i o no fs t a t i cf a c i a le x p r e s s i o nw a sa d o p t e dt o d e s c r i b ed i f f e r e n tf a c i a l e x p r e s s i o nq u a n t i z a t i o nw i t hc o n s i s t i n g2 6v e c t o r si t e m s t h e nau n i f o r mm o d e lf o rf a c i a le x p r e s s i o nc h a n g ei sc o n s t r u c t e dw h i c hc o n s i s t so f t i m es e r i e sa n dc o r r e s p o n d i n gv e c t o rs e r i e s f a c i a l e x p r e s s i o n a c t i o n s c r i p t e d i s d e f i n e d l o n ga n dc o n t i n u o u s f a c i a l e x p r e s s i o na c t i o np r o c e d u r e i ss l i c e d b yp r o g r a m m i n gm o t i o n t h e nf a c i a l e x p r e s s i o na c t i o nu n i t sa r ec o m b i n e d b yt h i sm e a n s ，t h a tr o b o tc o u l da c h i e v el o n g a n dc o n t i n u o u sf a c i a le x p r e s s i o na c t i o n f i n a l l y ，t h er o b o t “s h f r i c o u l dr e a l i z e c o n t i n u o u sf a c i a le x p r e s s i o n 。 k e y w o r d s ：f a c i a lr o b o t ；e x p r e s s i o n a c t i o n s ；e x p r e s s i o nr e a l i z a t i o n v i a c t i o n s c r i p t ；c o m b i n e d f a c i a l 上海人学硕 ：学位论文 目录 摘要v a b s t r a c t 目录1 第一章绪论l 1 1机器人发展概况与相关技术。2 1 2仿人面部表情机器人的研究现状2 1 2 1 仿人面部表情机器人的国外研究现状。2 1 2 2 仿人面部表情机器人的国内研究现状6 1 2 3 仿人面部表情机器人的关键技术分析。7 1 2 4 仿人机器人面部表情生成研究现状8 1 2 5机器人情感研究现状。8 1 3课题来源、研究意义及主要研究内容l l 1 3 1 课题来源1 1 1 3 2仿人面部表情机器人的研究意义1l 1 3 3 课题研究内容1 2 1 4 本章小结1 2 第二章人面部表情分析及心理情感研究1 3 2 1 人类面部表情分析1 3 2 1 1 人类面部表情肌分析1 3 2 1 2面部控制点构造及面部器官运动分析1 5 2 2面部运动方式描述1 6 2 2 1面部各部分运动形式化描述1 7 2 2 2 面部各部分动态运动形式化描述2 0 2 3 仿人面部表情机器人s h f r - i 本体2 l 2 3 1 机器人s h f r - i 机械机构2 2 2 3 1 1机器人机构原理2 2 v i i 上海人学硕一f ：学位论文 2 3 1 2 机器人运动机构与驱动器运动分析2 3 2 3 2 机器人s h f r i 硬件系统2 6 2 4本章小结2 9 第三章仿人面部表情机器人控制系统设计3 0 3 1 控制系统硬件电路设计3 0 3 1 1 控制系统结构3 0 3 1 2串口通信硬件电路设计3 l 3 1 2 1 串口通信原理3 2 3 1 2 2 数据传输方式3 3 3 1 2 3 硬件电路设计3 5 3 2 机器人控制系统上位机软件设计3 7 3 2 1系统分析与设计3 8 3 2 2面部器官运动控制模块4 l 3 2 3面部表情实现控制模块4 2 3 2 4 视频监测模块4 3 3 2 5 面部表情识别模块4 3 3 2 5 1 人脸检测方法4 4 3 2 5 2 面部表情识别实验4 5 3 2 6 通信模块4 7 3 2 6 1c s e r i a l p o r t 串口通信类4 7 3 2 6 2通信实现4 9 3 3 机器人控制系统卜位机软件设计4 9 3 3 1 面部表情实现模块程序设计5 0 3 4 本章小结5 4 第四章基于脚本的面部表情实验5 5 4 1 面部表情运动规划5 5 4 1 1 运动分解5 6 4 1 2 运动缝合5 7 v i i i j ：海人学硕j ：学位论文 4 1 2 1丽部表情的相且运动方向分析5 7 4 1 2 2 两个面部表情的缝合5 9 4 1 3面部表情脚本6 l 4 1 4 面部表情脚本设计6 1 4 2 s h f r i 的连续表情实现6 4 4 2 1 用y - 机器人s h f r i 的表情运动缝合原理6 4 4 2 2 机器人s h f r - i 的基丁脚本的连续表情实现6 5 4 3 本章小结6 7 第五章仿人面部表情机器人s h f r i 实验6 8 5 1仿人买那边表情机器人系统研制6 8 5 2 仿人面部表情机器人s h f r i 表情实现实验6 8 5 2 1 s h f r i 面部器官动作实验6 9 5 2 2 s h f r i 面部表情实现实验7 0 5 2 3 s h f r i 基丁- 脚本的连续面部表情实现实验7 l 5 4 结论7 3 第六章结论与展望7 4 6 1结论7 4 6 2展望7 4 参考文献7 6 作者在攻读硕士学位期间公开发表的论文8 l 作者在攻读硕士学位期间公开申请的专利8 1 作者在攻读硕士学位期间所参与的项目8 2 致 谢8 3 一卜海人学硕+ j ：学位论文 第一章绪论 1 1 机器人发展概况与相关技术 机器人是一种在计算机控制下的可编程的自动机器。根据所处的环境和作 业的需要，它具有至少一项或多项拟人功能，如抓取功能或移动功能，另外还 可能程度不等地具有某些环境感知功能( 如视觉、力觉、触觉、接近觉等) 以及 语音功能，和属于逻辑思维：判断决策的功能等，从而使它能在要求的环境中 代替人进行作业川。 机器人基本上是以机械本体结构、关节伺服驱动、计算机控制系统、传感 系统、通讯接口等几部分组成。根据机器人的不同用途可分为：工业机器人或 产业机器人、探索机器人、服务机器人和军事机器人等。根据机器人智能程度 又可分为：一般机器人、传感型机器人、交互型机器人、和自主型机器人等【2 】。 通过数十年来的不断研究，今天的机器人研究己拓展到了多个不同的领域。 随着工业机器人技术的同趋成熟和完善，机器人开始逐步走入医疗、保健、家 庭、体育和服务性行业，比尔盖茨曾表示，机器人产业目前所处的形势，就像 3 0 年前的电脑世界一样。如今，机器人技术亦进入到智能机器人的新时代，在 将来机器人会像计算机一样会改变我们的生活 3 】。对机器人的要求也从简单重 复的机械动作提升为研制具有高度智能性、自主性以及与其他智能体交互的仿 人机器人。这种机器人不再面向简单环境中的给定任务，而是面向与复杂环境 的交互，强调个性和智能化的情感表达。 为此，于上个世纪6 0 年代开始了仿人机器人的研究，并且发展迅速，尤其 是在美、同等国已经发展到竞相研制的局面。经过4 0 几年的发展，它已成为机 器人技术领域的主要研究方向之一【4 1 。仿人机器人的研究不仅要涉及机械、电 子、计算机、材料、传感器、控制等多个领域并且需要识别和理解人的情感状 态，能根据外界环境的变化产生各种情绪，具有较强的情感处理能力，并通过 r 一。 适当的行为和表情对情感进行表达，能体现出仿人机器人所具有的性格。它为 机器人的运动学、动力学及控制理论的研究提供了一个非常理想的实验平台。 ：海人学硕l j 学位论文 1 2 仿人面部表情机器人的研究现状 近年来仿人面部表情机器人的研究在国际上有了新的发展，越来越多的研 究机构及科学组织开展了仿人面部表情机器人的研究。其中欧美及日韩等发达 国家的多家研究机构和大学己开发出了较为成熟的机器人。而我国起步较晚， 仅有不多的几所大学开始对其研究，其中哈尔滨工业大学的技术较为领先。 1 2 1 仿人面部表情机器人的国外研究现状 1 、美国汉森机器人技术公司由d a v i dh a n s o n 博士与2 0 0 3 所创立的汉森 机器人技术公司是仿人机器人领域的开拓者，主要研究仿人机器人社会化、个 性化方面问题及相关技术。该公司已经研制成功多款具有高仿真度的仿人机器 人，并被全世界多家科研机构及博物馆采购。他的第一个仿人机器人头 a n d y r o i d 在2 0 0 2 年美国人工智能促进联会上展出，并当即得到关注。第二代 k b o t ( 见图1 1 ) 在2 0 0 3 年2 月在美国科学促进联会年度会议上展出，它多样化 的表情得到广泛的赞誉，由于采用了汉森独创的f r u b b e r 人造皮肤及伺服电机 通过涂有聚四氟乙烯的尼龙细线与面部的各个表情控制点连接【5 】的控制方式， 与初代机相比该机器人在表情实现上有了极大的提高，从a n d y r o i d 的4 个表 情到k b o t 的2 8 个表情。随后在2 0 0 5 年又研制了具有叙述功能的第三代机器 人p k d 其设计灵感来自著名科幻小说家菲利普狄克( p h i l i pk d i c k ) ，该机器人 能讲述作家的生平事迹及小说。2 0 0 5 年美国人工智能促进联会( a a a i ) 授予 他的p k d 机器人”i n t e l l i g e n tc o n v e r s a t i o n a lp o r t r a i t ”称号。 图1 1k - b o t 与d a 啊dh a n s o n 2 f ：海火学硕1 ：学位论文 d a v i dh a n s o n 没有就此止步，他于2 0 0 8 年又研制了可用于交流的机器人 j u l e s ( 图1 2 ) 。j u l e s 机器人包含有许多有趣特征的配件。将自然语言处理整合 到a s r 、t t s 、计算机视觉、艺术、甚至故事中。你可以直接与j u l e s 进行对话 与互动，整合软件所发展出的人格特性以增进j u l e s 的互动能力。j u l e s 使 用”c h a t b o t ”工具，并综合了几位机器人对话开创者的成果，再加上自然语言 a i ( 如l s a 统计搜寻技术) 与词网，以模拟人类怪异的对话智慧。j u l e s 也使 用计算机视觉，包含脸部追踪与辨识，以仿真完整的语言或非语言上的互动， 如保持眼睛注视与移动视线追随说话对象。j u l e s 目前在英国布旱斯托的西英格 兰大学实际运作。 7 羽 簿囊。1 妒；一 4 “笺。鬟 妒；黪4溺 毫z 一。厶施纽缓喾氇觏。；钼霉譬嗣 图1 2 机器人j u l e s 2 、德国凯泽斯劳滕大学由德国的凯泽斯劳滕大学k a r s t e nb e r n s 教授 等人所研制的表情机器人r o m a n ( 图1 3 ) 不仅具有复杂的头部机构，能够在 传感系统的帮助下在不同的环境中实现不同的面部表情，并且在外形上酷似真 人。r o m a n 不仅能够实现表情，通过计算机视觉处理设备及语音采集系统， r o m a n 还能进行表情捕捉和声控。 图1 3 凯泽斯劳滕大学的机器人r o m a n j ：海大学硕j ：学位论文 3 、美国麻省理工学院人工智能实验室来自麻省理工学院的计算机专家 c y n t h i ab r e a z e a l 教授主要研究机器人的人工智能，使得机器人在行为模式上能 与人类相近，对于研制具有与人类高度相似性的机器人持有反对态度【6 】。她从 人类婴儿与看护者之问的交流获得启发，在1 9 9 9 年研制成功婴儿机器人 “k i s m e t ”，该机器人在面部特征上与人类不尽相同，但是在其行为模式上却与 人类的婴儿具有极高的相似度。整个机器人具有1 5 个自由度，能通过他的眼睛、 耳朵以及大脑来识别人类的情感，并能够表达出相应的喜、怒、哀、乐等丰富 的表情【。 2 0 0 3 年由s t a nw i n t o ns t u d i o 公司赞助并进行艺术方面的设计，c y n t h i a 教 授研制了可以和人类进行交流的宠物机器人l e o n a r d o ( 见图1 - 4 ) ，它一共有6 4 个自由度，头部具有2 4 个自由度。l e o n a r d o 拥有与人类面部表情类似的特征， 可依据人类的表情动作做出相应的表情，并且做出相应的动作。它能与人合作 完成简单的任务：如在l e o n a r d o 前面放置几个按钮，按钮有打开、关闭作用。 l e o n a r d o 可以通过语音、视觉识别向人学习按钮的作用，完成简单的控制任务 【8 1 。 图l _ 4m i t 人工智能实验室与s t a r tw i n t o ns t u d i o 合作研发的机器人l e o n a r d o 4 、同本早稻田大学同本早稻田大学从1 9 9 5 年开始研究w e 3 系列机器人， 最初目的是为了研究平行双眼追踪三维空间的目标【9 1 。1 9 9 6 年w e 3 r 机器人在 其基础上开展了对亮度的适应研究，w e 3 ri i 在外观上加了眉毛、嘴唇和下颚 机构，这样就可以作仿人的表情【i0 1 。w e 3 r i v 机器人加入了嗅觉功能和对颜色 处理功能，w e 3 r v 机器人加入了声音辨别系统【l l 】。到2 0 0 2 年他们研发了w e 4 1 1 2 】 系列机器人，与3 系列相比增加了腰部机构，头部结构更小更轻，同时能分辨 4 j ：海人学硕一f ：学位论文 8 种不同颜色的目标。耳部装有电容式麦克风，通过声音在3 维空间内不同强 度来判断声音的方向。嗅觉功能靠四个半导体气体传感器，它能快速分辨酒精， 氨水，香烟的味道。触觉传感器为f s r s ，根据受到力的不同方式和强度可以分 辨出推、打、敲三种形式【13 1 。如今通过与日本机器人制造商t m s u k 共同开发 他们已经成功现实机器人k o b i a n ( 见图1 5 ) 全身仿型1 4 1 。 图1 - 5 早稻田大学与t m s u k 合作研发的机器人k o b i a n 5 、同本筑波( t s u k u b a ) ，f 1 本产业技术综合研究所( a i s t , n a t i o n a li n s t i t u t e o fa d v a n c e di n d u s t r i a ls c i e n c ea n dt e c h n o l o g y ) 于2 0 0 9 年3 月发布了其最新研制 出的女孩机器人“h r p 4 c ”( 图1 6 ) 。h r p 4 c 会说话，可行走而又具有丰富 表情，可以做出喜、怒、哀、乐和惊讶的表情，其面部特征与普通的r 本女孩 有着极高的相似度。h r p 4 c 身高接近1 5 8 米，重约4 3 公斤，身穿一套银白和 黑色相间的太空服。h r p 4 c ”全身共有3 0 个马达来控制肢体移动。 图1 - 6 日本产业技术综合研究所研制的女孩机器人h r p - 4 c 6 、东京理工大学东京理工大学自19 9 2 年便开始了实现智能机器人与人类 交流的研究，并提出了a h i 概念：1 学会认识和理解人类的感情；2 根据1 选择做 ：海人学硕t - 学位论文 出最合适的反应：3 以最恰当的方式表现出来1 5 】。在1 9 9 3 年他们研发了第一代 机器人，具有1 9 个自由度，可以成功地表现出6 种基本表情。但与人类头部相 比其尺寸、重量过大【i6 1 。为了减小尺寸并更好表现表情，在1 9 9 8 年研发了第 二代机器人，换用s m a 来驱动，直径0 1 5 m m ，驱动力2 4 n 。在尺寸上已经作 到与人类尺寸1 ：1 ，重2 1 k g 。在表现表情上，响应时间也与人类非常接近。机 器人s a y a 在2 0 0 1 年加入了语音功能，用于接待来宾【1 7 】。在2 0 0 3 年完成的第三 代机器人用气动驱动器，它的面部表情是由皮肤下面的1 8 个不同的薄片控制 已经可以连续的仿人做出表情【l 引。最近在2 0 0 6 年他们又研发了弹簧仿人头颈构 件，仿造人的7 块颈椎骨，实现头部多个自由度，使得机器人在仿人表情上又 进了一拶19 1 。 1 2 2 仿人面部表情机器人的国内研究现状 l 、我国仿人面部表情机器人研究尚处于起步阶段。1 9 9 6 年由工程院院士蔡 鹤皋教授与吴维国博士研制了孙中山先生机器人。在2 0 0 4 年吴维国教授首次研 制成功了具有6 种基本表情的仿人面部表情机器人h & f r o b o t 1 【2 0 1 。该机器人 利用制作电影时的材料，制作面部皮肤，一共有1 2 个自由度，头部机构有6 个 自由度，表情机构也有6 个自由度，整个尺寸与真人尺寸基本相同。它能成功 地表现出6 种基本表情。他的眼睛前后2 4 m m ，水平2 3 5 m m ，垂直2 3 m m 。采 用用线控制，为了保证绳子不易磨损，使用钢材料的滚珠和保护管，绳子在滚 子间运动【2 1 1 。2 0 0 6 年在h & f r o b o t i i 型系统上基于知识及神经网络的方法实现 了对人类面部基本表情的视觉识别及机器人再现【2 2 1 。在2 0 0 8 年，在h & f r o b o t i i 型系统的基础上，他们又引入了口型与语音识别协调系统，研制了能够表达1 0 个短句及语音响应的仿人面部表情机器人h & f r o b o t i i i 2 3 1 。 2 、2 0 0 7 年，北京科技大学的王志良教授为了能在2 0 0 8 年奥运会上看到自 己制作的机器人解说员( 图1 7 ) ，他的科研小组运用了机械设计、传感器技术、 舵机控制系统、嵌入式系统、人工智能等技术设计了一个情感机器人头，他可 以和人进行对话并产生表情。该机器人共有1 1 个自由度，眼球4 个，眼睑2 个， 眉毛2 个，颈部2 个，及下颌1 个。为了加装c c d 摄像头、麦克风、及力传感 6 l ：海大学硕l 二学位论文 器等设备，进行了结构设计的简化预留了空i n t 2 4 1 。 图1 7 北京科技大学的机器人解说员 1 2 3 仿人面部表情机器人的关键技术分析 对于表情机器人，与人进行交流协作的关键在于外表、形态，及反应方式 上像人。为了达到这个目的，对于仿人面部表情机器人的机械结构、驱动方式、 表皮设计、和控制方式等进行了研究。 仿人面部表情机器人的工作方式在于实现人类面部表情，根据f a c s 理论 为了实现面部表情，机器人需要具有多达数十个的自由度，并且机器人与人外 形大小要相似，这就要求在有限空间内完成复杂的机械结构设计，同时又必需 把大量传感器和驱动装置装入头部中。日本早稻f f l 大学则是专门设计了一种3 自由度的传动结构，大大节省了机构占用空间。 由于需要将大量的传感器和驱动装置装入有限的空间，大多数传统的驱动 器将无法达到要求。为此必须进行新的探索，东京理工则采用s m a 作为驱动 器，由于其体积很小，使得机器人s y s a 与人大小基本相似。日本的e a m e x 公司研制了一种电活化聚合物( e a p s ) ，它能够在电流的刺激下产生移动，与人 类的肌肉运动方式极其相似，将其作为传动部件将其不需要任何机械部分，这 就大大的节约了空间，但这种材料的造价极其昂贵。 在机器人的外形设计上，主要目的是使得机器人更像人，其中的关键在于 皮肤。这种人造的皮肤不仅在外型上与人相似，并且在运动特性上与人类皮肤 相近。美国的d a v i dh a n s o n 博士在这方面尤其让人惊叹，经过对9 7 0 多种不同 材料的尝试，发明了“人工硅脂橡胶”( f r u b b e r ) ，这种材料运动性能像人类 7 上海人学硕j ：学位论文 面部组织，并且它的低应力特性是可以使用小型伺服电机的关键所在。我国西 安超人公司则是将其在仿人雕塑领域的成熟技术应用于仿人机器人的研制，通 过使用独特的硅胶作为面部皮肤，使得机器人在样貌上与人类有惊人的相似度。 为了使机器人能够产生类人情感并与人类自然和谐地进行人机交互，利用 信息科学的手段对人类情感过程进行模拟、识别和理解，这就是机器人情感。 机器人的心理情感设计，就是对其心理模型的定义。比较典型的是m e h r a b i a 的 p a d 模型，以3 个变量形成的三维心理空间。 1 2 4 仿人机器人面部表情生成研究现状 仿人机器人面部表情主要通过两种方法来实现。第一种就是仿生法，根据 人类面部表情生成机制，模仿肌肉对皮肤的作用效果实现表情的生成。 日本东京科技大学研制的仿人机器人s a y a ，就是这种方法的典型例子。 它通过对面部皮肤下的控制点对皮肤的牵动作用产生各种各样的面部表情。 仿人机器人面部表情实现的另一种方法是采用卡通表现法，通过对人类面 部器官特征的模拟，表现出各种不同的面部运动。如m i t 的c y n t h i a 博士开发 的k i s m e t 系统。通过在机器人的眉毛、耳朵、眼球、眼睑、嘴唇等处设置自由 度来实现面部表情。k i s m e t 的面部表情通过情感激励来实现。 1 2 5 机器人情感研究现状 随着仿人面部表情机器人研究的深入，如何使机器人在更为复杂的环境中 独立完成任务，根据不同的刺激做出相应的反应等问题被相继提出。为了解决 这些问题，引入了机器人心理情感问题，并开始了对面向情感的仿人机器人的 研究。 机器人情感就是人工情感( a r t i f i c i a le m o t i o n ) ，利用信息科学的手段对人类情 感过程进行模拟、识别和理解，使机器人能够产生类人情感并与人类自然和谐 地进行人机交互【3 5 1 。人工情感主要是情感计算方面的研究，是对其心理模型的定 义。虽然由于情绪的复杂性以及人类对本身情感变化规律的研究尚不完善使得 这项工作显得十分艰巨，但对于情感量度的不断探索已经使得这项工作出现了 j ：海人学硕i j 学位论文 进展，加深了各学科对情绪的认识。目前已经有很多关于情绪的模型出现。下 面是几个比较典型新颖的情感心理模型。 ( 1 ) c i r c u m p l e xm o d e l 模型 另外我们使用r u s s e l l 教授的情感环绕模型( c i r c u m p l e xm o d e l ) 来分析人 类与机器人的情感表达。【3 6 1 在该2 个参数“激动”与“氛围”来界定1 8 个相关 情感参数。这个模型可以代表基于一个二维空间的表情空间。表情空间的一根 轴代表了“舒适与不舒适”，另一根这代表了“苏醒与昏睡”。基于r u s s e l l 模 型，我们通过数值化“e x c i t e d 和“a t m o s p h e r e ”来表达不同的情感。 ( 2 ) k i s m e t 心理空间 m i t 的k i s m e t 的心理空间由一个由激励( a r o u s a l ) ，价( v a l e n c e ) 和态( s t a n c e ) 三个轴构成。这个空间被分成以某些特定点为中心的若干个区域，每个区域代 表着特定的一种心理状态，( 见图2 3 ) 。 图2 - 3k i s m e t 心理仝i 司 k i s m e t 具有动机系统、行为系统以及感知系统，通过这三个系统的综合作 用计算得出心理坐标，距离该情感点最近的区域将被激活，产生相应的面部表 情，而情感点与激活区域中心的距离决定了所产生表情的幅度。 ( 3 ) c o g a f t 模型 伯明翰大学的a a r o n s l o m a n 教授提出情感三层体系结构 3 3 8 】。s l o m a n 推测 成人大脑中至少有三层体系结构：一个反应层、一个传输层和一个自我监控层。 在s l o m a n 的体系结构中，反应层探察周围环境中的事物，并自动执行进程以决 9 l ：海人学硕j ：学位论文 定如何反应。传输层能够进行计划、评价选择、作出决定以及分配资源。在传 输层也包括对成功或失败进行认知评价、情感学习并将可靠的学习结果传给反 应层的能力。第三层的自我监控主要进行后期管理，防止目标彼此混淆，并可 以寻找有效的途径来提供传输层操作、选择策略以及分配其资源。s l o m a n 指出 与这一层相关联的情感包括羞耻、羞辱和悲痛等。 基于c o g h f f , s l o m a n 有开发了一个h c o g a f r 模型力图涵盖正常人处理信 息过程的主要特征。如图2 4 所示。 图2 - 4h - c o g a f f 模型 ( 4 ) w e 4 r 模型 同本早稻田大学的w e 4 r 机器人亦有相似的心理模型，由3 个矢量 p l e a s a n t n e s s 、a c t i v a t i o n 和c e r t a i n t y 组成的三维心理空间。 3 9 - 4 1 】他们定义机器人 有7 种心理状态，把该空间分成7 个部分，根据参数计算得出的不同坐标在空 间中位置对应机器人不同的心理状态。 机器人情感研究水平现还处于初级阶段，主要体现在情感理论建模初步化， 成熟的技术还不多。在未来还需要心理学家、生理学家和信息科学家一起就机 器人情感的理论与方法进行深入的研讨。 1 0 j ：海人学硕i ：学位论文 1 3 课题来源、研究意义及主要研究内容 1 3 1 课题来源 1 上海市教委上海高校选拔培养优秀青年教师科研专项基金：仿人面部表 情机器人研究； 2 上海大学机械电子工程国家重点学科“快速反应基会 项目：仿人面部 表情机器人关键技术研究。 1 3 2 仿人面部表情机器人的研究意义 随着科学技术的不断发展，信息技术、计算机技术、人工智能技术的引入， 机器人的研究已逐渐走出工业领域，扩展到医疗、保健、家庭、娱乐、服务性 行业等领域，对机器人的要求也从简单重复的机械动作提升为研制具有高度智 能性、自主性及与其他智能体交互的仿人机器人。尤其是进入2 1 世纪以后，人 口老龄化将越发严重，青年劳动力的不足和老年人大量增多将是一个全世界都 将面对的严重问题。而开发仿人机器人的一个重要目的就是弥补年轻劳动力的 不足，解决老龄化社会的家庭服务和医疗问题【2 5 1 。 对于“仿人机器人”，不仅要具有完成工作的能力，而且能够在许多场合与 人协助完成任务，这就要求仿人机器人能够与人进行有效的情感和信息交流。 面部表情是情绪在面部的表现，它是情绪表达的主要通道。美国著名心理学家 阿尔陪特( a l b e r tm e h r a b i a n ) 认为，在人进行感情表达时，往往言辞的使用只占 7 ，而声调占3 8 ，剩下的5 5 全由体语来完成【2 6 1 。体语就是人的身体语言， 具体来说就是人的表情和动作。由此我们知道，在人的感情表达中体语的作用 是大于语言的【2 9 1 。所以当“仿人机器人”应用在各个领域时，“面部表情”技术 是必不可少、非常重要的。 “仿人机器人面部表情技术”涉及到了机械、电子、信息等机器人基础学 科，还涉及到了生物学、心理学和艺术等各个其他学科。至今，国外相关研究 已有近1 0 年的历史，而在国内还是很少有人问津。由此可见，仿人面部表情机 器人的研究不仅具有现实意义，对我国相关领域的技术发展也意义重大。 上海人学硕十学位论文 1 3 3 课题研究内容 本文是在上海大学的精密机械系进行的，在已研制的上海大学仿人面部表 情机器人s h f r i 平台上完成的。主要研究内容如下： l 、设计了仿人面部表情机器人s h f r i 的上位机控制系统，该系统由面部 器官运动控制模块、面部表情实现控制模块、视频监测模块、通信模块以及面 部表情识别模块组成，通过串口通信与下位机控制系统进行数据交互，对机器 人本体进行控制。 2 、仿人面部表情机器人s h f r i 单片机控制系统的改进，为系统增加串口 通信电路模块、连续面部表情实现模块。 3 、采用面部表情静止状态的形式化描述方法，通过构建2 6 维的面部表情 形态向量空间，量化地对面部各种不同形态进行描述。通过时| 、日j 序列与对应时 间点的面部表情形态序列共同构成了面部表情连续变化的形式化描述，用以生 成动态面部表情。 4 、提出了一种基于表情运动脚本的面部表情实现方法。通过运动规划对长 时间的连续面部表情运动进行运动分割，再使用一种运动合成方法将不同的面 部表情运动单元进行合成。通过这种方法，以脚本作为高层行为指令，可以使 得机器人根据脚本实现进行连续面部表情变化。 1 4 本章小结 随着机器人技术的不断发展，和信息技术、计算机技术以及人工智能技术 等高兴技术的引进，机器人已经超出了工业机器人的范畴进入了服务机器人的 领域。根据最新的研究表明，在未来的1 0 年中机器人的增长点就在于服务机器 人及仿人机器人。仿人面部表情机器人就是仿人机器人和服务机器人中重要的 研究方向。 本章首先介绍了机器人现在的发展状况。随后论述了仿人表情机器人在国 内外的研究状况，并初步论述了本课题的来源、主要研究内容及仿人面部表情 机器人的研究意义。 1 2 下颌支部位。在眼周围有眼轮匝肌、皱眉肌、降眉肌、降眉问肌。在口周围有 口轮匝肌、下唇方肌、颧肌、犬齿肌、上唇方肌、笑肌、额三角肌、下唇方肌、 额肌、颊肌。在鼻子周围有鼻肌。在下颌支周围，有咬肌等。人面部的肌肉属 于表情肌，它的起止点同其他肌肉不同，主要附着在皮肤组织上。表情肌在面 部分布见图2 1 ，对应的肌肉运动情况及对表情作用描述见表2 1 【2 7 1 。 麓靠 图2 1 人体面部表情肌的分布图 上海人学硕j ：学位论文 表2 1 面部表情肌的分布与作用表 肌肉名称简要介纠与其对表情的作用 额肌和枕肌，可视为是一块二腹肌结构的肌肉位丁头顶部。它们朝颅后方向 额肌和枕肌 收缩。额肌收缩能拉上眼睑和眉部向上，并使额部产生横纹，主要作用于惊