基于三维加速度传感器的手势识别及交互模型研究

1、苏州大学硕士学位论文基于三维加速度传感器的手势识别及交互模型研究姓名：孔俊其申请学位级别：硕士专业：计算机应用技术指导教师：张广泉;王辉20090501基于三维加速度传感器的手势识别及交互模型研究中文摘要中文摘要随着以人为本交互理念的提出，自然人机交互技术已经成为当前计算机应用研究的重要方向。手势识别是一种重要的人机交互技术，目前通常采用基于图像处理的方法，虽然基于这种方法的研究已经取得了一定成果，然而由于该方法对光线、背景等外部条件的依赖比较强，对特定的场合和人群的应用时，存在局限性；同时，现有的交互模型并不能很好地支持诸如手势、语音等自然交互方式的应用。针对基于图像的手势识别方法应用的局限

2、性问题，本文提出基于三维加速度传感器的手势识别方法。首先将手势分割为若干原子手势，利用加速度传感器采集每个原子手势执行过程中的三维加速度信息，这些加速度信息经过预处理之后，被作为手势动作的特征量；然后根据这些特征量为每个原子手势建立离散的隐马尔科夫模型（），采用算法对模型进行优化，同时利用插值的方法克服训练数据不足的影响；最后利用优化的模型识别原子手势，被识别的原子手势组合成复杂、连续的手势动作。针对现有交互模型对自然交互方式支持的欠缺问题，本文在已有交互模型研究及其分析的基础上，建立了支持手势输入并且具有反馈机制的手势交互模型，并对该模型进行了形式化描述。该模型由用户、人机交互对象构件、表现

3、构件、对话控制构件和应用程序构件五个部分组成，在人机交互对象构件的支持下，用户通过手势、语音等交互方式，以方式原语、概念原语和任务原语与表现构件、对话控制构件和应用程序构件进行通信，完成自然交互。在理论研究的同时，本文还对基于三维加速度传感器的手势识别方法进行了实验验证。以四种自定义手势的和单个阿拉伯数字以及阿拉伯数字串的书写识别为例进行了实验。本研究不仅将三维加速度传感器的手势识别方法用于人机交互，而且为手势识别方法提供了理论扩充，为自然人机交互提供了框架支持。关键字：手势识别；人机交互；加速度传感器；交互模型作者：孔俊其指导老师：张广泉王辉，（，：；图表索弓基于三维加速度传感器的手势识别及

4、交互模型研究图表索引图交互的一般框架图四状态全连通模型图四状态模型图交叉耦合双并行通道左右模型图前向算法的递归图后向算法的递归图两种不同类型手势的加速度曲线图手势识别流程图基于的手势加速度识别框架图模型图模型图中的模型一视图一控制器三部分图模型图手势交互模型图实验板硬件结构图实验板实物图图逻辑电路图图自定义手势的状态转移图图自定义手势的状态空间图水平左右摇晃的加速度图。水平前后摇晃的加速度图水平画圆的加速度图竖直画圆的加速度图阿拉伯数字手势笔划。图四个基本手势单元。图四个基本笔划单元的加速度曲线图阿拉伯数字的三维加速度曲线基于三维加速度传感器的手势识别及交互模型研究图表索弓图数字串的加速度曲线

5、图数字串的加速度曲线。图数字串的加速度曲线图数字串的加速度曲线表硬件实验板的根引脚规范表竖直画圆动作的原始加速度值表状态转移矩阵表表状态转移概率表表手势识别成功率表阿拉伯数字的书写识别优劣表自定义数字串的识别成功率苏州大学学位论文独创性声明及使用授权的声明学位论文独创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均己在文中以明确方式标明。本人承担本声明的法律责任。研究生签名：，

6、公，月研究生签名：日期：彳扩莎乡学位论文使用授权声明苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权苏州大学学位办办理。研究生签名：以莓妻导师签名：钠丝日日一期：枷；期：。日沙。基于三维加速度传感器的手势识别及交互模型研究第一章绪论第一章绪论研究背景及意义人机交互（）是研究人、计算机以及它们之间相互影响的技术

7、，是人与计算机通过人机界面进行某种形式的信息交流以完成一定交互任务的过程。在人机交互的过程中，人适应计算机的工作方式已经逐渐转变成计算机适应人的需求。追求自然和谐的生存是人类发展的理想模式，而自然和谐的人机交互模式是以直接操纵为主，与命令语言特别是自然语言共存的人机交互方式。理想的人机交互方式就是用户自由、直接操纵的用户界面，它已成为未来的发展趋势，而作为其中重要内容的手势识别技术将变成研究热点。从世纪年代初至今，以手机、和掌上电脑为代表的手持移动设备得到了日益广泛的应用，手持移动计算已经逐渐成为当今的主流计算模式之一。随着移动设备自身软硬件性能的提高和带宽、网络覆盖等外部条件的改善，人机交互

8、的效率过低和自然性不好的问题暴露得越来越明显，计算机应用的主要障碍也己由硬件技术转变为人机交互和用户界面。伴随着微电子机械系统（）技术的不断成熟以及应用领域的不断拓展，产品广泛地应用于喷墨打印头、投影仪、笔记本等计算机类产品，手机、等通讯产品，、和游戏机等消费电子产品中。年苹果公司的手机、任天堂的游戏机火爆销售一度轰动业界，这其中，加速度传感器功不可没，它所带来的全新使用体验以及独特人机交互方式不仅造就了产品本身的巨大成功，更是给日趋同质化的电子整机市场注入了新鲜血液。加速度传感器以其低廉的价格，较小的体积和较高的灵敏度广泛地应用于手机、等嵌入式手持移动设备中，这些加速度传感器可以精确地获取宿

9、主设备的加速度值，加速度传感器的这一特征为利用加速度识别手势动作提供了保障。手势从广义上讲是指人有意识地做出的手的运动，它是日常生活中人们广泛使用的一种自然、高效的交流方式，有很强的表意能力，可以在很多特殊场景表达特定的信息。随着计算机设备的更新和识别技术的发展，将手势应用于人机交互过程成为可第章绪论基于三维加速度传感器的手势识别及交互模型研究能。手势识别是多通道交互的一个主要研究领域，其本质是根据用户的手势，识别出所表达的含义，它以人手直接作为计算机的输入设备，人机间的通讯不再需要中间的媒体，用户可以简单地定义一种适当的手势来和周围的计算机进行交互。手在人类生活中具有极其重要的地位，通常被用

10、来认识、了解和改造周围的环境，从而积累关于事物的认识。目前手势信息的获取方式有两种：基于图像的和基于加速度传感器的。基于图像的手势识别技术起步比较早，目前理论研究较为成熟，无论从识别成功率还是算法的复杂度都比较理想，但是基于图像的手势识别有一个的缺陷：对外部环境的依赖比较大，手势图像的获取需要充足的光线、背景条件，而且往往在阴暗潮湿的环境下工作受限。相反，基于加速度的识别就不受外部条件的限制，甚至可以依靠单手完成操作。因此，在手持移动计算模型下，受设备自身体积和外部条件（光源、背景）的限制，基于图像的手势获取方法不能得到广泛的应用，而基于加速度传感器的方法能有效地识别手势动作，完成人机交互。基

11、于三维加速度传感器的手势交互模型研究有着极其重要的理论和实际意义。理论上，极大地丰富了人机交互方法和交互模型的理论基础；实践上，在手势设计、手势建模、手势识别方法中能得到广泛的应用。本文主要研究了基于加速度传感器的手势识别方法，并建立了支持手势输入同时具有及时信息反馈能力的交互模型。手势交互模型研究是人机交互技术的一个重要组成部分，其研究意义主要表现在两个方面：第一，手势是人们日常生活中常见的信息表达手段，通过它能挖掘人们的不同认知潜力，降低人们的认知负担，而手势交互模型实现了人的多维信息表示空间到计算机计算空间的平滑过渡，提供给用户一种自然、高效的交互手段，能为更多的人，特别是特殊人群的交互

12、提供了方便；第二，基于三维加速度传感器的手势识别方法在手持移动设备（手机、）和家用电器遥控装置上有较大的应用前景。基于加速度的手势识别目前是手势识别技术的一种重要研究方法，如何表示手势，如何根据加速度值完成手势的识别，如何提高手势识别的精度，如何构造基于手势的交互模型等都是目前手势交互研究的主要问题，本文在这些方面分别进行了探讨。基于三维加速度传感器的手势识别及交互模型研究第一章绪论国内外研究现状手势是人通过手、前臂、头等的有意义的运动表达信息的一种方式。手势识别技术在现实社会中有广泛的应用：针对听力缺陷人群的帮助系统；婴幼儿和计算机交互系统；手语识别系统；军事导航系统；视频会议交流系统等【。

13、从世纪年代起，国外一些研究机构开始基于传感器的交互研究。公司在年推出了一种能自动感知运动状态的惯性感知设备，可以用于玩具和日常工具；同年，在装有传感器的小屏幕设备上，通过特定的按键实现了使用手势倾斜的方式对该设备进行输入的功能，可以应用于笔记本电脑和手持电子设备等【；年，等人对使用传感器作为用户操纵接口的可行性进行了探讨；年，等人将三种仪器（距离探测器、压力传感器、倾斜传感器）集成到掌上电脑内，利用手势实现了改变屏幕显示方式、滚屏、自动开机等功能；公司的系统使用加速度传感器，用户将设备倾斜可以实现图片的滚动，将设备转动可以实现图片的缩放；年，开发了两种适用于可穿戴计算机上的输入设备和，前者可以

14、戴在手腕上，识别手部和前臂的运动，后者是一个传感模块，可以依附在衣服内，用户通过它可以和外界交互【；年，利用手势和非语音的语音改善了手机中音乐播放的接口，用户在不用看播放屏幕的情况下就可以进行各种操作；年，等人研究发现在小词汇量、有视频噪声的条件下，同时使用传感器，可以提高手势识别的精度，并建立了一个手语识别系统，作为手机交互的辅助技术；年，和对手持移动设备中的加速度信号处理的问题进行了研究，为了准确地识别出用户的手势，他们将测量的加速度分为静态的和动态的，并且分别提供了识别方法【】：年，等人对手势接口的基本概念进行了定义，并对不同方法进行比较，并设计了手势识别系统；年，等人描述了如何识别用户

15、连续的动作和姿势，通过分析两轴加速度数值的变化判断手机的运动状态，并通过测量手机平面和竖直方向的夹角来估计手机的姿态，提高了手势识别的正确性；年，和将手势的概念泛化，根据手势的语法规则将手势分为原子手势和复杂手势两种，并建立了手势库，可供基于加速度传感器的系统使用。手势识别是手势交互中最基础也是最重要的技术，而手势识别过程中最关键的是第一章绪论基于三维加速度传感器的手势识别及交互模型研究手势建模和手势识别技术，手势建模是指利用手势动作的特征量建立模型，用该模型来表示该手势动作；而手势识别是根据已建立的模型将手势进行分类。下面分别就目前常用的手势建模和手势识别的方法进行归纳总结。常见的手势建模方

16、法如下。（）根据有无动作，将手势分为静态的和动态的。静态手势主要是指手部（包括前臂）的姿势；动态手势是指手部的运动。等人将人手的姿态定义为一个状态，该状态可以使用三个轴向的加速度值三元组表示，通过采集相同状态下大量样本，确定该姿态的三元组隅，】，以供识别【；同时将各个动态手势表示为，同理该状态可以使用三个轴向的加速度值的三元组表示，通过采集相同手势下大量样本，确定可以表示该手势的三元组，】，作为手势模板。（）根据动作是否连贯，将手势分为离散的和连续的。将手势根据其轨迹建模为一个动态运动原语（）系统，该系统包含一个正则式系统和一个变形系统【。对连续的手势基本上都是使用时间片分割的办法，将手势分为

17、离散的各个阶段分别进行识别。模型允许用户使用很少的样本对分类器进行训练，而且提供了反馈机制提高交互的性能，该方法的缺点是手势表示比较复杂，计算量大。（）根据动作的复杂程度，将手势分为原子手势和复合手势。认为原子手势是不可再分的，多个原子手势可以组合成更大、更复杂的复合手势【引，同时可以根据加速度一时间曲线中峰值的个数不同来区分原子手势和复合手势，从加速度一时间曲线上看原子手势只有两个峰值，如果峰值的个数超过二，则认为是复合手势。认为在日常生活中，人们经常使用多种常见手势来控制不同类型的应用程序，即手势到应用程序命令的映射是程序无关的【，基于这种观点他们建立了手势库，在该库中将手势抽象定义为（，

18、），其中是手势的施动者，是手势的标识符，是手势属性参数。如果手势的信息模型仅依赖于传感数据，则称之为原子手势，这种手势模型是依赖于具体实现的，即必须包含特征集、产生规则、关于传感信号的逻辑描述等信息；复合手势是由手势库中其它手势模型复合成的。这种形式化的方法能完整、准确地建立手势模型，精确地描述手势行为，当然这是建立在高复杂性和强计算基础上的。除此之外，还有利用手势动作的速度、方向和强度等属性为手势建立模型的方法【手势识别的本质是根据手势模型将手势动作分类，常见的手势识别方法如下。基于三维加速度传感器的手势识别及交互模型研究第一章绪论（）隐马尔科夫模型（）的方法。是一种随机有限状态自动机，适合

19、为非平稳随机序列建模，具有统计的特性，可以用来处理多个不同平稳状态过程中的随机转移问题，目前已被广泛应用于语音识别领域。在对动态手势识别的过程中，首先使用算法对模型进行训练，之后使用定限量（）形式的算法提高了识别的精度【】。使用全连通离散结构的，通过实验发现即使在行走过程进行手势识别，其成功率不会显著下降。使用连续的进行手势识别实验，研究表明：以的频率进行采样可以得到最佳的识别效果；当对样本数据进行量化，使得其分辨率达到位以上时，同样可以获得最优的识别率。（）基于直接数据流分析的方法。虽然基于的方法可以高精度地识别手势，但它是以处理器的强计算能力和高计算量为基础的，算法的时空代价比较大。为了让

20、手势识别更广泛地应用于各种简单设备中，识别简单的手势，提出了一种直接数据流分析（）的方法。他们将手势定义为幅度较大的运动：首先根据运动图像中加速度零点的位置确定出活动区域，活动区域的持续时间就是手势的持续时间，在该活动区域内计算峰值的个数并记录峰值，确定出最小的一个峰值，如果其余峰值与最小峰值的差大于给定阈值，则认为手势发生。这种方法的优点是对传感器的硬件依赖较少，可以广泛应用于并发手势的识别；缺点是缺少绝对的参考帧，不能识别多维空间的手势，而且很难捕获连续的手势动作。（）基于原始信号采集的方法。和研究了如何利用手势在移动设备上进行控制【】。他们将静态手势和动态手势对应的加速度分别称为静态加速

21、度和动态加速度，静态加速度信号经过低通过滤器过滤，在每个轴向上进行阈值比较，监视手势事件的发生；动态加速度信号经高通过滤器过滤、边界值过滤、去除抖动等操作后，进行阈值比较，同样超过阈值时设备会检测到手势的发生。这种方法的优点是可以很方便地识别手势，计算量不大；缺点是精度不高，而且很容易产生误操作。（）基于自动机描述的方法。论述了在移动设备中使用时间自动机来分析和识别用户连续的动作。对连续动作，每个动作后会触发一个定时器事件，在这个时间间隔内，如果下一个动作信号准确到达，则连续的动作会被识别，否则手势动作不会被识别。将自动机引入连续动作识别过程有其优缺点，优点是算法简单、健壮，能更好地支持并行性

22、，过程清晰可见，可以识别一系列连续的动作，可以消除由于手部抖动产生的噪声干扰；然而缺点是该算法更注重于动作而不是操作对象，科学计算第一章绪论基于三维加速度传感器的手势识别及交互模型研究的精度不高，如果发生误操作或误识别，全部动作需重新完成。（）基于机器学习的方法。常见的分类方法有最近邻方法和支持向量机的方法。最近邻方法的基本思想是根据传统的向量空间模型，将文本内容形式化为特征空间中的加权特征向量，对于一个测试文本，计算它与训练文本集中的每个文本的相似度，找出个最相似的文本，根据加权距离判读测试文本所属的类别。支持向量机以训练误差作为优化问题的约束条件，以置信范围值最小化作为目标，是一种基于结构

23、风险最小化准则的学习方法。使用径向量核函数（出）构造实现了输入不同类型的非线性决策面的学习机，并且使用“一对一的方法构造多值分类器，取得了较高的识别率。支持向量机计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。而且在该方法中，增删非支持向量样本对模型没有影响，对核函数的选择也不是很敏感，另外，支持向量样本集有一定的鲁棒性。除此之外，还有和阈值比较相结合的方法【，与神经网络相结合的方法【】等。交互模型是人和计算机交互的过程描述，能帮助了解人机交互过程中发生的事情，用于解决用户需求与系统响应之间的翻译问题。交互模型的分为概念模型和陈述模型两种。概念模型从系

24、统和用户的角度出发，为执行功能分解以及把分解后的功能分布到模型中相应的部件提供了框架支持，这种模型缺乏面向设计的表达形式，其应用依赖于设计者的认识和实现，其典型代表有、和模型等。陈述模型通过任务模型、用户模型、领域模型、对话模型和表现模型等不同抽象层次的陈述性模型来表示和把握交互需求和构成。该类模型属于工程建模，从交互任务分析到最终系统的实现全过程提供开发方法和支持技术，但在系统结构的表达上相对不足。本文研究内容手势交互的主要问题是手势识别，而手势识别的关键是手势建模和手势识别方法的选择，针对该问题本文提出了基于加速度的手势建模方法和基于隐马尔科夫模型的识别方法。手势交互已经广泛应用到手机、和

25、等各种手持移动设备，本文主要关注了如何利用手势动作执行过程中的加速度识别手势。随着科技的发展，在使用计算机的日常生活中，人们越来越注重交互方式的自然性和灵活性；同时，随着老基于三维加速度传感器的手势识别及交互模型研究第一章绪论龄化问题的日益严重，社会应该为老年人提供更方便的交互方式，本文提出的手势交互模型可以一定程度上解决这些问题，利用自然简单的手势动作就可以完成人机交互，这种技术可以应用于手持设备、家用电器遥控装置、音乐播放器等领域。无线网络技术的发展使得手持终端的应用更加广泛，但在终端上的操作工具不应局限于键盘和手写笔上，自然灵活的手势为人们的交互研究提供了新的支持方法。本文的研究内容主要

26、包括以下两点：（）针对基于图像的手势识别方法应用的局限性问题，本文提出基于三维加速度传感器的手势识别方法。首先将手势分割为若干原子手势，利用加速度传感器采集每个原子手势执行过程中的三维加速度信息，这些加速度信息经过预处理之后，被作为手势动作的特征量；然后根据这些特征量为每个原子手势建立离散的隐马尔科夫模型（），采用算法对模型进行优化，同时利用插值的方法克服训练数据不足的影响；最后利用优化的模型识别原子手势，被识别的原子手势组合成复杂、连续的手势动作。（）针对现有交互模型对自然交互方式支持的欠缺问题，本文在已有交互模型研究及其分析的基础上，建立了支持手势输入并且具有反馈机制的手势交互模型。该模型

27、由用户、人机交互对象构件、表现构件、对话控制构件和应用程序构件五个部分组成，在人机交互对象构件的支持下，用户通过手势、语音等交互方式，以方式原语、概念原语和任务原语与表现构件、对话控制构件和应用程序构件进行通信，完成自然交互。在理论研究的同时，本文还以四种自定义手势的和单个阿拉伯数字以及阿拉伯数字串的书写识别为例，对基于三维加速度传感器的手势识别方法进行了实验验证。本文组织结构本文共分章，是根据从基础概念到具体工作，从基本理论到具体应用的思路来组织安排的，具体如下：第章绪论主要介绍了课题的研究背景、意义及国内外的研究现状，并对本文的主要工作给出了概要说明。第章主要介绍了人机交互技术的基本概念和

28、交互模型的概述。第章是基于三维加速度传感器的手势识别方法介绍，首先将手势分割为若干原第一章绪论基于三维加速度传感器的手势识别及交互模型研究子手势，利用加速度传感器采集每个原子手势执行过程中的三维加速度信息，这些加速度信息经过预处理之后，被作为手势动作的特征量；然后根据这些特征量为每个原子手势建立离散的隐马尔科夫模型（），采用算法对模型进行优化，同时利用插值的方法克服训练数据不足的影响；最后利用优化的模型识别原子手势，关键技术是隐马尔科夫模型的建立和模型参数优化。第章建立支持手势输入并且具有反馈机制的手势交互模型。该模型由用户、人机交互对象构件、表现构件、对话控制构件和应用程序构件五个部分组成，

29、在人机交互对象构件的支持下，用户通过手势、语音等交互方式，以方式原语、概念原语和任务原语与表现构件、对话控制构件和应用程序构件进行通信，完成自然交互。第章实验验证与结论，通过自定义手势和阿拉伯数字的书写识别验证本文提出的基于三维加速度传感器的手势识别方法的有效性。其中第、章是本文的主要研究工作。第章总结与展望，对本文的工作做了总结，并对下一步工作进行了展望。基于三维加速度传感器的手势识别及交互模型研究第二章人机交互技术及相关概念第二章人机交互技术及相关概念本章主要介绍人机交互的相关概念。首先是人机交互技术概述，其次是影响人机交互的因素分析，最后是交互模型介绍，在交互模型介绍中详细分析了交互的过

30、程，最后提出了交互框架的设计原理。人机交互技术概述人机交互是研究人、计算机以及它们之间相互影响的技术，是人与计算机通过人机界面进行某种形式的信息交流以完成一定交互任务的过程，它的本质是人的多维信息认知空间和计算机的信息表示空间之间的相互映射，而人机界面是指计算机与人进行通信和对话的接口，是人机交互的方式【。计算机的诞生已经有六十多年的历史，伴随着其性能的提高，人机界面也从早期的命令行方式发展到图形用户界面和多通道交互模式，人机交互的中心角色也由计算机逐渐转变为人。随着移动设备自身软硬件性能的提高和带宽、网络覆盖等外部条件的改善，人机交互的效率较低和自然性不好的问题暴露得越来越明显，影响计算机应

31、用的主要障碍也已由硬件技术转变为人机交互技术和用户界面的设计。嵌入式计算和无线通信计算的迅速发展，促进了计算、通信和传感技术的融合。这使得人们生活的三维物理空间中前所未有地充满了数据和信息，人们也进一步希望能在生活和工作环境中随时、随地，无处不在地获得信息和计算服务，显然传统的桌面计算模式已经不能适应这种发展，为此提出了普适计算【】的概念。普适计算的研究目标是把计算交织到物理空间中，也就是把信息空间与人们生活的物理空间相集成与融合。普适计算模式下，计算机接口将与用户的生活环境相融合，这时用户和环境将与成为人机交互中的重要因素。多通道人机接口是物理空间人机交互的重要支撑技术，并能在普适计算模式下

32、得到增强和革新。目前集成了嵌入式计算、无线通信和传感器技术的各种高性能信息设备实现了低价位、小型化，它们能检测和帮助克服环境因素的影响、简化人机交互问题，广泛应用于普适计算下的人机交互。第二章人机交互技术及相关概念基于三维加速度传感器的手势识别及交互模型研究影响人机交互的因素通过上述人机交互技术的概述，对人机交互的过程有了一定的了解，然而为了解决人机交互的效率过低和自然性不好的问题，除了理解人机交互的过程之外，还要掌握影响人机交互的若干重要因素。人的因素人，即用户，是设计计算机系统进行辅助的对象。计算机的发明是为用户服务的，因此，用户的需求应该是最优先对待的。人同外部世界的交互是通过信息的接收

33、和发送（输入与输出）而实现的，在同计算机交互时，用户接收计算机的信息，并响应以对计算机提供输入即用户的输出成为计算机的输入，反之亦然。将信息输入给人主要通过感觉，而人的输出则通过器官的运动神经来控制。运动神经的敏感程度和运动方式的差异将影响人机交互。动作的完成所花费的时间包括反应时间和运动时间，反应时间随着刺激接收的感觉通道的不同而变化；而运动时间主要取决于用户的身体特征（如年龄、健康状况等）。认知是人们获得知识、应用知识或进行信息加工的过程，是人最基本的心理活动，包括感觉、知觉、记忆、想象、思维和语音等。人脑接收外界输入的信息，处理后转换成内在心理活动，进而支配人的行为，此过程就是信息加工过

34、程，即认知过程。不同的文化背景和认知水平也会对人机交互造成影响，认知量较大的交互方式会给用户带来学习压力，从而影响人机交互。认知在人机交互中的应用主要是交互过程中认知模型的建立。认知模型主要用于描述人机交互过程中的相关要素，分析用户任务和目标结构，表示用户一系统语法，描绘人机交互过程中人的运动神经技能等。等人提出的模型是一种应用较广的目标任务层次模型，通过子目标利用分治测策略实现目标。于年提出认知复杂性理论，以的目标分解为前提，提供了更多预测功能，丰富了该模型瞄】。在本节中讨论人的因素时，为了得到一般性的结论，本文做了这样的假设：每个人都有相似的能力和局限性。在某种程度上，这是正确的，本文讨论

35、的心理学原理和性质适用于大多数人。尽管如此，虽然一般情况是这样，可是用户并不是完全相同的。应该意识到个性的差异，从而可以在设计中尽可能地体现这些差异。这些差异可能是基于三维加速度传感器的手势识别及交互模型研究第二章人机交互技术及相关概念长期的，例如性别、身体能力和智力。另一些则是短期的，包括用户感到的压力或者疲劳。还有一些差异会随着时间变化，例如年龄。在设计交互模型时，应该考虑这些差异，对于任何的设计决定，如果可能有用户会受到决定的影响，那么考虑这些差异是有益的。在最坏的情况下，一个决定可能会将一部分用户排除在外。例如，当前对可视化界面的强调在视觉上存在缺陷的用户，除非这个设计还提供了其它的感

36、官通道。在一般情况下，交互模型设计应该考虑有压力、生病或者注意力被转移的用户，即设计不应该把用户推到他们感知或认知方面的极限。因此，在和谐人机交互的理念下，用户需要的是人机隔阂小，用户认知负担轻，操作自然简单的交互方式【。计算机的因素计算机系统的各组成部分在一定程度上对用户使用计算机都有局限性。（）计算能力的局限。系统应该设计成在交互过程中不能有很长的延迟，同时用户能够知道任务的完成进度。对于一个非常长的处理过程，应该在开始之前就给出所需时间的提示；在处理过程中，显示已经完成的进度是有用的。（）存储方法的局限。正如上面所述，计算机系统的硬件突飞猛进发展、计算能力迅速提高的同时，用户的信息输入速

37、度并没有同步提高，因此计算机系统的处理水平陷入瓶颈。（）图形界面和交互方式的局限。现代人机交互界面最常见的瓶颈是图形用户界面，人们很容易低估那些看起来比较简单的界面操作的执行时间，特别是在嵌入式手持移动设备上采用指、点等方式在图形用户界面下操作，不仅费时、费力，而且精度较差、容易给用户造成操作负担【】。（）网络速度的局限。随着因特网的普及，人们越来越多地利用网络访问远程设备获取资源。网络速度的快慢直接决定着交互的优劣，有时候网络需要远距离操作，并且信息的传输可能要花相当多的时间，这就影响了响应时间，从而也影响了交互性。在响应这方面可能存在明显的延迟，因此如果得不到及时的信息反馈，用户可能会认为

38、请求被忽略或已经丢失，于是可能又需要重复一次。第二章人机交互技术及相关概念基于三维加速度传感器的手势识别及交互模型研究物理环境的因素影响人机交互质量的除了用户和系统之外，还有其它的物理环境的因素。（）温度的高低。尽管大部分用户都可以适应轻微的温度变化，但是非常热或非常冷的环境将影响用户的表现。实验表明，在高温或低温条件下，用户会因无法集中精力而表现的非常差。（）光线的强弱。光线的强度将取决于工作环境，太亮或太暗的交互环境会使用户心里感觉不舒服或眼睛疲劳。（）声音的大小。适度的声音可以给用户以刺激，从而使用户确认某个系统活动正在进行。然而，过分的噪音有害健康，会导致用户烦躁，甚至丧失听觉。（）颜

39、色的选择。用户在冷色调的环境下会产生压抑、恐惧的心理，影响人机交互的效率；相反，在暖色调的环境下会心情愉悦，心理压力小，能提高交互的兴趣和乐趣。交互模型概述交互模型可以帮助人们了解在人和计算机交互过程中发生的事情，主要用于解决用户的需求与系统的响应之间的翻译问题。在人机交互模型中，最有影响力的是的模型，因为这种模型很接近于人们对人与计算机交互的直观认测勿。交互模型中的阶段如下：交互系统包括用户、系统、输入和输出四个部分，交互的框架用于明确而真实地描述交互的过程，如图。系统图交互的一般框架基于三维加速度传感器的手势识别及交互模型研究第二章人机交互技术及相关概念用户制定一个行动计划，然后在计算机上

40、执行。当这个计划或者它的一部分执行之后，用户观察计算机的界面，评估计划执行的结果，然后确定下一步的行动。这个交互循环可以分为两个主要阶段：执行和评估。这些阶段又可以进一步细分，总共是个阶段。因为界面位于用户和系统之间，所以在交互循环中有四个步骤，每一个都对应着相互部分之间的翻译。首先，用户开始交互循环，确定目标并制定任务，由于用户唯一操纵系统的途径是输入，所以任务必须通过输入语言来表达。输入语言要翻译成核心语言，因为要靠系统来执行操作。然后，系统按照操作的描述进行交换；循环的执行阶段完成，开始评估阶段。这时，系统处于一个新的状态，必须与用户进行通信。系统属性的当前值是输出的概念或特点。然后，输

41、出给用户一个值，并且对照原来的目标评估交互的结果。最后，结束评价阶段和交互循环。因此，在交互过程中有四种主要的翻译：表达、执行、表现和观察。如果用户要确定达到某个目标的任务，就需要用输入语言进行表达。任务是对用户的响应，并且需要将其翻译成输入的刺激。正如上面所指出的，这种表达根据从任务到输出的情况来判断，而且这种翻译实现起来比较容易。利用某些反映用户领域重要特点的心理学属性，可以将任务划分为一些阶段。如果这些心理学的属性可以清晰地映射为输入语言，任务的表达会简单很多。给出了一个映射效果较差的例子：在一个大房间里，天花板上所有的灯由一排开关控制。人们通常希望能够实现控制房间中只有某盏灯会亮。但是

42、，很难判断开关和灯的对应关系。这种问题产生于用输入语言表达目标（例如，打开房间前面的灯）的困难，这些开关排成一行，可能遵从于房间的布局，但也可能不是。相反，好的映射可以使人很轻松、自然地完成任务。在系统中如果将用户关于手势心理学的想法变成一种在界面中能够直接识别的技巧，那么像数据手套、传感器这些输入设备经过调整就可以特别容易地进行表述。类似于和这些常见的桌面操作系统界面，可以使得某些文件处理命令的表达比较容易。另一方面，完成类似于文件重命名或者执行一个图标不可见的程序等任务，用这种界面来表达就不是件容易的事情。在每个阶段，输入的响应翻译成对系统的刺激。评估这种翻译的时候，人们感兴趣的是被翻译的

43、输入语言所达到的系统状态是否能够等同于直接使用系统刺激。例如，某些播放器的遥控器不允许用户关闭主机的电源。因此，用遥控器的输入语言不能够进入播放器的关机状态。而在播放器的控制面板上，通常会有一个第二章人机交互技术及相关概念基于三维加速度传感器的手势识别及交互模型研究控制电源的按钮。从输入到系统的翻译的容易性并不十分重要，因此用户不会花费这种力气，当然，设计人员和程序员就需要花费一定的。这时，通过实现的代价可以显现出翻译的容易性。一旦系统中发生了状态的变化，交互的执行阶段就结束了，开始进入评估阶段。系统这个新的状态必须传给用户，这时评估阶段把系统对状态变化的响应翻译成对输出部分的刺激。对表现的这

44、种翻译必须借助于输出设备有限的表达能力，来保存有关的系统领域属性。在输出中如何获取系统的领域概念是这种翻译的表达能力问题。例如，用某种字处理软件进行文档编辑时，用户必须不时地观看当前正在写作的内容（如当前段落），同时还要观看整篇文章中不能在同意屏幕上显示的相关内容（如当前最后一章）。最后，用户必须解释输出从而评估发生的事情。来自输出的响应翻译为触发用户进行评估的刺激。对观察的翻译将处理最后的这种翻译的难易性和涉及范围。例如，人们很难精确地说出没有刻度的钟表的时间，特别是当它的定位很不规范的时候。同样，也很难在一个命令行界面上确定分层文件系统中复制和移动文件的结果。如果不能通过浏览器预先看到输出

45、，那么使用类似于这种标记语言开发一个网站实际上是不可能的，因为网站的开发必须具有及时、同步的信息反馈能力。可以将交互框架作为判断整个交互式系统整体可用性的方法。在实际上，框架建议所有的分析都取决于用户当前所从事的任务（或任务的集合）。这并不会令人感到奇怪，因为用户只是希望在某一个能够判断所使用的工具是否胜任的领域执行一个具体的任务。例如，不同的文本编辑器适合不同的工作。对于一个具体的编辑任务，任务可能选择最适合与该任务交互的文本编辑器。如果只能选择一个编辑器，那么最适合最经常用于执行任务的编辑器是最佳选择。因此，如果不能够超出一个具体任务的范围进行交互分析，结果会有很大的局限性。本章小结本章主要介绍了人机交互技术的基本概念。首先是人机交互技术的概述和普适计算模式下的多通道交互技术的发展前景，其次是影响人机交互的诸多因素介绍，最后在交互模型概述中，详细分析了人机交互的过程，并且给出了理想交互框架的设计标准。基于三维加速度传感器的手势识别及交互模型研究第三章基于加速度分析的手势识别第三章基于加速度分析的手势识别本章介绍了手势识别的基本概念、手势识别的过程和手势识别的方法，着重论述了基于三维加速度的手势识别思想和实现方法。手势识别技术随着科学的发展、技