基于ARM车牌识别系统

南京工程学院毕业设计说明书论文作者左亚运学号202090608院系计算机工程学院专业电子信息科学与技术题目基于MATLAB的车牌识别系统设计指导者刘勤讲师评阅者田丽鸿副教授2013年5月南京毕业设计说明书（论文）中文摘要随着计算机多媒体技术的发展，车牌自动识别技术LICENSEPLATERECOGNITION已经成为智能交通系统的重要组成部分。在欧美许多发达国家，车辆识别技术已经广泛的应用在交通管理的各个方面。由于我国车牌种类多，并且是由汉字、英文字母和数字组成，这给自动识别系统的设计带来较大的难度。本文在学习研究图像处理理论的基础上，设计了一个车牌自动识别系统。本系统包括三个主要模块车辆图像预处理、车牌定位和车牌字符识别。识别系统处理过程主要包括获取车辆源图像、图像灰度化、图像增强去噪、边缘检测、车牌定位、车牌图像预处理、车牌字符分割、字符识别等部分，其中车牌定位和字符识别部分是整个系统设计的核心和难点。车牌识别系统可以广泛应用在高速公路自动收费、小区无人停车场、城市道路监控、车辆流量统计等方面，本系统具有一定的实用价值。关键词车牌识别车牌定位LPR模式识别毕业设计说明书（论文）外文摘要TITLEDESIGNOFTHELICENSEPLATERECOGNITIONABSTRACTWITHTHEDEVELOPMENTOFCOMPUTERMULTIMEDIATECHNOLOGY,LICENSEPLATERECOGNITIONLPRHASBECOMEANIMPORTANTCOMPONENTOFINTELLIGENTTRANSPORTATIONSYSTEMSINMANYDEVELOPEDCOUNTRIESOFEUROPEANDAMERICA,THELICENSEPLATERECOGNITIONTECHNOLOGYHASBEENWIDELYUSEDINALLASPECTSOFTRAFFICMANAGEMENTBECAUSEPLATESINCHINAHAVEMANYDIFFERENTSTYLES,INADDITION,THEYCONSISTOFCHINESELETTERS,ENGLISHLETTERSANDNUMBERSSO,ITSVERYHARDTOIDENTIFYCHINESELICENSEPLATESTHISSTUDYPROPOSEALICENSEPLATERECOGNITIONBASEDONKNOWLEDGEOFIMAGEPROCESSINGTHISRECOGNITIONHASTHREEMAINMODULESPREPROCESSINGOFORIGINALIMAGE,LOCATELICENSEPLATEANDCHARACTERSIDENTIFICATIONTHISLICENSEPLATERECOGNITIONMAINLYINCLUDESSEVERALPARTSGETORIGINALIMAGE,MAKEGRAY,ENHANCEIMAGE,EDGEDETECT,LOCATELICENSEPLATE,PREPROCESSPLATEIMAGE,SEGMENTCHARACTERSANDCHARACTERSIDENTIFICATIONTHEKEYOFTHEWHOLESYSTEMISLOCATIONOFLICENSEANDCHARACTERRECOGNITIONLICENSEPLATERECOGNITIONCANBEEXTENSIVELYUSEDINHIGHWAYTOLLCOLLECTION，INTELLIGENTPARKING,URBANROADMONITORING,TRAFFICFLOWSTATISTICSANDSOON,WHATISMORE,THISRECOGNITIONCANBRINGSOMEPRACTICALVALUEKEYWORDSPLATERECOGNITION,PLATELOCATE,LPR,PATTERNRECOGNITIONI目录前言1第一章技术概览211MATLAB简介212MATLAB图像处理工具箱简介213车辆源图像314车牌识别的主要流程315车牌识别系统的结构图3第二章系统人机界面的设计与实现521GUI简介522本文的GUI界面设计5第三章图像预处理及实现731数字图像基本知识732车辆图像灰度化833车辆图像增强934二值化14第四章车牌定位及实现1841边缘检测1842车牌定位24第五章车牌字符识别及实现2951字符分割2952车牌字符识别32第六章系统测试及分析3461测试的目的3462车牌识别系统的测试3463测试效果35结束语40参考文献42致谢44II附录1英文技术资料翻译45附录2程序清单60南京工程学院毕业设计说明书（论文）1前言由于我国道路交通的发展迅速，汽车数量特别是轿车数量不断增加，出现了许多车辆管理方面问题。车辆牌照作为每一辆汽车的主要标识，可以通过车辆牌照来识别每一辆汽车，因此，各类车牌识别系统应运而生。车牌识别系统设计运用了许许多多的知识，但核心均是基于图像处理方面的相关原理对车牌图像进行相应的处理，处理过程主要包括灰度化、图像增强、二值化、边缘检测、图像分割、图像对比等部分。因为车辆的主要信息来源于车牌，所以对车辆管理也就是对车牌进行管理，所以这个车牌识别问题迫切需要解决。车牌识别的研究对实现交通管理系统智能化，快捷化，低成本化有重要的作用。车牌识别系统的出现能够更无人化、数字化、智能化、网络化的对车辆进行管理。车牌识别技术广泛地运用于交通监控和管理领域，可以这样说，凡是需要车辆监控的地方都需要车牌识别技术，例如收费站、停车场、交通路口等地方，它可以解决例如违章罚款、社会治安、信息查询等方面的问题，为社会和谐健康的发展做出巨大的贡献。车牌识别可以有效的减少交通监控和管理的成本，实现小投入，大回报，带来巨大的经济和社会效益。本次毕业设计在研究大量资料以及运用所掌握的相关知识的基础上，针对车牌识别的诸多问题，开发基于MATLAB的车牌识别系统，经过验证，该系统性能优良，能够检测并识别出大部分的车牌，达到了设计的要求，具有一定的实用价值。本文主要包括五个部分。第一部分是系统界面的实现，主要介绍了系统界面的功能和作用，以及本系统的界面。第二部分主要包括车辆图像预处理及实现，主要介绍了本系统的图像预处理及实现的主要步骤和原理，包括灰度化、图像增强、二值化等处理。第三部分是车牌的定位，主要叙述了图像边缘检测和本系统所采用的车牌定位方法。第四部分是车牌字符的分割与识别，分别介绍了字符分割和识别的原理及方法，是本系统的最终实现结果。第五部分是对系统的测试，通过测试验证了系统的可靠性和准确性，本系统完成了此次设计的目标，可以参加答辩。南京工程学院毕业设计说明书（论文）2第一章技术概览11MATLAB简介MATLAB是MATRIXLABORATORY的缩写，它是MATHWORKS公司出品的商业软件，广泛的应用于科学与工程领域，主要用于算法开发、数据可视化、数据分析以及数值计算。MATLAB的基本数据单位是矩阵，故又被称为“矩阵实验室”，因为它具有强大的矩阵计算功能，相比其他语言，许多问题用MATLAB解决要简单的多。MATLAB可以进行矩阵运算、创建用户界面、图像处理、工程计算、信号处理等众多工作，具备丰富的应用工具和友好的用户界面，突出的数值和图形处理能力以及对其它众多的语言具有强大的支持功能，为众多科学与工程领域提供了全面的解决问题的方案，是当今世界科学软件的杰出代表，是世界四大软件之一。12MATLAB图像处理工具箱简介MATLAB中的IMAGEPROCESSINGTOOLBOX（图像处理工具箱），提供许多的图形工具和标准图像处理函数，主要用于进行图像分析、识别、可视化等处理，本文中的图像处理方法均是参照MATLAB中标准图像处理函数而设计和编写程序的，因此得到较好的图像处理效果。该工具箱功能强大，支持多线程，处理速度快。图像处理工具箱可以处理各种设备生成的各种类型的图像，诸如高分辨率的图像、动态图像、扫描图像等，可以对多种数据类型的图像进行处理，支持单精度和双精度的数据，以及8、16、32位整数，可以对图像进行检查和测量，提取和分析特征、调节亮度和对比度、构建多维图像、投影图像、创建统计图等处理。图像处理工具箱提供用于图像处理的标准算法，这些算法非常全面，可以解决诸多常见的图像处理方面的问题，包括灰度化、图像增强、边缘检测、图像分割等众多算法,其中边缘检测算法中包括SOBEL、PREWITT、ROBERTS、CANNY和拉普拉斯高斯等方法，图像分割算法包括全局阈值法和基于边缘提取法，MATLAB图形工具箱还提供一系列统计函数南京工程学院毕业设计说明书（论文）3用以统计图像特征并分析，并可以用图像表示出来，如图11所示。图11带有红色通道柱状图的图像13车辆源图像车辆图像是本系统中最为基础的物质材料，因此它也是车辆识别系统中最重要的，车辆图像的质量关系着最后的识别结果，图像的质量由许多因素决定的，拍照设备的性能，光照是否充分，天气是否晴朗等因素均能造成车牌图像的模糊，拍照位置是否恰当、路面是否平整、汽车是否正对摄像设备等因素造成了车牌图像的倾斜，总之车辆图像必须经过适当的处理，转化成易于识别的形式。14车牌识别的主要流程首先将采集到的车牌图像进行灰度化处理，转化为灰度图，其次对灰度图进行图像增强，采用的方法主要是灰度线性拉伸和直方图均衡，这个是必不可少的，只有直方图均衡化的图像才能进行边缘检测，本系统所用的边缘检测的算子是SOBEL算子，边缘检测完成以后，进行车牌定位与分割，此时大部分工作已经完成，剩下的是最关键的工作车字符分割和字符识别。对车牌图像首先进行二值化处理，然后进行字符分割，字符分割是字符识别的基础，字符识别是建立在正确分割字符的基础上的，本文的字符识别采用的是模板匹配的方法，匹配率比较高。15车牌识别系统的结构图南京工程学院毕业设计说明书（论文）4本系统采用的是MATLAB实验软件，基于MATLAB的图像工具箱（IMAGEPROCESSINGTOOLBOX），该工具箱包含有标准的图像处理函数，可以多方法，多角度地处理图像，在现实中应用很广泛。本系统主要包括车牌灰度化、图像增强、边缘检测、车牌定位、车牌预处理、分割车牌、字符分割、字符识别等部分，其主要结构图如图12所示。车牌识别系统图像灰度化字符识别图像增强边缘检测车牌定位分割车牌车牌预处理分割字符图12系统结构图南京工程学院毕业设计说明书（论文）5第二章系统人机界面的设计与实现21GUI简介GUI又被称为图形用户界面（GRAPHICALUSERINTERFACES，其是由窗口、光标、按键、菜单、文字说明等对象构成的。用户可以选择并激活这些对象，使计算机进行如计算、绘图等动作，通过GUI界面设计的软件，设计者可以向用户提供应用程序，进行技术和方法的演示，GUI可以被反复使用且操作简单。GUI是一个常见界面，包括一些控件，例如，按钮、滑块、列表框、菜单等，这些控件相当于“遥控器”，用户可以通过他们进行相应的操作。22本文的GUI界面设计1在查阅有关书籍和资料的基础上，熟悉MATLAB的使用方法，开始设计GUI界面。2考虑到本系统是对车牌图像的操作，故需要制作一个二维坐标图，用以存放图片，此坐标图大小应该与所测试的图片大小所对应的，既不能太大，也不能太小。3基于本车牌识别系统原理，所有按钮对应着各个模块，本系统共采用11个按钮“打开图像”，“灰度化”,“图像增强”，“边缘检测”,“车牌定位”，“分割车牌”,“车牌预处理”，“字符分割”,“字符识别”，“一步检测”,“退出”，每一个按钮对应的回调函数即为该功能实现的程序代码。4在粗略设计的基础上，对坐标图和按钮进行排列，实现合理的布局，从而变成一种美观的效果图。5GUI界面设计如图21所示。南京工程学院毕业设计说明书（论文）6图21系统界面图南京工程学院毕业设计说明书（论文）7第三章图像预处理及实现本章节主要介绍车辆图像预处理及实现的原理和步骤，首先对车辆图像进行灰度化处理，然后对图像进行图像增强处理，包括灰度线性拉伸、灰度直方图拉伸、图像滤波三部分，而图像二值化则是对分割出的车牌所进行的处理。具体流程如图31所示图31图像预处理流程图31数字图像基本知识彩色空间是一种常用的表示彩色的方式，是一种数学模型，实际生活中，主要存在RGB，CMY，HSI三种彩色空间。1RGBRGB三基色应用于几乎所有彩色成像设备和彩色显示设备，不仅如此，许多的数字图像文件常用的存储形式是RGB三基色，RGB彩色空间是以RGB三基色作为坐标的。RGB被称为三基色是因为R红、G绿、B蓝三种颜色的光按不同比例混合可以形成自然界任何色彩的光，所以，任意光的组成在数学形式上是R、G、B三种分量百分比的和。2CMYCMY彩色空间是由于自然界存在无源物体（不发光的物体），其吸收和反射的光决定了物体颜色。图像灰度化灰度线性拉伸直方图均衡图像维纳滤波车辆图像增强南京工程学院毕业设计说明书（论文）8油墨和颜料的三基色是CMY（CYAN/MAGENTA/YELLOW，青/洋红/黄）而不是RGB，CMY又被称之为三减色，是因为CMY三基色的特点，它减少了为视觉系统识别颜色所需要的反色光，正如油墨和颜料用的越多，颜色越暗（或越黑）所表现的那样。3HSIHSI（HUE/SATURATION/INTENSITY）是指色调，饱和度，强度。色调表示颜色，颜色按波长可以分为红橙黄绿青蓝紫。色彩饱和度表示色彩的鲜艳程度，也称为色彩的纯度，也就是白光在彩色光中所占比列。白光和色彩的饱和度呈现负相关。饱和度采用百分数表示，灰色光或白光为0，纯色光为100。强度也称之为亮度，它表示一种强弱程度，即人眼感受到彩色光的颜色的强弱程度，是由彩色光的能量决定的，与能量呈现正相关。能量越大，强度越强，能量越小，强度越低。32车辆图像灰度化预处理前的汽车图像样本几乎都是彩色图像，因为现实中它们大都是通过电子设备拍摄获取的，所以它们是RGB图像，一个像素的颜色由R、G、B三种分量表示，R表示红色，G表示绿色，B表示蓝色。每个像素的颜色有1600255255255多万种情况。一般先将各种图像转变成灰度图像，然后进行图像处理，因为灰度图像是一种特殊的彩色图像，它的R、G、B三个分量是完全一样的，每一个像素点的变化范围就减少为255种，这样，图像处理的计算量就变得比较少，从而节省处理时间和处理成本。灰度图像像素点的变化减少了，但是它与彩色图像一样仍然表现图像的整体和局部的色度、亮度的特征和规律。由于图像的每个像素都具有三个不同的颜色分量，从而有大量的颜色信息包含在彩色图像中，因此系统在存储上所占的资源很多，同时系统的处理速度也会降低。由于图像在包含的许多有用信息的同时还包含许许多多的无用的信息，这些信息对图像识别形成了极大的干扰，因此必须对图像进行灰度化，这样滤除了许多无用的信息，加快了处理的速度。灰度颜色中的分量RGB，它们的取值叫做灰度值。因为灰度值取值范围是0255，所以灰度的级别有256种。南京工程学院毕业设计说明书（论文）9对图像进行灰度化，就是把图像变为灰度图像，主要处理方法如下1取最大值取R、G、B三值中最大的一个，即RGBMAX（R、G、B312取平均值RGBRGB/3323加权平均，根据不同颜色在灰度过程化中的重要性不同，故采用数学上常用的加权方法即RGBWRRWGGWBB33其中R、G、B的权值分别为WR、WG、WB。由于人眼对颜色的敏感度为绿色红色蓝色，由相关理论知道当WR030，WG059，WB011时，图像灰度化后的效果最好，最适合人眼识别，如图32所示，其中A为变换前的车辆RGB彩色图像，图B为变换后的车辆灰度图。A车辆RGB彩色图像B车辆灰度图图32汽车灰度化前后图像33车辆图像增强由于各种客观因素的作用，例如光照、天气、拍照设备等影响导致车辆图像的质量比较低，为了得到更好的处理效果，往往首先对图像进行图像增强，即将图像转换成更易被处理的形式，以便从图像中获取更有用的信息，图像增强技术广泛的应用于图像处理领域。通常情况下，通过图像增强后的图像，某些信息被突出，其它信息被压缩，图像视觉效果得到了改善，所以，图像增强是一种有损处理，它只是突出了有用的信息，削弱了无用的信息南京工程学院毕业设计说明书（论文）10图像增强处理过程所在的空间不同，可分为基于空间域和基于频率域两大方法1空间域法空间域法是在图像的二维空间内直接对像素灰度进行处理。空间域方法又分为点运算和空域滤波，点运算又分为灰度变换增强和直方图增强，空域滤波主要包括图像平滑和图像锐化，本系统主要采用点运算即灰度变换增强和直方图增强。2频率域法频率域法是一种逆变换的方法，是间接的。首先利用傅里叶变换将图像变换到频率域，然后对频谱进行运算处理，然后再进行逆变换返回到空间域，得到增强的图像。331灰度线性拉伸在实际生活中，由于光照、天气、拍照设备的影响导致车牌图像即使经过灰度化仍然分辨不清，因此为了提高图像的对比度，改善视觉效果，必须进行灰度线性拉伸。灰度拉伸的作用是增强对比度，它是依据直方图的特征来对某一些灰度区间进行拉伸。如图33所示。GX,YTFX,Y34图33灰度拉伸曲线南京工程学院毕业设计说明书（论文）11式34中FX,Y为点X,Y的灰度，T为映射函数，GX,Y为变换后的灰度。如果FX,Y的取值范围为S1,S2，变换后的GX,Y取值范围为T1,T2，则FX,Y和GX,Y存在式35的数学关系GX,YT2T1/S2S1FX,YS135从式35的关系中，我们可以知道FX,Y和GX,Y之间存在线性关系，所以又称该灰度拉伸为线性拉伸如图34所示，图像进行线性拉伸后，图像更加清晰，视觉效果更好，车牌更容易被识别，A为车辆灰度图，B为线性拉伸图。A车辆灰度图B车辆灰度拉伸图图34车辆灰度线性拉伸前后对比图332灰度直方图均衡灰度直方图表示了灰度值的分布，它统计了图像中各灰度值的像素个数。通常横坐标表示灰度级别，纵坐标表示频率。直方图表示灰度级出现的频率，其对应的公式是式子（36）PRNR/N36式（36）中NR表示灰度级为R的像素个数，N表示整幅图像的像素个数。因为PR表示第R个灰度级出现的概率，直方图表示了原图的灰度值分布情况。灰度直方图表示了图像的灰度分布情况，基本上可以描述一幅图像的相貌，但是为了能更好的的进行图像识别，改善识别效果，必须对直方图进行修正。如果用S0S1表变换后来图像的灰度，R0R1表示原始图像的灰度0南京工程学院毕业设计说明书（论文）12代表黑，1代表白。在0,1的区间任意取一个R值，都对应着一个S值，且STR，TR为变换函数。为了使这种灰度变换具有实际意义，TR应该满足下列条件1在0R1区间，TR为单调递增函数；2在0R1区间。有0TR1变换公式为STR37RODP式37表明变换函数是原始图像的累计分布函数，具有非负递增性。MATLAB中JHISTEQI,N函数可以对直方图进行均衡化的操作，N为均衡化后的级数，本文中所用的缺省值256，图35和图36为直方图均衡化前后对比图。A原始车辆灰度图B原始直方图图35原始灰度图和直方图A车辆均衡化的灰度图B均衡化的直方图图36均衡化后的灰度图和直方图333图像滤波南京工程学院毕业设计说明书（论文）13实际生活中，图像在获取和传输过程中会受到许多噪声的影响，为了去除图像中的噪声，对车牌图像滤波，常采用邻域平均法，中值滤波法和维纳滤波法，各方法功能现分别介绍如下1邻域平均法邻域平均法属于空间域的一种，主要是在空间域上操作，邻域平均法的具体原理是取平均值，即用该像素邻域范围内的像素灰度平均值代替该像素的灰度值。图像信号通过邻域平均处理得到平滑，效果与图像信号通过低通滤波器的相似。取图像FI,J中的像素点M,N，并取其邻域S，S通常为矩形，邻域内共有M个像素，求所有像素的平均值，该平均值即为像素点M,N处的灰度，点M,N一般位于S的中心。如S为3X3邻域，点M,N位于S中心，则381,9,JIJNIFYXF2中值滤波法由于邻域平均法会使图像中的细节变得模糊，而中值滤波不仅能消除噪声还会防止细节变的模糊，中值滤波是一种非线性滤波，简单的说就是取所有像素的中间值，图像滤波后所得到的结果即为图像中所有像素灰度的中值，它是通过减少图像中某一邻域内的像素灰度值的差别来实现滤波的。3维纳滤波法维纳滤波主要用于存在较大噪声的图像滤波的过程中，它能够从噪声中提取信号波形，通过维纳滤波后所得到的图像在整体上较为平滑。维纳滤波是基于图像的局部方差实现噪声滤除的，方差越小，噪声滤除效果越好。与其它滤波相比，维纳滤波具有其优越的特性，它可以很好的保存图像边缘和高频细节信息，同时特别是对于含有白色噪声的图像有较好的滤波效果。MATLAB软件中用于维纳滤波的函数为WIENER2函数，其采用的是基于像素的局部均值与方差的算法392,12,NAMN310,221式310中是图像中每个像素的N1N2邻域，然后对每一个像素利用滤波南京工程学院毕业设计说明书（论文）14器估计出其灰度值（V2是图像中噪声的方差）311,21221NAVNB基于维纳滤波的巨大的优点，本系统所用的即为维纳滤波，在对滤波后的灰度图像进行较好的二值化处理。维纳滤波前后对比如图37所示。A维纳滤波前B维纳滤波后图37维纳滤波前后对比图34二值化二值是指黑、白两种颜色，二值化就是就将图像变为黑、白两种颜色，这样对二值化的图像再进行别的处理速度更快，得到的效果更好，二值化的图像特征更明显，更容易被描述和分析。在现实生活中，存在许多二值图像，例如书本文字、采集到的指纹，设计的图纸，因为图像二值化的众多优点导致我们常常把本身是有灰度的图像变成二值化图像再处理，这样能够使车牌识别系统提高处理效率，加快处理速度，降低处理成本。图像二值变换的原理是通过确定恰当的阈值来分割对象与背景，并且要确保变换后的图像不丢失原来图像的形状信息，不产生额外的空缺。二值化的关键点是要找到恰当的阈值，此阈值用来分隔对象与背景。假设FX,Y为原灰度图像，GX,Y为二值化后的图像，阈值为T，二值化的数学方法表示如式312，313下GX,Y1,FX,YT312GX,Y0,FX,YBOTTOMTEST的行，确定车牌底I行，且置BOTTOMFLAG为1。4在找到车牌底后，对于黑白值改变的次数LEFTTEST4，置LEFTFLAG1，表示初步找到左边界。3根据车牌的实际字符宽高比是43090，结合上下边界定位时求出的车牌的高度PLATEHEIGHT，算出车牌宽度PLATEWIDTH。这样就确定了一个临时右边界。4计算整个临时车牌区域内的黑白跳变次数赋给AREACOUNT，如果AREACOUNT28HEIGHT,再计算左边界右边的2个字符区域的黑白跳变次数赋给TEMPARRAY,如果TEMPARRAYBOTTOMTESTNYTOPI，TOPFLAG1BOTTOMTOPLEFTTESTNY计算左右边界区域跳变点数，赋给AREACOUNTAREACOUNT0,视为找到第一个字符左边界；继续向右扫描，若WHITECOUNTI0，视为找到第一个字符右边界；依次进行此操作，记录所有字符区域的左右边界。3根据字符先验知识进行分割校正根据第2步的结果，若字符区域个数TEMPWORDCOUNT7，表示字符区域需要合并。从右至左的前六个字符是英文和数字，只有汉字区域可能出现左右或左中右结构，可能出现分割错误。因此，如果汉字区域分割结果大于1，则将这些分割出来的区域合并，得到一个正确的汉字区域。字符分割流程图如图51所示。车牌字符分割效果如图51所示。南京工程学院毕业设计说明书（论文）33找到字符的左边界，STARTFLAG1表示左边界找到，STARTLINEFLAGCOUNTI对图像进行从左至右垂直直线扫描将每列白色像素点数赋给WHITECOUNTIWHITECOUNTI0SCENERECOGNITIONSALIENTIMAGEMATCHINGSTRATEGYFUZZYLOGICHIDDENMARKOVMODEL1INTRODUCTIONSEARCHANDRESCUEINDISASTERAREAINTHEDOMAINOFROBOTISABURGEONINGANDCHALLENGINGSUBJECT1MINERESCUEROBOTWASDEVELOPEDTOENTERMINESDURINGEMERGENCIESTOLOCATEPOSSIBLEESCAPEROUTESFOR南京工程学院毕业设计说明书（论文）48THOSETRAPPEDINSIDEANDDETERMINEWHETHERITISSAFEFORHUMANTOENTERORNOTLOCALIZATIONISAFUNDAMENTALPROBLEMINTHISFIELDLOCALIZATIONMETHODSBASEDONCAMERACANBEMAINLYCLASSIFIEDINTOGEOMETRIC,TOPOLOGICALORHYBRIDONES2WITHITSFEASIBILITYANDEFFECTIVENESS,SCENERECOGNITIONBECOMESONEOFTHEIMPORTANTTECHNOLOGIESOFTOPOLOGICALLOCALIZATIONCURRENTLYMOSTSCENERECOGNITIONMETHODSAREBASEDONGLOBALIMAGEFEATURESANDHAVETWODISTINCTSTAGESTRAININGOFFLINEANDMATCHINGONLINEDURINGTHETRAININGSTAGE,ROBOTCOLLECTSTHEIMAGESOFTHEENVIRONMENTWHEREITWORKSANDPROCESSESTHEIMAGESTOEXTRACTGLOBALFEATURESTHATREPRESENTTHESCENESOMEAPPROACHESWEREUSEDTOANALYZETHEDATASETOFIMAGEDIRECTLYANDSOMEPRIMARYFEATURESWEREFOUND,SUCHASTHEPCAMETHOD3HOWEVER,THEPCAMETHODISNOTEFFECTIVEINDISTINGUISHINGTHECLASSESOFFEATURESANOTHERTYPEOFAPPROACHUSESAPPEARANCEFEATURESINCLUDINGCOLOR,TEXTUREANDEDGEDENSITYTOREPRESENTTHEIMAGEFOREXAMPLE,ZHOUETAL4USEDMULTIDIMENSIONALHISTOGRAMSTODESCRIBEGLOBALAPPEARANCEFEATURESTHISMETHODISSIMPLEBUTSENSITIVETOSCALEANDILLUMINATIONCHANGESINFACT,ALLKINDSOFGLOBALIMAGEFEATURESARESUFFEREDFROMTHECHANGEOFENVIRONMENTLOWE5PRESENTEDASIFTMETHODTHATUSESSIMILARITYINVARIANTDESCRIPTORSFORMEDBYCHARACTERISTICSCALEANDORIENTATIONATINTERESTPOINTSTOOBTAINTHEFEATURESTHEFEATURESAREINVARIANTTOIMAGESCALING,TRANSLATION,ROTATIONANDPARTIALLYINVARIANTTOILLUMINATIONCHANGESBUTSIFTMAYGENERATE1000ORMOREINTERESTPOINTS,WHICHMAYSLOWDOWNTHEPROCESSORDRAMATICALLYDURINGTHEMATCHINGSTAGE,NEARESTNEIGHBORSTRATEGYNNISWIDELYADOPTEDFORITSFACILITYANDINTELLIGIBILITY6BUTITCANNOTCAPTURETHECONTRIBUTIONOFINDIVIDUALFEATUREFORSCENERECOGNITIONINEXPERIMENTS,THENNISNOTGOODENOUGHTOEXPRESSTHESIMILARITYBETWEEN南京工程学院毕业设计说明书（论文）49TWOPATTERNSFURTHERMORE,THESELECTEDFEATURESCANNOTREPRESENTTHESCENETHOROUGHLYACCORDINGTOTHESTATEOFARTPATTERNRECOGNITION,WHICHMAKESRECOGNITIONNOTRELIABLE7SOINTHISWORKANEWRECOGNITIONSYSTEMISPRESENTED,WHICHISMORERELIABLEANDEFFECTIVEIFITISUSEDINACOMPLEXMINEENVIRONMENTINTHISSYSTEM,WEIMPROVETHEINVARIANCEBYEXTRACTINGSALIENTLOCALIMAGEREGIONSASLANDMARKSTOREPLACETHEWHOLEIMAGETODEALWITHLARGECHANGESINSCALE,2DROTATIONANDVIEWPOINTANDTHENUMBEROFINTERESTPOINTSISREDUCEDEFFECTIVELY,WHICHMAKESTHEPROCESSINGEASIERFUZZYRECOGNITIONSTRATEGYISDESIGNEDTORECOGNIZETHELANDMARKSINPLACEOFNN,WHICHCANSTRENGTHENTHECONTRIBUTIONOFINDIVIDUALFEATUREFORSCENERECOGNITIONBECAUSEOFITSPARTIALINFORMATIONRESUMINGABILITY,HIDDENMARKOVMODELISADOPTEDTOORGANIZETHOSELANDMARKS,WHICHCANCAPTURETHESTRUCTUREORRELATIONSHIPAMONGTHEMSOSCENERECOGNITIONCANBETRANSFORMEDTOTHEEVALUATIONPROBLEMOFHMM,WHICHMAKESRECOGNITIONROBUST2SALIENTLOCALIMAGEREGIONSDETECTIONRESEARCHESONBIOLOGICALVISIONSYSTEMINDICATETHATORGANISMLIKEDROSOPHILAOFTENPAYSATTENTIONTOCERTAINSPECIALREGIONSINTHESCENEFORTHEIRBEHAVIORALRELEVANCEORLOCALIMAGECUESWHILEOBSERVINGSURROUNDINGS8THESEREGIONSCANBETAKENASNATURALLANDMARKSTOEFFECTIVELYREPRESENTANDDISTINGUISHDIFFERENTENVIRONMENTSINSPIREDBYTHOSE,WEUSECENTERSURROUNDDIFFERENCEMETHODTODETECTSALIENTREGIONSINMULTISCALEIMAGESPACESTHEOPPONENCIESOFCOLORANDTEXTUREARECOMPUTEDTOCREATETHESALIENCYMAPFOLLOWUP,SUBIMAGECENTEREDATTHESALIENTPOSITIONINSISTAKENASTHELANDMARKREGIONTHESIZEOFTHELANDMARKREGIONCANBEDECIDEDADAPTIVELYACCORDINGTOTHECHANGESOFGRADIENTORIENTATIONOFTHELOCALIMAGE11南京工程学院毕业设计说明书（论文）50MOBILEROBOTNAVIGATIONREQUIRESTHATNATURALLANDMARKSSHOULDBEDETECTEDSTABLYWHENENVIRONMENTSCHANGETOSOMEEXTENTTOVALIDATETHEREPEATABILITYONLANDMARKDETECTIONOFOURAPPROACH,WEHAVEDONESOMEEXPERIMENTSONTHECASESOFSCALE,2DROTATIONANDVIEWPOINTCHANGESETCFIG1SHOWSTHATTHEDOORISDETECTEDFORITSSALIENCYWHENVIEWPOINTCHANGESMOREDETAILEDANALYSISANDRESULTSABOUTSCALEANDROTATIONCANBEFOUNDINOURPREVIOUSWORKS123SCENERECOGNITIONANDLOCALIZATIONDIFFERENTFROMOTHERSCENERECOGNITIONSYSTEMS,OURSYSTEMDOESNTNEEDTRAININGOFFLINEINOTHERWORDS,OURSCENESARENOTCLASSIFIEDINADVANCEWHENROBOTWANDERS,SCENESCAPTUREDATINTERVALSOFFIXEDTIMEAREUSEDTOBUILDTHEVERTEXOFATOPOLOGICALMAP,WHICHREPRESENTSTHEPLACEWHEREROBOTLOCATESALTHOUGHTHEMAPSGEOMETRICLAYOUTISIGNOREDBYTHELOCALIZATIONSYSTEM,ITISUSEFULFORVISUALIZATIONANDDEBUGGING13ANDBENEFICIALTOPATHPLANNINGSOLOCALIZATIONMEANSSEARCHINGTHEBESTMATCHOFCURRENTSCENEONTHEMAPINTHISPAPERHIDDENMARKOVMODELISUSEDTOORGANIZETHEEXTRACTEDLANDMARKSFROMCURRENTSCENEANDCREATETHEVERTEXOFTOPOLOGICALMAPFORITSPARTIALINFORMATIONRESUMINGABILITYRESEMBLEDBYPANORAMICVISIONSYSTEM,ROBOTLOOKSAROUNDTOGETOMNIIMAGESFROM南京工程学院毕业设计说明书（论文）51FIG1EXPERIMENTONVIEWPOINTCHANGESEACHIMAGE,SALIENTLOCALREGIONSAREDETECTEDANDFORMEDTOBEASEQUENCE,NAMEDASLANDMARKSEQUENCEWHOSEORDERISTHESAMEASTHEIMAGESEQUENCETHENAHIDDENMARKOVMODELISCREATEDBASEDONTHELANDMARKSEQUENCEINVOLVINGKSALIENTLOCALIMAGEREGIONS,WHICHISTAKENASTHEDESCRIPTIONOFTHEPLACEWHERETHEROBOTLOCATESINOURSYSTEMEVID70CAMERAHASAVIEWFIELDOF170CONSIDERINGTHEOVERLAPEFFECT,WESAMPLEENVIRONMENTEVERY45TOGET8IMAGESLETTHE8IMAGESASHIDDENSTATESI1I8,THECREATEDHMMCANBEILLUSTRATEDBYFIG2THEPARAMETERSOFHMM,AIJANDBJK,AREACHIEVEDBYLEARNING,USINGBAULMWELCHALGORITHM14THETHRESHOLDOFCONVERGENCEISSETAS0001ASFORTHEEDGEOFTOPOLOGICALMAP,WEASSIGNITWITHDISTANCEINFORMATIONBETWEENTWOVERTICESTHEDISTANCESCANBECOMPUTEDACCORDINGTOODOMETRYREADINGSFIG2HMMOFENVIRONMENTTOLOCATEITSELFONTHETOPOLOGICALMAP,ROBOTMUSTRUNITSEYE南京工程学院毕业设计说明书（论文）52ONENVIRONMENTANDEXTRACTALANDMARKSEQUENCEL1LK,THENSEARCHTHEMAPFORTHEBESTMATCHEDVERTEXSCENEDIFFERENTFROMTRADITIONALPROBABILISTICLOCALIZATION15,INOURSYSTEMLOCALIZATIONPROBLEMCANBECONVERTEDTOTHEEVALUATIONPROBLEMOFHMMTHEVERTEXWITHTHEGREATESTEVALUATIONVALUE,WHICHMUSTALSOBEGREATERTHANATHRESHOLD,ISTAKENASTHEBESTMATCHEDVERTEX,WHICHINDICATESTHEMOSTPOSSIBLEPLACEWHERETHEROBOTIS4MATCHSTRATEGYBASEDONFUZZYLOGICONEOFTHEKEYISSUESINIMAGEMATCHPROBLEMISTOCHOOSETHEMOSTEFFECTIVEFEATURESORDESCRIPTORSTOREPRESENTTHEORIGINALIMAGEDUETOROBOTMOVEMENT,THOSEEXTRACTEDLANDMARKREGIONSWILLCHANGEATPIXELLEVELSO,THEDESCRIPTORSORFEATURESCHOSENSHOULDBEINVARIANTTOSOMEEXTENTACCORDINGTOTHECHANGESOFSCALE,ROTATIONANDVIEWPOINTETCINTHISPAPER,WEUSE4FEATURESCOMMONLYADOPTEDINTHECOMMUNITYTHATAREBRIEFLYDESCRIBEDASFOLLOWSGOGRADIENTORIENTATIONITHASBEENPROVEDTHATILLUMINATIONANDROTATIONCHANGESARELIKELYTOHAVELESSINFLUENCEONIT5ASMANDENTANGULARSECONDMOMENTANDENTROPY,WHICHARETWOTEXTUREDESCRIPTORSHHUE,WHICHISUSEDTODESCRIBETHEFUNDAMENTALINFORMATIONOFTHEIMAGEANOTHERKEYISSUEINMATCHPROBLEMISTOCHOOSEAGOODMATCHSTRATEGYORALGORITHMUSUALLYNEARESTNEIGHBORSTRATEGYNNISUSEDTOMEASURETHESIMILARITYBETWEENTWOPATTERNSBUTWEHAVEFOUNDINTHEEXPERIMENTSTHATNNCANTADEQUATELYEXHIBITTHEINDIVIDUALDESCRIPTORORFEATURESCONTRIBUTIONTOSIMILARITYMEASUREMENTASINDICATEDINFIG4,THEINPUTIMAGEFIG4ACOMESFROMDIFFERENTVIEWOFFIG4BBUTTHEDISTANCEBETWEENFIGS4AANDBCOMPUTEDBYJEFFEREYDIVERGENCEISLARGERTHANFIG4C南京工程学院毕业设计说明书（论文）53TOSOLVETHEPROBLEM,WEDESIGNANEWMATCHALGORITHMBASEDONFUZZYLOGICFOREXHIBITINGTHESUBTLECHANGESOFEACHFEATURESTHEALGORITHMISDESCRIBEDASBELOWANDTHELANDMARKINTHEDATABASEWHOSEFUSEDSIMILARITYDEGREEISHIGHERTHANANYOTHERSISTAKENASTHEBESTMATCHTHEMATCHRESULTSOFFIGS2BANDCAREDEMONSTRATEDBYFIG3ASINDICATED,THISMETHODCANMEASURETHESIMILARITYEFFECTIVELYBETWEENTWOPATTERNSFIG3SIMILARITYCOMPUTEDUSINGFUZZYSTRATEGY5EXPERIMENTSANDANALYSISTHELOCALIZATIONSYSTEMHASBEENIMPLEMENTEDONAMOBILEROBOT,WHICHISBUILTBYOURLABORATORYTHEVISIONSYSTEMISCOMPOSEDOFACCDCAMERAANDAFRAMEGRABBERIVC4200THERESOLUTIONOFIMAGEISSETTOBE400320ANDTHESAMPLEFREQUENCYISSETTOBE10FRAMES/STHECOMPUTERSYSTEMISCOMPOSEDOF1GHZPROCESSORAND512MMEMORY,WHICHISCARRIEDBYTHEROBOTPRESENTLYTHEROBOTWORKSININDOORENVIRONMENTSBECAUSEHMMISADOPTEDTOREPRESENTANDRECOGNIZETHESCENE,OURSYSTEMHASTHEABILITYTOCAPTURETHEDISCRIMINATIONABOUTDISTRIBUTIONOFSALIENTLOCALIMAGEREGIONSANDDISTINGUISHSIMILARSCENES南京工程学院毕业设计说明书（论文）54EFFECTIVELYTABLE1SHOWSTHERECOGNITIONRESULTOFSTATICENVIRONMENTSINCLUDING5LANEWAYSANDASILO10SCENESARESELECTEDFROMEACHENVIRONMENTANDHMMSARECREATEDFOREACHSCENETHEN20SCENESARECOLLECTEDWHENTHEROBOTENTERSEACHENVIRONMENTSUBSEQUENTLYTOMATCHTHE60HMMSABOVEINTHETABLE,“TRUTH”MEANSTHATTHESCENETOBELOC