基于神经网络的车牌照字符识别改进方法研究.doc

- 西 南 交 通 大 学 毕业设计（论文） 基于神经网络的车牌照字符识别改进方法 研究 年 级: 学 号: 20052295 姓 名: 专 业: 自动化（交通信息工程及控制方向） 指导老师: 二零零九年六月 院 系 信息科学与技术学院 专 业 自动化（交通信息工程及控制） 年 级 2005 级 姓 名 题 目 基于神经网络的车牌照字符识别改进方法研究 指导教师 评 语 指导教师 (签章) 评 阅 人 评 语 评 阅 人 (签章) 成 绩 答辩委员会主任 (签章) 年 月 日 西南交通大学本科毕业设计(论文) 第 i 页 毕毕 业业 设设 计计 任任 务务 书书 班 级 交控 1 级 学生姓名 周波 学 号 20052295 专 业 自动化（交通信息工程及控制） 发题日期：2009 年 1 月 1 日 完成日期：2009 年 6 月 15 日 题题 目目 基于神经网络的车牌照字符识别改进方法研究 题目类型： 工程设计 技术专题研究 理论研究 软硬件产品开发 一、一、设计任务及要求设计任务及要求 车牌照识别是智能交通系统的一个重要课题，在车辆管理、不停车收费等系统中有广泛应 用。目前，基于神经网络的字符识别技术在车牌照识别领域中已经得到比较普遍的应用，但是 由于车牌字符识别算法的相对复杂性，因此我们需要设计一种改进算法来提高车牌照识别系统 的鲁棒性和实时性。具体要求如下： 1. 对输入的字符图像（包括数字和英文字母）进行字符特征提取 2. 通过神经网络方法训练样本和自学习，识别字符并给出结果 3. 设计一种改进算法以提高字符识别的精确度和快速性 4. 输入图像中可以含有多个数字和字母 5. 每张图片的处理时间不能大于 1s 二、二、应完成的硬件或软件实验应完成的硬件或软件实验 1. 利用 matlab 或 vc+编程实现车牌照字符的识别技术 2. 设计一个人机交互界面能输入车牌照字符图像并显示字符识别的结果 三、三、应交出的设计文件及实物（包括设计论文、程序清单或磁盘、实验装置或产品等）应交出的设计文件及实物（包括设计论文、程序清单或磁盘、实验装置或产品等） 1. 毕业设计论文（必须完全符合学校规范，内容严禁有丝毫的抄袭剽窃） 2. cd-r（含论文，程序，程序使用说明书，演示视频，盘面标注班级，姓名，专业，日期） 3.英文翻译按学校规定，导师无特殊要求 西南交通大学本科毕业设计(论文) 第 ii 页 四、四、指导教师提供的设计资料指导教师提供的设计资料 1. 研究报告介绍（包括课题背景、动机、内容、意义） 2. 计划说明书 3. 部分英文文献资料和 medialab lpr 图像数据库 五、五、要求学生搜集的技术资料（指出搜集资料的技术领域）要求学生搜集的技术资料（指出搜集资料的技术领域） 1. 本课题相关领域国内外重要论文及资料 2. matlab、c+编程指南 六、六、设计进度安排设计进度安排 第一部分 查阅相关资料，学习相关编程语言 （2 周） 第二部分 编制程序并进行软件调试 （8 周） 第三部分 撰写毕业论文 （5 周） 评阅及答辩 毕业论文修改和参加答辩 （1 周） 指导教师： 年 月 日 系主任审查意见： 审 批 人： 年 月 日 西南交通大学本科毕业设计(论文) 第 iii 页 注：设计任务书审查合格后，发到学生手上。 西南交通大学信息科学与技术学院 2008 年制 摘 要 车牌字符识别是智能交通系统的一个重要课题，在车辆管理、不停车收费等系 统中有广泛应用。目前，基于神经网络的字符识别技术在车牌照识别领域中已经得 到比较普遍的应用，但是由于车牌字符识别算法的相对复杂性，因此我们需要设计 一种改进算法来提高车牌照识别系统的鲁棒性和实时性。 字符识别是模式识别领域的一项传统的课题，这是因为字符识别不是一个孤立 的问题，而是模式识别领域中大多数课题都会遇到的基本问题。字符识别也是加快 人机信息交流的有效手段。目前有许多资料以图书形式存在，如果用手工的方式进 行录入的话，不仅效率地下，而且容易出错。在这种要求下，字符识别有了出现的 必要。在这篇文章中主要是利用神经元网络控制来实现对字符图像的处理，从而实 现字符识别的功能。 神经网络模式识别方法是近些年提出的新方法，为字符研究提供了一种新手段， 它具有一些传统技术没有的优点：良好的容错能力，较强的分类能力，有并行处理 能力和自学习能力。因而，采用神经网络识别方式是一种很好的选择。本文首先对 字符图像进行预处理并提取出字符的图像特征；然后用神经网络方法对数字和英文 字符进行识别，得出结果和显示出识别时间；最后提出一些改进算法以提高字符识 别的精确度和快速性。 关键词：关键词：字符识别； 图像处理；特征提取； 神经网络 西南交通大学本科毕业设计(论文) 第 iv 页 abstract the character recognition of license plate is an important subject of intelligent transportation system, and is used widely in the vehicle management system and electronic toll collection system. at present, the character recognition technology based on neural network has been used widely in the field of license plate recognition, but due to the relative complexity of plate character recognition algorithm, we need to design an improved algorithm to improve the robustness and real-time ability of the license plate recognition system. character recognition is a traditional subject in the field of pattern recognition, this is because character recognition is not a single problem, but a basic one which will be encountered in most subjects in the field of pattern identification. character recognition is also an effective means to accelerate the process of man-computer communication. currently, at present ，there are lots of material in the books， and if they are inputted manually, it would be not only inefficient, but also error-prone. so, there is a need for the appearance of character recognition in this case. in this paper, neural network control is mainly used to achieve the purpose of character image processing, thus the function of character recognition has been realized. the method of neural network pattern recognition is a new method brought up in recent years, and has provided a new means for character research. it has some advantages which traditional technology didnt have, such as good fault-tolerant capability, strong capability of classification, parallel processing and self-learning. therefore, its a good choice to adopt the method of neural network recognition. in this paper, firstly, character image was pre-processed and the image feature of character was extracted; then, by using the method of neural network recognition, numbers and english characters were recognized and the result was obtained and recognition time was displayed. lastly, some 西南交通大学本科毕业设计(论文) 第 v 页 improved algorithms were introduced to improve the accuracy and rapidity of the character recognition. keywords: character recognition; image processing; feature extraction; neural network 西南交通大学本科毕业设计(论文) 第 vi 页 目 录 摘 要iii abstractiv 第 1 章 绪 论1 1.1 国内外研究现状及研究意义.1 1.1.1 国内外研究现状1 1.1.2 研究意义3 1.2 研究内容及方法.5 1.2.1 研究内容5 1.2.2 研究方法5 1.3 字符图像识别的总体方案设计.5 1.4 本文结构安排.6 第 2 章 图像预处理8 2.1 引言.8 2.2 图像灰度化.8 2.3 图像二值化.10 2.4 图像归一化.11 2.5 图像的反色处理.12 2.6 本章小结.13 第 3 章 基于神经网络的字符识别14 3.1 神经网络字符识别的过程.14 3.2 bp 神经网络模型和算法18 3.2.1 bp 神经网络模型.18 3.2.2 bp 神经网络学习算法.18 3.3 神经网络算法改进.22 3.4 本章小结.23 第 4 章 字符识别的时间分析性和精确度分析24 4.1 字符识别的时间分析性.24 4.2 字符识别的精确分析.26 第 5 章 软件设计27 5.1 系统流程.27 5.2 系统界面.27 结 论33 西南交通大学本科毕业设计(论文) 第 vii 页 致 谢34 参考文献35 西南交通大学本科毕业设计（论文） 第 1 页 第 1 章 绪 论 1.1 国内外研究现状及研究意义 1.1.1 国内外研究现状 字符作为信息沟通与交流的重要载体，在人们的日常工作和生活中起着重要作 用，因此字符识别技术成为人机交互界面研究的主要内容之一。字符识别是模式识 别领域的一项传统的课题，它在现代日常生活的应用越来越广泛，比如汽车车牌牌 照的自动识别系统、联机手写识别系统.字符识别由于应用条件不同，解决的方法也 各异。 随着全世界的经济飞速发展，信息技术日新月异。人工智能等计一算机技术的 迅猛发展使得信息的自动处理能力不断提高，并且广泛地应用于人们的生产和生活 实际当中，极大地推动了人类的进步和社会的发展。随着人们生活节奏的不断加快， 汽车的普及已经成为必然趋势，交通系统的管理能力也相应的需要极大的提高，所 以车辆的自动管理即智能交通系统的开发就越来越成为社会现实中需要迫切解决的 问题。在这个大背景下，基于计算机视觉的图像处理及模式识别技术就越来越得到 人们的关注，这也为智能交通管理系统的深入研究并且早日进入实际应用领域提供 了非常好的契机。车辆牌照自动识别系统已成为计算机视觉与模式识别应用的重要 研究课题之一。 在模式识别领域中，有的技术已经初步进入了实用阶段，比如指纹识别，虹膜 识别等；语音识别，手写汉字识别等也取得了飞速的进展。而车牌识别系统 是一个涉及到图像处理，模式识别，计算机视觉，软件工程等多个方面的技术的系 统。由于整个系统需要解决的问题相当复杂，车牌识别在实际上只得到了初步的应 用。例如在识别过程中不同的天气，亮度，环境光都会对车牌的定位造成一定的困 难，车牌本身的缺陷或倾斜对字符切分会造成很大的影响，复杂而且难以预计的非 车牌区域更是给车牌的准确识别带来了极大的困难。尽管近几年来研究者们也对这 些问题提出了很多相应的解决方法，但是在识别的速度，正确率上还是有着很大的 不足。尤其是近些年来，随着人们生活水平的提高，私家车的拥有量越来越高，各 类公路街道也不断拓宽，同时驾驶员素质却是参差不齐，众多因素使得需要识别的 图像背景越来越复杂，交通系统的压力也越来越大，从而智能交通系统也成为了图 像处理人工智能领域的一个热点项目。车牌号码的识别是智能交通系统的重要组成 部分，其主要功能是从视频监控视频（实时处理或录像）中分析并且处理采集到的 图像，捕获到含有汽车牌照的关键帧，对这类帧进行识别处理，依次对图像中车牌 的位置进行定位，对定位好的车牌进行旋转，切分等操作，最后对切分好的单个字 西南交通大学本科毕业设计（论文） 第 2 页 符进行识别，从而提取出汽车牌照的完整信息。这套系统在出入控制路口，高速公 路收费站，公路流量监控，违章车辆监控等方面都可以使用。只要是可以放置摄像 头或照相机的地方都可以方便的应用。 综上所述，对车牌识别技术的研究以及相关应用系统的开发都具有重大的现实 意义以及实用价值，同时也拥有广大的商业应用前景。 本文采用的基于 bp(back-propagation)神经网络进行字符识别是一种新的识别方 法，它具有一些传统技术所没有的优点，如识别速度较快，分类能力强，且具有较 好的容错性能和自学习能力。与其它方法相比， bp 神经网络不需要了解网络的内 部细节和过程，实现相对简单，还有自我改进和学习的优点，很容易为识别系统增 加学习特性，易适应各种书写风格发生的变化。 20 世纪 80 年代中期，美国很多学者就完整地提出了反向传播学习算法，简称 为 bp 算法，bp 算法因其良好的非线性映射能力和柔软的网络结构，目前已被广泛 应用于模式识别、数据预测、图像处理等各个领域，它的理论发展也日趋成熟。近 年来，人们围绕如何加速传统 bp 网络的收敛速度及尽量陷入局部最优解等问题做 了大量的研究工作，并提出了许多改进的方案1-3。本文在详细研究 bp 算法及改进 算法基础上，通过“车牌识别”4对标准 bp 算法和改进 bp 算法进行了比较研究。 字符图像模式是人们对要识别的字符图像的定义和描述，图像模式类是具有某 些集合、纹理和数字描述体的共同特性样本客体的集合。图像模式识别是对表征事 物或物理现象的各种形式的物理数据、图像信息进行处理和分析，以对图像进行描 述、辨认、分析和解释的过程。图像模式识别的研究是将图像处理、特征定义与变 换、分类方法、数字计算等各种技术综合应用，自动的识别和分类物体图像中的几 何目标、区域纹理和数学描述体的目标过程。 一般的图像模式识别系统由 5 个基本模块组成，包括图像数据采集图像数据和 预处理、特征建立及分析、分类器设计、模板匹配。任何一种模式识别方法的实现 都需要由客体，首先要通过各种数据采集设备、数字图像摄像头、模拟图像 a/d 转 换卡或者将各种物理变量转换为计算机能表达的二维或三维数字图像。这种由数字 图像组成的空间为模式空间，计算机必须从这些众多的图像数字信息中抽取和提炼 重要和简约有效的特征信息，这在系统处理的前期需要包括消除噪声、分离背景、 图像分割等级是处理，去掉一些非重要的信息，然后对识别样板的物体或者区域的 特征进行分析计算和交换，采用合理的方法和技术对特征进行选择。提取和训练以 建立和形成模式的特征库，对待识别的样本模式分类和模型匹配在已经建立的特征 空间和特征样本库的基础上依据合理的分类器方法而得到的结果。 一般的图像模式识别系统主要下例部分组成：图像信息获取、图像预处理、图 像特征提取、识别结果输出。通常的图像识别系统具体的模块构成如图 1-1 所示。 西南交通大学本科毕业设计（论文） 第 3 页 图像输入图像信息获取图像预处理图像特征提取识别结果输出 图 1-1 图像识别系统模块构成 车牌字符识别涉及模式分类，图像处理，神经网络等多方面的技术。与一般的 印刷体字符识别相比，有其自身的特点，它实际上是对依附在车牌上的印刷体文字 进行识别。车牌字符识别技术，是文字识别技术与车牌图像自身特点协调兼顾的综 合性技术。由于环境光照的强弱程度以及色彩、车牌的整洁度、摄像机的 j 性能、 拍摄时的车辆牌照的倾斜角度、镜头轴线与车牌法线的夹角以及车辆运动等因素的 影响使牌照中的字符可能出现比较严重的模糊、歪斜、缺损或污迹干扰，这些都给 字符识别带来了难度。 40 年代以来，人们在研究人脑机理的基础上，广泛开展模仿脑模型的人工神经 网络理论的研究。由于人工神经网络具有与人脑相似的高度并行性、良好的容错性 和联想记忆功能、自适应和自学习能力等特点，特别是以改进型 bp 网络为代表的 神经网络具有良好的自学习能力、强大的分类能力、容错能力和鲁棒性，可以实现 输入到输出的非线性映射，因此神经网络在字符识别领域得到越来越多的应用5。 在日常生活中，大量的数字化信息需要进行手工录入，耗时且由于长时间工作 引起疲劳不可避免地产生差错，日益成为阻碍信息化发展的瓶颈问题。如何将人们 从这种烦琐的简单重复劳动中解放出来，是模式识别领域中的一类重要问题6。 近年来，随着国民经济的蓬勃发展，高速公路、高等级公路及大型停车场越来 越多，汽车的数量也在猛增，这就给交通管理提出了更高的要求。因此，汽车牌照 的自动识别技术在公共安全及交通管理中具有特别重要的实际应用意义。 目前，国内外汽车牌照的识别技术有 ic 卡识别技术、条形码识别技术、图像处 理技术、人工神经网络识别技术7。前面三种方法存在着使用成本高、识别速度慢等 缺点。由于人工神经网络识别技术有良好的自适应性、自组织性，很强的学习功能、 联想功能、容错功能、识别率高、抗干扰能力强等优点，因此越来越多地受到人们 的广泛关注与应用。目前广泛采用的是基于 bp 算法的多层前馈神经网络。 1.1.2 研究意义 随着图像处理和识别的技术和计算机、多媒体、智能机器人、专家系统的不断 发展，越来越多的系统应用了图像模式识别技术，如图像模式识别在气象分析，工 业生产应用，交通信息管理，农业生产应用，医学分析，生物信息检测，文字信息 处理等方面得到了广泛的应用8。 西南交通大学本科毕业设计（论文） 第 4 页 1. 图像模式识别应用一 该模式识别已经在天气气象预报分析，卫星遥感图片 分析，自然灾害预测等方面得到了广泛的应用。 2. 图像模式识别应用二 该模式识别在工业生产和质量检验等方面得到了实际 应用9。图纸扫描识别系统可将手绘图纸和蓝图转换为矢量图形输入到诸如 autocad 绘图系统中，加工工作面表面质量的图形化检测使工作效率大大提高， 基于图像分析的流水线上的啤酒质量检测系统极大地提高了工作效率。 3. 图像模式识别应用三 该模式识别在交通信息管理方面得到了积极的应用， 车辆智能化，信息化的管理在很大程度上都得益于模式识别技术的进步，车牌自动 定位和识别系统，车辆流量分析系统，驾驶员面部状态分析系统，交通标记自动识 别和分析系统，车轮轴承红外图像分析系统都为交通信息智能化，交通安全运行提 供了技术支持。 4. 图像模式识别应用四 该模式识别在农业生产中得到了广泛的应用，基于卫 星图像的土壤分析，水利资源利用，农业灾害预测得到广泛应用，基于图像的流水 线上的葡萄干的分线择选系统大大提高了产品质量和生产效率。 5. 图像模式识别应用五 该模式识别在医学图像分析统计方面得到了成功应用， 红血球，白血球识别和计数系统大大减轻了医疗检测人员的工作负担，b 超图像病 理组织自动分析系统提高了诊断效率，红外乳腺检测系统为预防妇科疾病发挥了巨 大作用。 6. 图像模式识别应用六 该模式识别在生物信息处理方面有了非常大的进展， 语音识别，指纹识别，字迹鉴定，虹纹分析，掌纹识别系统为特种金融行业和安全 系统提供了非常重要的辨别工具。 7. 图像模式识别应用七 该模式识别在信息处理方面取得了实际意义的应用， 印刷体识别录入系统，手写数字输入系统，以画草图方式的工程图纸输入系统使信 息交流跨越了媒体间的距离10。 车牌字符识别技术的根本性在于自动识读出车辆的唯一身份证，车牌号码，是 车辆管理的直观依据，对车辆车牌的直接识别，符合车辆管理的需要，同时，由于 不需要被识别车辆主动参与，管理全面、与法律无冲突，摆脱了人工查看图片识读 车牌号码的工作，由于这一智能化的技术，顿时使车辆管理的技术水平跨上了一个 新台阶，虽然任何车辆管理系统最终都不可能完全摆脱人的参与，但毕竟在降低人 工劳动强度、提高管理效率、增加管理的客观性方面起到了巨大的推动作用。 随着越来越多的家庭开始拥有车辆，车牌识别系统为自动化的智能交通管理、 智能物业管理提供了高效、实用的手段。 西南交通大学本科毕业设计（论文） 第 5 页 1.2 研究内容及方法 1.2.1 研究内容 车牌照识别是智能交通系统的一个重要课题，在车辆管理、不停车收费等系统 中有广泛应用。目前，基于神经网络的字符识别技术在车牌照识别领域中已经得到 比较普遍的应用，但是由于车牌字符识别算法的相对复杂性，因此我们需要设计一 种改进算法来提高车牌照识别系统的鲁棒性和实时性。具体方法过程如下。 1.对输入的字符图像（包括数字和英文字母）进行字符特征提取； 2.通过神经网络方法训练样本和自学习，识别字符并给出结果； 3.设计一种改进算法以提高字符识别的精确度和快速性。 1.2.2 研究方法 车牌的识别问题是现代交通工程领域中研究的重点和热点问题之一。本文主要 对车牌字符的识别作了详细介绍，对识别过程中的一些关键技术进行了概述。 1.首先对车牌字符的预处理(包括图像灰度化、图像二值化、图像反白处理)作 了简单的介绍，然后对其进行特征提取提取； 2.最后就是对处理好的字符进行识别。本文采用了两层层 bp 神经网络识别方 法，对神经网络的构成、学习规则、bp 算法及网络的设计与训练作了详细的介绍。 神经网络模式识别方法是字符识别的一个重要研究方向，本文选取的网络模式 是两层层 bp 网络，除此之外，径向基网络、hopfield 网络、art 网络在模式识别 中的应用也非常广泛，可考虑将 bp 网络与其它不同网络结合起来进行识别，以期 得到更高的网络识别性能。 训练样本的选择对神经元网络的识别结果有着重大的影响，因此，合理地选择 训练样本，并采用更加合理的最优化算法使神经网络的收敛速度进一步的提高。 1.3 字符图像识别的总体方案设计 字符图像识别，可以认为是字符图像的模式识别，它是模式识别技术在图像领 域中的具体运用。模式识别的研究对像基本上可概括为两大类：一类是有直觉形象 的如图像、相片、图案、文字等等;另一类是没有直觉形象而只有数据或信息波形的 如语声、心电脉冲、地震波等等。但是，对模式识别来说，无论是数据、信号还是 平面图形或立体景物都是除掉它们的物理内容而找出它们的共性，把具有同一共性 的归为一类，而具有另一种共性的归为另一类。模式识别研究的目的是研制能够自 动处理某些信息的机器系统，以便代替人完成分类和辨别的任务。 本文的字符识别系统可分为 5 个主要部分，如图 1-2 所示。 西南交通大学本科毕业设计（论文） 第 6 页 字符图像读取 图像预处理 字符图像识别 识别结果输出 时间输出 图 1-2 字符图像识别的简单框图 第一部分是字符图像的读取，就是在测试库里面读入字符图像，相当于对被识 别字符图像信息的获取，对字符图像识别来说，就是把字符图像等信息系统输入设 备数字化后以备后续处理。 第二部分是图像的预处理。预处理的目的是去除干扰、噪声、及差异，将原始 图像变为适合于计算机进行特征提取的形式。它包括图像的灰度化、二值化、归一 化、图像反色处理等。 第三部分是字符图像的识别，本文采用的基于 bp 神经网络进行字符识别的方 法，它具有一些传统技术所没有的优点，如识别速度较快，分类能力强，且具有较 好的容错性能和自学习能力。与其它方法相比， bp 神经网络不需要了解网络的内 部细节和过程，实现相对简单， 而其人工神经网络识别技术有良好的自适应性、自 组织性，很强的学习功能、联想功能、容错功能、识别率高、抗干扰能力强等优点， 因此越来越多地受到人们的广泛关注与应用。目前广泛采用的是基于 bp 算法的多 层前馈神经网络。 第四部分是识别结果的输出，即通过神经网络对字符进行识别后输出字符识别 的结果。 第五部分就是时间输出，即字符图像在经过处理到识别出结果的时间。 1.4 本文结构安排 在基于神经网络车牌照字符识别方法中，最主要的核心就是字符图像的预处理、 西南交通大学本科毕业设计（论文） 第 7 页 神经网络方法训练样本和自学习及识别字符并输出结果，因此第二章给出字符图像 预处理基本理论和过程；在第三章则主要介绍了神经算法以及字符识别过程，第四 章主要是对系统参数进行分析；第五章则是对本系统界面作了简单的介绍。 西南交通大学本科毕业设计（论文） 第 8 页 第 2 章 图像预处理 2.1 引言 图像预处理是图像间的变化处理，是图像前期的分析准备，目的是使图像中的 字符图像更加简练、独特性更强、信息量最少而其唯一。图像预处理着眼于图像之 间的变换，图像预处理的当前处理步骤对后面处理步骤有较大的影响，图像的前后 处理结果有些的不可逆的。例如，通过对图像灰度的拉伸使物体间的区别加大，通 过灰度化的开运算或闭运算使图像中白色或黑色小区域得到加强，通过各向异性扩 散处理得到区域均匀而边界无损的图像。图像预处理属于基础层次的操作，一般情 况下，只涉及图像本身的性质，而不涉及关于图像内容的知识，基本操作必须尽量 减少对后继目标对像分析的特征量的损失。 图像预处理重要包括图像平滑、变换、增强、恢复、滤波等功能，具体算法和 技术包括灰度化、二值化、二值化开运算、二值化闭运算、灰度化开运算、灰度化 闭运算、中值滤波、均值滤波、高斯滤波、各向异性扩散、gabor 滤波、小波分析 等，这些技术对图像的与处理结果各不相同，而图像预处理在模式识别系统中目的 只有一个，就是为特征量的获取提供充足、完整和紧凑的图像信息。 本文对图像的预处理主要是首先对字符图像进行灰度化，将字符图像转化为灰 度图像即将字符图像转变为灰度图像；然后再将灰度图像转换为二值图像，二值处 理是将字符图像上的点的灰度值置成 0 或 255，也就是整个图像呈现出明显的黑白 效果，随后再将二值化图像归一化，最后就是图像的反色处理。流程图如图 2-1 所 示。 原始图像图像灰度化图像二值化图像归一化图像反色处理 图 2-1 图像预处理流程图 2.2 图像灰度化 将字符图像转化成灰度图像的过程就称为图像的灰度化处理。彩色图像中每个 像素的颜色由红 r、绿 g、蓝 b 三部分决定，每个分量有 255 种取值，这样一个像 素点就可以有 1600 多万种颜色的变化范围。而灰度图像是红 r、绿 g、蓝 b 三个分 量相同的一种特殊的彩色图像，其中一个像素点的变化范围为 255 种，所以在数字 图像处理中一般是先将各种图像转变为灰度图像以便后继图像处理的计算量变得少 一些灰度图像的描述与彩色图像的描述一样仍然反映了整幅字符图像的整体和局部 的色彩和亮度等级的分布和特征。图像的灰度处理用下面的方法来实现：在 yuv 的颜色空间中，y 分量的图像物理意义是字符图像中各个点的亮度，又该值反映亮 西南交通大学本科毕业设计（论文） 第 9 页 度等级，根据 rgb 和 yuv 颜色变化的关系可以建立 y 与 r、g、b 三个颜色分量 的对应关系：y=0.3r+0.5g+0.11b，以这个亮度值来表达图像的灰度值。 彩色图像中像素点的 r、g、b 分量是不等的，如红色用 rgb 结构来表示为 rgb (255, 0, 0)、蓝色为 rgb (0, 0, 255)。而灰度像素点的 r、g、b 的分量是相等 的，既颜色中的含量 r = g= b，用 rgb 表示为(0,0,0)、(1, 1, 1)(255,255,255)，其 中 rgb (0, 0, 0) 为黑色，rgb (255, 255, 255) 为白色，界于两者之间的为灰度颜色。 彩色位图与灰度位图的像素点的 r、g、b 分量之间有如公式(2-1)对应关系。 (2-1) 0.2990.5870.114 0.2990.5870.114 0.2990.5870.114 rr gg bb g 灰度彩色 = 有了这个公式， 就能将一副彩色图像转化为灰度图。 而本论文中通过利用 matlab 中 rgb2gray 函数将字符图像转换成灰度图像， 通过调用函数 i=rgb2gray(x)后图像效果如图 2-2 所示。 其中 i处理后的图像； x原字符图像； a)原图像 b)灰度图像 西南交通大学本科毕业设计（论文） 第 10 页 c)原图像 d)灰度图像 图 2-2 字符图像转换为灰度图像 2.3 图像二值化 图像的二值化处理是将字符图像上的点的灰度值置成 0 或 255，也就是整个图 像呈现出明显的黑白效果。即将 256 个亮度等级的灰度图像通过适当的阈值选取而 获得仍然可以反映图像整体和局部特征的二值图像，本文所选取的二值化阈值是 0.5。在数字图像处理中，二值图像占有非常重要的地位，特别是在实用的字符图像 处理系统中。要进行二值图像的处理与分析，首先需要把灰度图像二值化，得到二 值图像，这样再对图像做进一步的处理时，图像的集合性质只与像素值为 0 和 255 的点的位置有关，不再涉及像素的多级值，使处理变得简单，而其数据的处理和压 缩量较小。 在本文中所有的灰度大于或等于阈值 0.5 的像素点判定为属于字符图像的特征， 其灰度用 255 表示，否则这些像素点都被排除在字符区域以外，灰度值为 0，表示 字符背景或例外的物体区域。通过调用 matlab 中的函数中的 im2bw 函数来实现 将灰度图像转化为二值图像，其中的亮度阈值是通过手动调试来确定的。原字符图 像经过处理后得到的二值图像如图 2-3 所示。 西南交通大学本科毕业设计（论文） 第 11 页 a)灰度图像 b)二值图像 c)灰度图像 d)二值图像 图 2-3 灰度图像转化为二值图像 2.4 图像归一化 不少人认为将图像归一化为 59 像素二值图像是最理想的，但图像的尺寸越小， 识别的速度就越高，网络训练也越快。而实际上，相对于要识别的字符图像，59 像素图像太小了。在经过图像的归一化后，图像信息会丢失很多，这是进行图像识 别，准确率不高。图像的特征是图像识别的唯一依据，它对字符图像的识别过程起 着非常重要的作用。图像的各种特征含义不同、单位不同，如对于基于神经的字符 识别可能包含字符整体特征、几何特征、纹理特征等多个特征，有的特征变化了 0.5 就是变化了各个特征的 50%，而有的特征变化 0.5，知识改变了这个特征的 0.2%， 如果比进行图像归一化，这样就很难得到识别的结果。 本文是将字符图像都归一化为 1616 像素的二值图像。归一化处理并没有改变 西南交通大学本科毕业设计（论文） 第 12 页 图像的对比度，归一化处理很简单，首先读入的像素矩阵最大值为 256，最小值为 1，就是说归一化之后所有的像素值都在0，1区间内。二值图像经过归一化处理 后的图像如图 2-4 所示。 a)二值图像 b)归一化后的图像 c)二值图像 d)归一化后的图像 图 2-4 二值图像的归一化 2.5 图像的反色处理 对彩色图像的 r、g、b 各彩色分量取反的技术就是图像的反色处理，这在处理 二值化图像的连通域选取时非常重要。如在本文中字符图像的连通域用黑色来表示， 所以我们对经过二值化后的图像进行取反，将原字符图像的二值化图像转化为黑底 白字的字符图像。图像的反色处理图例如图 2-5 所示。 西南交通大学本科毕业设计（论文） 第 13 页 a)原字符图像 b)反色处理后的字符图像 c)原字符图像 d)反色处理后的字符图像 图 2-5 图像的反色处理 2.6 本章小结 图像预处理是图像间的变化处理，是图像前期的分析准备，目的是使图像中的 字符图像更加简练、独特性更强、信息量最少而其唯一。本章主要介绍了图像预处 理过程中字符图像间变化的过程由图像的灰度化、二值化、图像的归一化、及其图 像的反色处理部分组成，而且就其各个部分的实现过程作了详细的介绍。 西南交通大学本科毕业设计（论文） 第 14 页 第 3 章 基于神经网络的字符识别 3.1 神经网络字符识别的过程 本文在神经网络字符图像识别实现的过程当中，分解成两个大块，就是图像预 处理模块和识别模块。其中图像预处理模块在对图像进行了一系列变换后把最后提 取到的字符提交给识别模块，然后进行识别并给处结果。 本系统总的流程为图像预处理，特征提取，经过神经网络样本训练最后是神经 网络的识别并显示结果。 在图像预处理中，针对本系统的神经网络识别，对每一幅图像都必须有特征提 取，把提取的特征在神经网络中进行训练和识别。 整个系统的程序实现分为图像预处理和神经网络识别两大模块。在图像预处理 的过程当中，采用了如同前面图像预处理处理的技术，最后把每个字符的特征提取 出来。特征提取采用最简单的逐象素特征提取方法，对图像进行逐行逐列的扫描当 遇到黑色象素时取其特征值为 0，遇到白色象素时取其特征值为 1，这样当扫描结 束以后就形成了一个维数与图像中象素点的个数相同的特征向量矩阵。简单来讲， 其功能就是把归一化样本的每个象素都作为特征提取出来，这里就得到了每幅图像 就有归一化后的 1616 的 256 个特征值。流程图如图 3-1 所示。 开始 读入图像 图像预处理 特征提取 神经网络识别 结束 图 3-1 神经网络识别流程图 第一部分是字符图像的读取，就是在测试库里面读取字符图像，相当于对被识 别字符图像信息的获取，对字符图像识别来说，就是把字符图像等信息系统输入设 备数字化后以备后续处理。如图 3-2 所示。 西南交通大学本科毕业设计（论文） 第 15 页 图 3-2 字符图像的输入 第二部分进行图像的预处理后对字符图像进行特征提取。对字符图像进行预处 理主要是首先对字符图像进行灰度化，将字符图像转化为灰度图像即将字符图像转 变为灰度图像；然后再将灰度图像二值化图像，二值化处理是将字符图像上的点的 灰度值置成 0 或 255，也就是整个图像呈现出明显的黑白效果，随后再将二值化图 像归一化，最后就是图像的反色处理等技术对字符图像进行特征提取。如图 3-3 所 示。 a) 图像灰度化 西南交通大学本科毕业设计（论文） 第 16 页 b) 图像二值化 c) 图像归一化 西南交通大学本科毕业设计（论文） 第 17 页 d) 图像反色 图 3-3 字符图像预处理 第三部分是字符图像的识别，采用的基于 bp 神经网络进行字符识别的方法， 它具有一些传统技术所没有的优点，如识别速度较快，分类能力强，且具有较好的 容错性能和自学习能力，有良好的自适应性、自组织性，很强的学习功能、联想功 能、容错功能、识别率高、抗干扰能力强等优点即误差反向传播神经网络，其思想 是不断的训练权值，并设有一个标准的输出，每次训练以后得到的实际输出与标准 的输出比较，设置一个最小误差，达到一个误差是就表示网络训练好了， 对字符进 行识别后输出字符识别的结果，如图 3-4 所示。否则继续训练，达到一定的训练次 数，还没有达到这个标准表示网络的设置有问题。 西南交通大学本科毕业设计（论文） 第 18 页 图 3-4 神经网络的识别结果显示 3.2 bp 神经网络模型和算法 3.2.1 bp 神经网络模型 通常我们说的 bp 神经网络的模型，即误差反向传播神经网络，本文思想是不 断的训练权值，并设有一个标准的输出，每次训练以后得到的实际输出与标准的输 出比较，设置一个最小误差，达到一个误差是就表示网络训练好了，否则继续训练， 达到一定的训练次数，还没有达到这个标准表示网络的设置有问题。本文采用的 bp 神经网络模型有网络有输入层节点，输出层节点、隐含层节点，隐含层节点与外界 没有直接联系，但是隐含层状态改变，会影响输入与输出的关系。层与层之间采用 全互连方式。网络的每个输入节点表示图像特征向量的一个分量数据。 bp 网络模型实现了多层网络学习的设想。当给定网络的输入模式时，它由输入 层单元送到隐含层单元，经隐含层单元逐层处理后再送到输出层单元，由输出层单 元处理后产生一个输出模式，故称为前向传播。如果输出响应与期望输出模式有误 差，且不满足要求，那就转入误差后向传播，即将误差值沿连接通路逐层向后传送， 并修正各层的连接权值达到网络要求。 3.2.2 bp 神经网络学习算法 bp 神经网络如图 3-5 所示。网络有输入层节点、输出层节点，而且具有隐含层 节点，它们有外界没有联系，但其转台改变会影响输入有输出的关系。 西南交通大学本科毕业设计（论文） 第 19 页 . . . . . . . . . . . . 输入层 隐含层 输出层 图 3-5 bp 神经网络 bp 网络是一种神经网络学习算法。其由输入层、中间层、输出层组成的阶层型 神经网络，中间层可扩展为多层。相邻层之间各神经元进行全连接，而每层各神经 元之间无连接，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生 连接权值。然后按减小希望输出与实际输出误差的方向，从输出层经各中间层逐层 修正各连接权，回到输入层。此过程反复交替进行，直至网络的全局误差趋向给定 的极小值，即完成学习的过程。bp 神经网络的结构如图 3-6 所示。 bp 神经网络学习算法具体过程： 设有 m 层神经网络，如果在输入层加上输入模式 p，并设第 k 层 i 单位输入的 总和为，输出为，由 k-1 层的第 j 个神经元到 k 层的第 i 个神经元的集合权值 k i u k i v 为，各个神经云的输入与输出关系函数是 f，则各变量之间的关系如公式(3-1)(3-2)所 ij w 示。 (3-1)() kk ii vf u (3-2) 1kk iijj j uw v 其中输入与输出函数 f 选用 s 型函数如(3-3)所示。 1 ( ) 1 x f x e (3-3) 这个算法的学习过程，由正向传播和反向传播组成。正向传播过程中，输入模 式从输入层经隐含层逐层处理，并传向输出层，每一层神经元的状态只影响下一层 神经元的状态。如果在输出层不能得到期望的输出，则输入反向传播，将误差信号 沿原来的连接通路返回，通过修正各神经元的权值，是的误差信号最小。 西南交通大学本科毕业设计（论文） 第 20 页 初始化 给定输入向量和目标期望输出 求隐含层、输出层各单元输出 求目标期