（测试计量技术及仪器专业论文）图案加工轨迹视觉测量算法研究及系统实现.pdf

摘要 摘要 在工业生产中利用视觉分析数据、控制系统定位，使加工路径按特定轨迹运动， 如焊接、绣花、雕刻等行业要求不断提高效率、精度和自动化程度，计算机视觉测 量技术大有用武之地。在绗缝等柔性物料加工中，应用计算机视觉测量，直接将采 集的图案图像转换成所需的加工代码，还可对图案加工轨迹进行实时图像采集和处 理、跟踪，实现对加工轨迹的动态修正。 本课题来源于2 0 0 5 年广东省自然科学基金项目基于视觉测量的动态位置智能 补偿方法的研究。针对绗缝等柔性物料加工测控系统的前实时控制处理阶段，进 行图案加工轨迹视觉测量算法的研究和实现，就其关键问题和基础理论进行了阐述、 分析研究、软件实现和实验。包括图像处理基础理论研究，视觉测量的实验系统设 计，图像采集，图像预处理，图像轮廓提取，矢量化处理几部分。 进行图像预处理的目的在于消除图像中无关的信息，增强有关信息的可检测性 和最大限度地简化数据。因此，为了得到更好的加工图案边缘信息，有必要利用图 像增强，平滑等技术进行图像预处理，为后续的轮廓提取提供一个较好的初始化环 境，本文采用自适应滤波法等方法对图像进行预处理。 边缘检测是图像分析中的重要内容，也是本文研究的重点之一。本文介绍了阈 值分割、数学形态学和边缘检测等理论基础，并对常用的边缘检测算法进行了分析 对比实验。针对本课题研究对象的特点，结合矩不变阈值分割和多尺度形态学梯度 边缘检测算子，采用自适应边缘提取的方法得到图案轮廓。 图案轮廓的矢量化处理是图案加工软迹编程的基础，本文采用了方向模块自适 应调节的链码法，用于图像的边界跟踪，该方法优化了搜索路径；并采用最短距离 法进行直线段的拟合，以及用直线段拟合曲线的方法，来完成轮廓矢量化的工作。 在论文的研究和完成过程中，不仅实现了建立上下位机的系统机构、基于v i s u m c h 6 0 管理软件，以及相应的处理算法，还利用课题研究的一些方法和成果，研制 了基于视觉测量的图像再现系统( 第九届广东省。挑战杯”获奖作品) ，能有效地实 现图像采集、图像图形处理的一些特殊方法，实现将采集的图案图像的轮廓转换成 加工代码，通过下位机在工作台上再现，使本论文的研究又有了新的提高。 广东工业大学工学硕士学位论文 关键词：视觉测量；轮廓提取；边界跟踪；矢量化 a b s a a c t a b s t r a c t i nt h ei n d u s t r i a lp r o d u c t i o n , s o m em a c h i n i n gm o v e m e “f l ti sa s k e dt oc x e c u t et h e s p e c i f i cp a t hr e q u e s t , s u c ha si nt h ew e l d i n g , e m b r o i d e r s ，t h ec a r v i n ga n d s oo n u s i n g t h ev i s u a la n a l y s i sd a t aa n dc o n t r o ls y s t e ml o c a l i z a t i o nf o re n h a n c i n gt h ee f f i c i e n c y , t h e p r e c i s i o na n dt h ea u t o m a t i c i t y , t h ec o m p u t e rv i s i o nt r a c kt e c h n o l o g yh a st h eo p p o r t u n i t y g r e a t l y w h i l ec o m p u t e rv i s i o ns u r v e ya p p l i e st oq u i l t i n gp r o c e s s ，w ec a nt r a n s f o r m c o l l e c t e dp i c t u et om a c h i n e dc o d e ，o rd os o m ep i c t u r ec o l l e c t i o n , i m a g ep r o c e s s i n ga n d t r a c i n gi nr e a l - t i m et op a t t e r np r o c e s s e dt r a c ef o rd y n a m i cc o r r e c tp r o c e s s e d t r a c e t h i sr e s e a r c ho r i g i n a t e sf r o mg u a n g d o n gp r o v i n c i a ln a t u l a ls c i e n c ef u n dp r o j e c ti n 2 0 0 5n a m e d r e s e a r c ho nt h ea l g o r i t h mo fd y n a m i cp o s i t i o ni n t e l l i g e n tc o m p e n s a t i o n b a s e dv i s i o ns u r v e y f o c u so nt h ep r e - r e a l - t i m ec o n t r o lp r o c e s s i n gs t a g eo ft h ee n t i r e f l e x i b l em a t e r i a lp r o c e s s i n g ，t h i sp a p e rh a ss t u d i e dt h ev i s i o ns u r v e ya l g o r i t h mf o r p a t t e r np r o c e s s e dr a c e ，f o r m u l a t e da n da n a l y s e do nt h ek e yp o i n t sa n db a s i ct h e o r y , a l s o h a ss o m ce x p e r i m e n t s t h a ti si n c l u d i n gi m a g ep r o c e s s i n gt h e o r y , d e s i g no f v i s i o ns u r v e y s y s t e m ,i n l a g ec o l l e c t i o n , n l a g ep r e t r e a t m e l a u t o m a t i cc o n t o u re x t r a c t i o na n d v c c t o f i z a t i o n p u r p o s eo fi m a g ep r e t r e a t m e n ti st oe r a s et h eu n r e l a t e di m f o r m a t i o n , e n h a n c et h e d a t c c t a b i l i t yo fu s e f u li m f o r m a t i o na n dr e d u c e dd a t a h 柚c ei t sn e c e s s a r yt ou s ei m a g e s m o o t l l i n ga n de n h a n c i n gf o rp r e t r e a t m e n t ，t h i sp a p e ru s e ss e l g a d a p t i v ef i l t e r i n g , f o r p r o v i d i n ga b e , t t c re n v k o n m e n ti n i t i a l i z a t i o no f i m a g es e g m e n t a t i o na n do u t l i n ee x t r a c t i o n e d g ed c t e c t i n 鸣i so n eo fi m p o r t a n ti m a g ea n a l y s e ，a l s ot h ek e yp o i n ti nt h i sr e s e a r c e t h i s p a p e ri n t r o d u c e st h e b a s i c t h e o r yo f t h r e s h o l ds e g m e n t a t i o n , m a t h e m a t i c a l m o r p h o l o g ya n de d g ed e t e c t i o n , a n a l y s e sa n dc o n t r a s tt e s tt h et y p i c a le d g ed e t e c t i n g a l g o r i t h m c o m b i n i n gw i t hm o m e n t - p r e s e r v i n gt h r e s h o l d i n ga n dm u l t i p l e - d i m e n s i o n e d m o r p h o 埘ce d g eg r a d i e mo p e r a t o r , u t i l i z e st h es e l f - a d a p t i v ec o n t o u re x t r a c t i o nt oc ) 【t r a c t t h ep a t t e r nc o n t o u r i m a g ev e c t o f i z a t i o ni s t h eb a s i co fp a t t e r np r o c 韶s e dt r a c ep r o 乒a m m i n g a n 1 i ! 童三些奎兰三兰堡圭兰垒篁圣 a u t o a d a p t i n ga d j u s ta p p r o a c hb a s e do nd i r e c t i o nm o d u l e i sp r o p o s e dt ot r a c ki m a g ee d g e s 。 w h i c ho p t i m i z e dp a t h ss e a r c h e d , a n da no p t i m a i z a t i o na l g o r i t h mf o rf i t t i n gb e e l i n ea n d c u r v eb ym i n i m u md i s t a n c em e t h o da n ds t r a i g h t w a y d u r i n gt h ep a p e rr e s e a r c h ，n o to n l yh a sr e a l i z e dt h ee s t a b l i s h m e n to fs y s t e m o r g a n i z a t i o n , m a n a g e m e n ts o f l 、j v a r eb a s e do nv i s u a lc 斗_ 卜6 0 a sw e l la sc o r r e s p o n d i n g p r o c e s s i n ga l g o r i t h m b u ta l s ou s e ss o m em e t h o d sa n da c h i e v e m e n to ft h i sr e s e a r c h , h a s d e v e l o p e d r e p r o d u c e di m a g es y s t e mb a s e do nt h ev i s u a ls u r v e y ( p r o d u c t i o no f t h en i n t h c , u a n 酣o n gp r o v i n c e ”c h a l l e n g ec u p ) ，w h i c hc a ne f f e c t i v e l yr e a l i z ei m a g eg a t h e r i n g ， s o m es p e c i a lm e t h o d so fi n i r g ep r o c e s s i n g ，t h ep a t t e r ni m a g eo u t l i n et r a n s f o r m st h e p r o c e s s i n gc o d e ，t h e nr e a p p e a rt h ep a t t e r no l lt h ew o r k i n gp l a t f o r m k e y w o r d ：v i s i o ns u r v e y , c o n t o u re x t r a c t i o n , b o u n d a r yt r a c i n g ，v e c t o r i z a t i o n 广东工业大学工学硕士学位论文 独创性声明 秉承学校严谨的学风与优良的科学道德，本人声明所呈交的论文是我个人在 导师的指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以 标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，不包 含本人或其他用途使用过的成果。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明，并表示了谢意。 本学位论文成果是本人在广东工业大学读书期间在导师的指导下取得的，论 文成果归广东工业大学所有。 申请学位论文与资料若有不实之处，本人承担一切相关责任，特此声明。 7 4 指导教师签字： 论文作者签字：嗍 驷= 7 年r 月弘日 第一章绪论 第一章绪论 1 1 引言 近十年计算机视觉研究的成为热门课题，其大量程、大视场、非接触、较高 精度和速度等特点是其它方法无法替代的。利用计算机视觉来进行定位的技术是 对人脑功能的模拟，我们研究计算机视觉的主要目标有两个：一是理解我们人类 的视觉；二是开发能从图像数据自动构成场景描述的图像理解系统，满足人类生 活环境中所提出的各种需求。目前我们对视觉机理的理解还落后于处理手段的发 展，如何将人类视觉的一些初级功能赋予机器，如选择性注意力机制、多尺度变 换等仍然是当前计算机视觉理论的研究重点。 8 0 年代初，马尔( m a r r ) 提出了视觉的计算理论，这一理论把视觉过程看作一 个信息处理过程，并把这一过程分为三个层次：a 计算理论；b 算法与数据结构； c 硬件试验。马尔理论强调了当时并不受人重视的计算理论的层次，并在这一层 次，把视觉过程主要地规定为定量地恢复出图像所反映的场景中的三维物体的形 状和空间位置，以及将这一恢复过程分为三个阶段：a 要素图：它包含图像边缘 灰度变化率，边缘的几何特征，或者纹理元的排列、描述等；b 2 5 维图：它是 要素图和三维图像模型之间的中间表示层次，包含物体表面的局部内在特征。c 三维图：以物体为中心的三维描述，它是由要素图和2 5 维图得到的。马尔的理 论比较系统地和一般性地揭示了用二维图像恢复三维物体形态的可能性和基本方 法，具有划时代意义，为计算机视觉成为一门科学奠定了重要的基础。 广义的机器视觉的概念与计算机视觉没有多大区别，泛指使用计算机和数字 图像处理技术达到对客观事物图像的识别、理解和控制，最终用于实际检测、测 量和控制等。在实际应用中，很多有工程价值的视觉问题，如在制造领域中对生 产线上零件的识别、尺寸的测量、缺陷的检测、零件的定位等都可通过机器视觉 技术加以解决。机器视觉不会有人眼的疲劳，有着比人眼更高的精度和速度，能 够全天候地对目标进行跟踪、检测、识别等，如在图像监控、安防、交通管理中 的指纹识别、人脸跟踪识别、车辆的车牌识别等等，都有着无可比拟的优势。 而视觉测量技术，便是以机器视觉技术为基础，融合电子技术、计算机技术、 广东工业大学工学硕士学位论文 近景摄影测量技术、图像处理技术为一体的测量系统。其试图通过图像对放测目 标进行量测，无须接触被测物体本身，这一间接测量的特点，使得视觉测量系统 具有受外界条件影响小，信息获取和测量数据处理在时间上是接近同步的，机械 化、自动化程度高。因此，该视觉测量系统特别适合于对大量目标点的实时快速 测量，也能实现对动态目标的快速坐标测量、位置跟踪以及目标质量的检测，其 操作方便，自动化程度较高，对操作人员的技术水平要求不高，在有毒、有害以 及人无法进入的环境下也能进行测量。 1 2 视觉测量的发展 机器视觉是研究计算机模拟生物宏观视觉功能的科学和技术，即用摄像机和 计算机等机器代替人眼对目标进行测量、跟踪和识别，并加以判断。主要应用于 如工业检测、工业探伤、精密控制、自动生产流水线、邮政自动化、粮食优选、 显微医学操作，以及各种危险场合工作的机器人等【t 1 。机器视觉，是人工视觉， 又可称作工业视觉，或计算机视觉，与人类视觉或动物视觉有着本质的不同。也 有人认为机器视觉是计算机视觉工业应用的一个分支。但无论怎样理解，机器视 觉系统主要有三个部分：图像获取、图像分析和处理、输出显示或控制，如图卜1 所示。 f jr jf ：。j ii 陌圜 li 堑望垫i ；圃出囤h 圆； l 圈胃母胃圈i ；n 雨网i l 垫堑塑堡l ； 图1 - i 机器视觉系统的组成 f i g 1 - 1m a c h i n ev i s i o ns y s t e mc o m p o s i t i o n 图像获取装置主要是由摄像机、图像传输变换系统和图像的计算机采集装置 等构成。 机器视觉系统中，主要强调用计算机实现人的视觉功能，视觉信息的分析与 处理技术，主要使用图像对象。所以机器视觉需要运用图像分析、处理以及图像 理解方法这三个层次的多种技术手段，它包括图像增强、数据编码和传输、平滑、 2 第一章绪论 边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后，输出图 像的质量得到相当程度的改善，既改善了图像的视觉效果，又便于计算机对图像 进行分析、处理和识别。 视觉信息处理的目标往往围绕一定的工业控制进行的，在对距离、尺寸、形 状、姿态、颜色、速度等做出判别后，进而根据判别的结果来控制现场的设备动 作。如，姿态调整、零件剔除、速度调节等。实现控制，是机器视觉的根本目标。 而机器视觉的研究是从2 0 世纪6 0 年代中期美国学者l r 罗伯兹关于理解 多面体组成的积木世界研究开始的。当时运用的预处理、边缘检测、轮廓线构成、 对象建模、匹配等技术，后来一直在机器视觉中应用。罗伯兹在图像分析过程中， 采用了自底向上的方法。用边缘检测技术来确定轮廓线，用区域分析技术将图像 划分为由灰度相近的像素组成的区域，这些技术统称为图像分割。其目的在于用 轮廓线和区域对所分析的图像进行描述，以便同机内存储的模型进行比较匹配。 实践表明，只用自底向上的分析太困难，必须同时采用自顶向下，即把目标分为若 干子目标的分析方法，运用启发式知识对对象进行预测。这同言语理解中采用的 自底向上和自顶向下相结合的方法是一致的。在图像理解研究中，a 古兹曼提出 运用启发式知识，表明用符号过程来解释轮廓画的方法不必求助于诸如最小二乘 法匹配之类的数值计算程序。 7 0 年代，机器视觉形成几个重要研究分支：目标制导的图像处理；图像 处理和分析的并行算法；从二维图像提取三维信息；序列图像分析和运动参 量求值；视觉知识的表示；视觉系统的知识库等。 机器视觉的应用主要有检测和机器人视觉两个方面。检测：又可分为高精 度定量检测( 例如显微照片的细胞分类、机械零部件的尺寸和位置测量) 和不用 量器的定性或半定量检测( 例如产品的外观检查、装配线上的零部件识别定位、 缺陷性检测与装配完全性检测) 。机器人视觉：用于指引机器人在大范围内的操 作和行动，如从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或 其他设各上( 即料斗拣取问题) 。至于小范围内的操作和行动，还需要借助于触觉 传感技术。 机器视觉技术比较复杂，最大的困难在于人的视觉机制尚不清楚。人可以用 内省法描述对某一问题的解题过程，从而用计算机加以模拟。但尽管每一个正常 人都是“视觉专家”，却不可能用内省法来描述自己的视觉过程。因此建立机器视 3 广东工业大学工学硕士学位论文 觉系统是十分困难的任务。 机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器 视觉产品( 即图像摄取装置，分c m o s 和c c d 两种) 将被摄取目标转换成图 像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变 成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据 判别的结果来控制现场的设备动作。 机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工 作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工 视觉：同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不 高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器 视觉易于实现信息集成，是实现计算机集成制造的基础技术。 正是由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于 同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机 器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。 但就目前应用而言，机器视觉系统的应有主要局限于二维图像的处理与识别， 三维视觉的应有还很有限，但随着视觉理论迸一步完善及计算机的性价比的增长， 三维计算机视觉将会有极其广泛的应用前景，以下几个方面的应用正在吸引人们 的高度重视【2 】。 ( 1 ) 自动导航。三维计算机视觉获取外界环境的位置、形状与运动速度，可 用于导弹的制导、无入驾驶车辆或各种移动机器入的导航等。 ( 2 ) 目标的非接触性测量。如在生产自动化领域，用于机器人、在线检测、 离线检测、在线监控、刀具控制、振动测量和完整性检验，可用于大型物体的尺 寸测量，如各种冲压件、铸造件、锻压件等；用于对生产线上零件的识别、缺陷 的检测、零件的定位等；用于检测多种模具如金属、丝棉、塑料等；用于工业 生产在线监测，如白车身、汽车底盘、涡轮叶片等；还用于粘土、木材模型测量 以及软质易脆产品检验，在某些场合是其它接触式测量方法无法替代的。 ( 3 ) 目标监控。机器视觉不会有人眼的疲劳，有着比人眼更高的精度和速度， 能够全天候地对目标进行监视、自动发现、跟踪目标，自动巡航捕获目标和确定 距离等，这在军事和安防发面意义重大。 另外，机器视觉系统产品已经逐步向处理复杂检测，引导机器人和自动测量 第一章绪论 几个方面发展，逐渐地消除了人为因素，降低了错误发生的概率。为了保持产品 质量和产量两方面的竞争力，产品产业链上的公司都纷纷采用了机器视觉技术。 更快的处理速度和更高的图像采集质量是未来发展趋势。 1 3 本文的研究背景和意义 1 3 1 课题的来源 本课题来源于2 0 0 5 年广东省自然科学基金项目一基于视觉测量的动态位 置智能补偿方法的研究。 在缝绣一类的设备对柔性物料进行高速加工时，设备与物料相对速度的变化 引起的相互作用力使柔性物料发生变形，导致加工轨迹偏离设定轨迹，由于加工 点与刚性边框的距离，柔性体的弹性系数，外部阻力的大小、工件运行速度均能 影响实际加工轨迹与设定轨迹的偏差值很难得到精确的运动学模型，因此采用加 工前修正的前馈控制方式难度较大，当工况变化时精度受到很大影响。而采用单 纯的闭环反馈，滞后较严重，易引起震荡，这就给控制系统带来新的难题，需要 引入一些与之相适应的新方法。 对于柔性物料加工，如绗缝、绣花等加工，在 物料上已有图案，通过图像处理和边缘提取，得到 一定的加工轨迹，再按设定的轨迹在物料上加工， 由于高速加工时，由于主轴上绗缝针作用于柔性物 料上，其加工方向与速度的动态变化，加工对象容 易变形，导致在加工过程中加工点很难按照要求的 画面轨迹运动，如图l 所示，而且这类的变形由于 工况的变化，难找到合适的数学模型，一些研究提 出绗缝加工的智能补偿方法，但滞后较多，且存在 速度变化和材料不同等带来的不确定因素，以往的图i - 2 加工轨迹偏移图 单纯的闭环反馈和一般智能补偿方法难以达到理想f i g 1 - 2 0 f f s e t o f m a c h i n i n g l o 。珊 的控制效果，如果采用计算机视觉闭环检测和补偿的新方法可能取得较好的效果。 针对柔性物料图案加工时容易引起轨迹偏移，是采用机器视觉测量的方法， 采集预加工的变形图案，以确定变形量，对当前加工轨迹的位置进行补偿。通过 至三些奎兰三兰至主兰堡丝兰 非接触的视觉测量、图像变形匹配和相关计算，得到加工点偏离预定轨迹的偏移 量，从而修正加工轨迹，消除变形引起的误差。克服以往的智能控制方法中，由 于加工中间过程的计算而引起的误差，避免了其他参数改变而产生的不确定因素， 并且采用快速的初值搜索和改进算法可大大提高计算速度。在柔性物料加工中， 国内外未见有相关加工补偿方法的成果报道，这一方法的提出对提高产品的质量 和加工效率有一定的推动作用，具有较广阔的应用前景。 1 3 2 绗缝等柔性物料加工设备现状 随着嵌入式系统应用领域的不断扩大，电脑绣花工艺已经成为刺绣工业的主 流。目前世界上著名的电脑绣花机品牌有日本田岛( t a j i m a ) 公司t m e f h 6 2 0 型、 日本百灵达( b a r u d a n ) 公司b e m r h y s - 2 0 型、日本兄弟( b r o t h e r ) 公司b a s 一4 2 3 型、德国蔡斯克( z s k ) 公司1 7 4 - 1 2 、德国百福( p f a f f ) 公司的k s m 2 2 t 、1 2 2 6 0 型 等。而我国也有国产的电脑绣花机，如诸暨市缝制设备有限公司、中国标准缝纫 机公司、中国长城光学仪器厂、上海协昌缝纫机厂、青岛电脑刺绣机总厂、武汉 美佳服装机械厂、苏州国营二六七厂等均有电脑绣花机生产。但是我国生产的电 脑绣花机在机械结构的用材上、在加工精度和工艺水平上，在控制系统上与国外 a ) 单针绗缝机 a ) s i n g l e - n e e d l eq u i l t b ) 多针绗缝机 b 1m u l i t i n e e d i eq u i l t c ) 绗缝图案 c ) p a r e mo fq u i r i n g 图1 3 绗缝机械和绗缝图案 f i g 1 q u i l t i n gm a c h i n ea n dp a t t e r no f q u i l t i n g 6 第一章绪论 同类机种相比尚有一定的差距。 在绗缝业，国内外也常采用电脑绗缝机，图卜3 分别列出了单针和多针电脑绗 缝机，以及绗缝图案。电脑绗缝机作为一种集自动控制，大容量存储技术为一体 的新兴机器，在床垫，布料，床罩等各种产品的加工方面有着非常广泛的应用。 目前的绗缝机多分为电脑无梭多针绗缝机，电脑有梭多针绗缝机，电脑高速梭芯 绕线机等各种规格类型。与传统的机械式绗缝机相比突破了其只能加工第一象限 坐标中的简单图案功能。它在强大的电脑控制系统下，能准确无误的处理整个坐 标系上所编制的各种复杂图案，包括各种独立图案。而且具有自动修补功能，即 在作业过程中，当出现漏缝时，可自动或手动采用指定针数沿着针迹方向返回进 行补缝。但是该修补是建立在原设定的针迹上的，对于不可预知的柔性物料的变 形导致的位置偏差是无法检测并纠错的。 1 3 3 运动控制方法 工业生产中的一些复杂控制往往采用综合控制和智能控制算法，会取得较好 的控制效果。但对于柔性物料加工，因物体的柔性变形、结构变化和高速运动要 求等给系统控制带来加工新的难题，国内的研究者也进行一些探索，如针对绗缝 加工易变形的特点，青岛大学的张书美例对绗缝机采用智能控制的方法；针对复 杂的非线性绗缝机控制系统，中国海洋大学的秦勃等1 4 1 提出的模糊控制方法能大 大提高稳定性和控制精度。设计了插补速度模糊控制器，来实时的模仿熟练工人 对各种不同的绗缝情况进行的插补补偿修正，以达到在没有熟练工人操作下也能 实现高精度花样绗缝。 1 3 4 机器视觉国内外研究现状 随着机器视觉技术的发展，在以往看似瓶颈的问题现在己经得到不同程度的 解决，基于机器视觉的测量技术也有了很大程度发展。在工业视觉测量领域，国 外比较成熟的产品有美国的v s t a r s 系统、挪威的m e t r o n o r 系统。 目前计算机视觉和图像处理已在电子、汽车制药、包装、印刷、焊接、绣花、 雕刻、冲压、铸件和模具等方面获得较多的应用，但主要应用于自动识别系统、 零件的尺寸测量、材料缺陷的检测、油液污染度的检测等等洚，口，通常采用特征点 7 广东工业大学工学硕士学位论文 检测，对位置和形变的检测则以标准元件为基准的。 近年来国内有不少学者在图像处理与计算机视觉方面有些新的研究理论和方 法，这些新的理论方法对本课题的研究奠定了理论依据和指导。如郭四稳 5 】提出 通过c c d 对流场成像，将图像二值化后进行连通成分标记，分离出液压油中的颗 粒，有效地实现了液压油的污染度自动检测。刘安心等吲提出了一种基于p r i w i t t 算子的改进边缘提取算法；给出了三维机器视觉测量系统中激光线图像与零件特 征边缘图像交点的求解方法，为三维机器视觉测量系统的三维坐标计算奠定了基 础。秦勃、李景兰等在刺绣图案中直线和圆弧的矢量化研究 i 】。伍茜等嘲基于联合 灰度级分布的动态图像差分法在活塞热裂纹自动检测的研究。李玉成等】c c d 动 态图像跟踪方法的研究。 1 4 论文的主要研究内容和结构安排 1 主要研究内容 图案加工轨迹视觉测量算法的研究及系统实现是整个柔性物料加工测控系统 中的前实时控制处理阶段，涉及精密机械、精密测量、智能控制理论、计算机数 控技术、材料、应用光学和数字图像处理等多学科理论的交叉应用，研究工作将 围绕图案加工花样的高质量图像获取，图案轮廓提取等自动检测中的关键技术问 题进行。 课题主要研究内容如下： ( 1 ) 针对柔性物料图案加工，实验系统功能分析、体系结构规划，建立实验 系统。 ( 2 ) 研究图像的预处理，利用图像增强，平滑等技术去除噪声，为图像轮廓 提取和分割提供一个较好的初始化环境。 ( 3 ) 数字图像处理中边缘检测算法研究，利用数学形态学方法提取边缘轮廓。 ( 4 ) 根据提取的边缘信息，优化传统的轮廓跟踪算法。 ( 5 ) 图案图像的轮廓矢量化处理的研究。 2 论文结构安排 论文第一章介绍了视觉测量的发展，阐述了本文的研究背景和意义，总结了 本文主要的研究内容，并对全文各章节进行了简要的概述。 第一章绪论 论文第二章将介绍图像处理的基础概念，以及本课题研究需要的常用基本方 法和理论。 论文第三章将提出图案加工实验系统的整体设计方案，采用上下位机的形式， 简述了其硬件构成和运动控制器的设计，以及上位机应用软件的开发。 第四章将简单介绍了视觉测量系统的图像采集部分，采用c c d 摄像头+ 图像 采集卡的结构形式构成图像采集模块。 第五章针对柔性物料图案加工的特点，主要对图案的轮廓感兴趣，因此着重 提出了一种自适应的自适应边缘检测方法及其实现。 第六章根据第五章介绍的边缘算法提取的边缘轮廓，进行改进边界跟踪算法 的介绍，并将其轮廓进行矢量化处理。 最后总结图案加工轨迹视觉测量算法的研究经验和对今后的工作做出展望。 论文的末尾是参考文献、致谢和攻读硕士学位期间发表的论文等内容。 9 广东工业大学工学硕士学位论文 第二章图像处理的相关理论方法 根据上一章节的介绍的机器视觉系统构成，其中图像分析处理是非常重要的 环节，图像分析处理的效果是影响整个系统性能的关键之一对于图案加工系统 来说，图像分析处理过程如图2 - 1 所示。本章节将根据所涉及的图像处理理论知 识进行简单的介绍，为后续的算法设计奠定理论依据。 i 。1r 。1 r 。一一1 i预处理i ；图像分析 ii 图像处理 i ! 一! ! ! ! 一! | l ! 竺兰兰l 崮l 望竺竺型l 崮l 兰竺竺竺il ：i 图像增强i ：l 边缘检测l ：i 边界跟踪i ： i l j i l _ jij l j j 图2 - 1 图像分析处理流程 f i g ，2 1f l o w c h a r to fi m a g ea n a l y s i sa n dp r o c e s s i n g 2 1 图像处理的特点 图像处理技术发展到今天，许多技术己日趋成熟。目前己成为工程学、计算 机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社会科学等领域 各学科之问学习和研究的对象，其应用也取得了巨大的成功和显著的经济效益， 如在工程领域、工业生产、军事、医学以及科学研究中的应用已十分普遍。通过 分析资源卫星得到的照片可以获得地下矿藏资源的分布及埋藏量；利用红外线、 微波热感技术可侦查到隐蔽的军事设施；x 射线c t 已广泛应用于临床诊断，由于 它可得到人体内部器官的断层图像，因此，可准确地确定病灶位置，为诊断和治 疗疾病带来了极大的方便。至于在工业生产中的设计自动化及产品质量检验中更 是大有可为，在安全保障及监控方面图像处理技术更是不可缺少的基本技术，类 似的应用例子随处可见。至于在通信及多媒体技术中图像处理更是重要的关键技 术。因此，图像处理技术在国计民生中的重要意义是显而易见的。正因为如此， 图像处理理论和技术受到了各界的广泛重视，科学工作者经过不懈的努力，已取 得了令人瞩目的成就，并正在向更加深入及更高的层次发展。 数字图像处理具有如下优点： 1 再现性好 1 0 董三茎里堡竺墨墼垫茎圣丝查童 数字图像处理与模拟图像处理的根本不同在于，它不会因图像的存储、传输 或复制等一系列变换操作而导致图像质量的退化。只要图像在数字化时准确地表 现了原稿，则数字图像处理过程始终能保持图像的再现。 2 处理精度高 按目前的技术，几乎可将一幅模拟图像数字化为任意大小的二维数组，这 主要取决于图像数字化设备的能力。现代扫描仪可以把每个像素的灰度等级量化 为1 6 位甚至更高，这意味着图像的数字化精度可以达到满足任一应用需求。对计 算机而言，不论数组大小，也不论每个像素的位数多少，其处理程序几乎是一样 的。换言之，从原理上讲不论图像的精度有多高，处理总是能实现的，只要在处 理时改变程序中的数组参数就可以了。回想一下图像的模拟处理，为了要把处理 精度提高一个数量级，就要大幅度地改进处理装置，这在经济上是极不合算的。 3 适用面广 图像可以来自多种信息源，它们可以是可见光图像，也可以是不可见的波谱 图像( 例如x 射线图像、射线图像、超声波图像或红外图像等) 。从图像反映的 客观实体尺度看，可以小到电子显微镜图像，大到航空照片、遥感图像甚至天 文望远镜图像。这些来自不同信息源的图像只要被交换为数字编码形式后，均是 用二维数组表示的灰度图像( 彩色图像也是由灰度图像组合成的，例如r g b 图像 由红、绿、蓝三个灰度图像组合而成) 组合而成，因而均可用计算机来处理。即 只要针对不同的图像信息源，采取相应的图像信息采集措施，图像的数字处理方 法适用于任何一种图像。 4 灵活性高 图像处理大体上可分为图像的像质改善、图像分析和图像重建三大部分，每 一部分均包含丰富的内容。由于图像的光学处理从原理上讲只能进行线性运算， 这极大地限制了光学图像处理能实现的目标。而数字图像处理不仅能完成线性运 算，而且能实现非线性处理，即凡是可以用数学公式或逻辑关系来表达的一切运 算均可用数字图像处理实现。 2 2 图像的预处理 图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增 广东工业大学工学硕士学位论文 强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、 匹配和识别的可靠性。预处理过程一般有数字化、几何变换、归一化、平滑、复 原和增强等步骤。 图像平滑后其直观效果是噪声点和假轮廓得以去除，而一个图像增强系统可 以通过高通滤波器来突出图像的轮廓线，所以本节主要介绍图像平滑和增强。 2 2 1 图像平滑 图像平滑技术是图像预处理中一种重要技术。在拍摄和传输的过程中，数字 图像往往因各种因素被加入大盆的嗓音。引起噪音的原因一般有：传感器或电子原 件内部由于载荷粒子的随机运动所产生的内部噪音，电器内部一些部件的机械振 动所导致的电流变化或电磁场变化所产生的嗓音，外部的天然磁电或工程磁电通 过大气或电源线引入系统内部所产生的外部嗓音，照相底片上感光材料的颗粒、 或磁带磁盘表面的缺陷所引起的噪音，传输通道的干扰及里化噪音、解码误差噪 声等。嗓音的存在不仅严重影响了图像的视觉效果，同时也给以后的图像分析和 理解带来一定的困难，因此在图像预处理中图像平滑是非常重要的环节，平滑质 量的好坏直接影响到后续处理。 图像的视觉质量可从图像的分辨率、边缘的锐化性和噪声干扰的大小来评价。 图像平滑后其直观效果是噪声点和假轮廓得以去除，但图像的噪声和信号往往是 交织在一起的，若平滑不当，会使有用的细节变得模糊，因此平滑时必须确保： 一是不能损坏图像的边缘及轮廓等重要信息；二是使图像清晰，视觉效果好。 图像平滑实际上是低通滤波，让信号的低频部分通过，阻截属于高频部分的 噪声信号。显然，在减少随机噪声点影响的同时，由于图像边缘部分也处在高频 部分，平滑过程将会导致边缘模糊化。因此对平滑技术的基本要求是在消去噪声 的同时不使图像轮廓或线条变得模糊不清。常用的平滑方法有中值法、局部求平 均法和k 近邻平均法。局部区域大小可以是固定的，也可以是逐点随灰度值大小 变化的。 1 平滑卷积模板 平滑模板的思想是：通过待处理点和周围8 个邻点的平均来去除突然变化的 点，从而滤掉一定的噪声，其代价是图像有一定程度的模糊。式( 2 1 ) 为该平滑 1 2 第二章图像处理的相关理论方法 模板的数学表达，称为b o x 模板。该模板与图像做卷积，即可实现平滑去噪的目 的。模板操作属于一种邻域运算，即，某个象素点的结果不仅和本象素灰度有关， 而且和其邻域点的值有关。 1r l 1 1 1 二il 1ll( 2 1 ) 9 l 1 1 l j 2 领域加权平均 b o x 模板虽然考虑了领域点的作用，但并没有考虑各点位置的影响，对于所 有的9 个点都一视同仁，当被处理点为边界时，用邻域平均法处理后该点的灰度 必然下降，这样将导致边界模糊，所以平滑的效果并不理想。为了去掉尖峰噪声 又保持图像的各种边缘，可以采用领域加权平均法。为此，可以根据参与平均的 像素的特点给予不同的权值。 权值的选择很重要，将直接影响去噪的效果。而且为不使整个图像变亮，需 要将权值归一化。给要被处理的像素较大的权值，其他象素的权值均较小，这样 可以突出了要被处理的像素。而如果按距离被处理像素的远近确定权值，距被处 理像素较近的像素给予较大的权值，或者按与被处理像素的灰度接近程度确定权 值，和被处理像素灰度接近的像素给予较大的权值。这是基于信号在空间邻域中 是相关的而噪声不相关或相关性差的特点，距离较近的或灰度较接近的像素，认 为其能比较好地代表信号，给予较大的权值。 下面给出几种常用的模板： c ，高斯模板：去曙 可以看出，距离越近的点，加权系数越大。 0 l olj i l 2 l 0 1 o r。l i 1 5 rl ： f 。 子 ： 算 子 均 算 平 权 域 加 领 心 四 中 ) ) 2 3 广东工业大学工学硕士学位论文 ( 4 ) 按灰度相近程度加权算子： w ( i - 1 ，- 1 ) w ( i 一1 ，) w ( i 一1 ，j + 1 ) 1 w ( f ，一1 ) w ( i ，+ 1 ) 1 w ( i + l ，- ，一1 ) w ( i + l ，_ ，) w ( i + l ，+ 1 ) j 热w ( i + k , j + 1 ) = ；d ”研+ 一) 一d ( i + k , j + l n ) ； _ l ” j 胁1 7 = 一1 ，0 ，l ： d ( i + k ，j + 1 ) = i f ( i + k ，+ ，) - f ( i ，列一5 m j1 7 ，以不能同时为零。 该算子是以某像素的灰度与要被处理像素的灰度之差的绝对值的倒数作为权 值，其中通过乘以i 1i d ( f + 坍，+ n ) l - - 1 使矩阵归一化。 r1 由于用于指导图像增强的信息无法灵活准确地匹配区域特征，采用固定窗口 或者固定权值，所以去噪效果不是很好。如果根据窗口区域的灰度分布情况和关 于目标的知识，采用自适应地调整窗口形状和权值的方法既平滑了噪声，还可以 保护边缘。 3 中值滤波 在中值滤波器中，要设定像点的邻域，图像中值滤波器后各像点的输出等于 该像点邻域中所有像素灰度的中值，即存在个滑动的窗口，窗口内所有像素灰 度的中值作为窗口中被滤波的像素处理后的灰度。由此可见，中值滤波器的结果 来自域原始图像中某个像素的原始值。 根据需要不同，可以利用各种形式的滤波窗口，如图2 - 2 所示。需要注意的 是，当窗口内噪声点的个数大于窗口宽度的一半时，中值滤波的效果不好。并且 中值滤波器的运算量很大，而且随窗口增大而迅速增加。 图2 - 2 四种常用中值滤波窗口 f i g 2 2f o u rt y p i cw i n d o w so f m e d i a nf i l t e r i n g 中值滤波是抑制噪声的非线性处理方法。这种方法的特点是运算简单，实现 方便，而且能够较好地保护边界。对于平坦区域加