（机械电子工程专业论文）曲轴毛坯全方位图像信息采集及三维重构.pdf

摘要 轴类工件的中一t l , 孔，起着轴类工件各道工序加工定位基准作用，因此中心孔 的定位直接影响产品的质量，尤其对于曲轴及表面有缺陷的轴类毛坯件，中，t l q l 位置的确定至关重要，关系到该工件是否具有适当的加工余量，在批量生产中这 个问题的处理更具经济意义。 本项目组提出了一种全新的曲轴毛坯中，c , q l 定位和打孔方法，即利用机器 视觉的技术，在计算机中重构出实际的曲轴毛坯三维模型与用三维c a d 设计出 的曲轴三维模型进行匹配，获得曲轴中, c , q l 的最佳定位点，然后在该点打出中 , t l q l 。用此方法对曲轴中, t l q l 进行定位并打出中心孔不仅可以减少工时，提高 生产效率和曲轴加工质量，而且该方法柔性大，可适用于各种轴类及其它零件 的加工定位中。 在计算机中重构出实际曲轴毛坯的三维模型是实现上述中心孔定位和打孔 方法的关键技术之一。论文将研究在针孔模型成像条件下实现曲轴毛坯全方位 图像信息的采集和根据采集的图像信息在计算机中得以三维重构的方案和算 法，为后面的研究奠定基础。 本论文通过对比多种测量方法，采用双目立体视觉测量方法，用基于p c 机 控n 3 对摄像机的双目视觉系统，分别从三个不同的方位，采集图像信息，根据 精度需求和实验环境，确定采集系统的硬件设备，采集到曲轴毛坯的全方位图 像信息。采用方格模板作为标定板对左右摄像机分别进行标定，从多种方法种 选择t a s i 标定法，得到摄像机的内外参数。 对摄像机获得的图像用v c + + 软件对图像进行了图像处理( 包括灰度处理， 平滑处理，图像增强，阈值分割，c a n d y 算子边缘检测处理) ，然后通过改进后 h a r r i s 算子提取特征点。 在完成摄像机的参数标定和左右图像的特征点匹配的基础上，根据特征点 进行立体匹配，计算出特征点集的深度信息，求得了特征点的空间坐标，并进 行必要的插值计算，再对三维重构模型进行纹理映射，使模型具有真实感。 关键词：计算机视觉，信息采集，三维重构，c c d 摄像机，曲轴 a b s t r a c t t h ec e n t r a lh o l eo ft h ew o r k p i e c es h a f tp l a y sar o l eo f p o s i t i o n i n ga n d d a t u mt o p r o c e s sp r o c e d u r e s s ot h ep o s i t i o n i n go f t h ec e n t r a lh o l ei m p a c t so np r o d u c tq u a l i t y d i r e c t l y p a r t i c u l a r l yf o rt h ec r a n k s h a f ta n dt h es h a f tw i t hd e f e c t i v es u r f a c e ，t h e p o s i t i o no fc e n t r a lh o l ei sm o r ei m p o r t a n t i tr e l a t e sw h e t h e rt h ew o r k p i e c eh a sa l l a p p r o p r i a t ea l l o w a n c e i nt h em a s sp r o d u c t i o n , i th a sm o r ee c o n o m i cs i g n a l i t yt o d e a lw i mn l i si s s u e t h ep r o j e c tt e a mp r o p o s e dan e wm e t h o do fp o s i t i o n i n ga n dd r i l l i n gc e n t r a l h o l ei nc r a n k s h a f ta n ds h a f t t h r e e d i m e n s i o n a lm o d e lo fa c t u a lc r a n k s h a f t , w h i c hi s c o n s t r u c t e di nc o m p u t e rb a s e do nm a c h i n ev i s i o nt e c h n o l o g y , a n dt h r e e - d i m e n s i o n a l m o d e lw h i c hi sd e s i g n e db yt h r e e - d i m e n s i o n a lc a d m a t c h ，i no r d e rt oa c c e s st ot h e b e s tp o s i t i o n i n gp o i n t ，a n dt h e nd r i l lh e r e u s i n gt h i sm e t h o dt op o s i t i o na n dd r i l lc a n r e d u c et h ew o r k i n gt i m ea n di m p r o v ep r o d u c t i v i t ya n dp r o c e s s i n gq u a l i t y a n dt h i s m e t h o di sm o r ef l e x i b l e ，w h i c hi sa p p l i e dt oav a r i e t yo fs h 础a n do t h e rp a r t so ft h e p r o c e s s i n gp o s i t i o n i n g t h er e c o n s t r u c t i o no fa c t u a lc r a n k s h a f tt h r e e d i m e n s i o n a lm o d e li nc o m p u t e ri s t h eo n eo f k e yt e c h n o l o g i e st oa c h i e v et h ea b o v ec e n t r a lh o l ep o s i t i o n i n ga n dd r i l l i n g m e t h o d t h ep a p e rw i l ls t u d yc r a n k s h a f ta l l - r o u n di m a g ei n f o r m a t i o nc o l l e c t i o nb a s e do n p i n h o l ei m a g i n gm o d e la n dp r o p o s a la n da r i t h m e t i ct h r e e - d i m e n s i o n a lr e c o n s t r u c t e d i nc o m p u t e rb a s e do ni m a g ei n f o r m a t i o nc o l l e c t i o n ，i no r d e rt ol a yt h ef o u n d a t i o nf o r t h ef u r t h e rs t u d y t h i sp a p e r , b yc o m p a r i n gav a r i e t yo fm e a s u r e m e n tm e t h o d ，u s e sb i n o c u l a r s t e r e ov i s i o nm e a s u r e m e n tm e t h o d ，a n db i n o c u l a rv i s i o ns y s t e mb a s e do np c c o n t r o l o ft h r e ep a i r so fc a m e r a , t oc o l l e c ti m a g ei n f o r m a t i o nf r o mt h r e ed i f f e r e n td i r e c t i o n s ， a n do nt h eb a s i so fa c c u r a c ya n de x p e r i m e n te n v i r o n m e n td e t e r m i n et h eh a r d w a r e ， c o l l e c t i n gt h ef u l lr a n g eo fc r a n k s h a f ti m a g ei n f o r m a t i o n t h et e m p l a t eb o xu s e da st h ec a l i b r a t i o nb o a r dr e s p e c t i v e l yc a l i b r a t e sl e f ta n d r i g h tc a m e r a a n df r o mav a r i e t yo fm e t h o d st a s ic a l i b r a t i o nm e t h o di ss e l e c t e d ，i n o r d e rt og e tt h ei n t e r n a la n de x t e r n a lc a r n e r ap a r a m e t e r s i i t 1 1 ei m a g eg e t t i n gf r o m c a m e r ai sp r o c e s s e db yv c + + ，i n c l u d i n gt h eg r a y - s c a l e p r o c e s s i n g , s m o o t h i n g , i m a g ee n h a n c e m e n t , t h r e s h o l ds e g m e n t a t i o n , c a n d ye d g e d e t e c t i o no p e r a t o r , a n dt h e np o i n te x t r a c t i o nb yi m p r o v e dh a r r i s b a s e du p o nc a m e r ap a r a m e t e r sc a l i b r a t i o na n df e a t u r ep o i n tm a t c h i n go fl e f ta n d r i g h ti m a g e ，s t e r e om a t c h i n gt c a l c u l a t i n gt h ed e p t hi n f o r m a t i o no ff e a t u r ep o i n t c o l l e c t i o n , g e t st h es p a t i a lc o o r d i n a t e so fc h a r a c t e r i s t i cp o i n t a n dt h en e c e s s a r y i n t e r p o l a t i o nc a l c u l a t e d ，t e x t u r em a p p i n gt h et h r e e d i m e n s i o n a lr e c o n s t r u c t i o nm o d e l m a k e st h em o d e lr e a l i s t i c k e y w o r d s ：c o m p u t e rv i s i o n ，i n f o r m a t i o nc o l l e c t i o n , t h r e e - d i m e n s i o n a lr e c o n s t r u c t i o n , c c dc a m e r a , c r a n k s h a f t i i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 期： 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) e t 期：雹尘形 武汉理工大学硕士学位论文 第1 章绪论 1 1 本课题的研究目的和意义 曲轴是发动机的心脏零件，在发动机运转过程中，由于扭转振动和弯曲振动容 易造成疲劳破坏，这就要求曲轴必须有足够的强度、刚度及良好的平衡性。曲轴 具有结构复杂、刚性差、加工表面多、技术要求高的特性，加工工艺较为繁杂，其 加工质量将直接影响到发动机的技术性能及寿命。 轴类工件的中心孔，起着轴类工件各道工序力n - i - 定位基准作用，因此中心孔 的定位直接影响产品的质量，尤其对于曲轴及表面有缺陷的轴类毛坯件，中心孔 位置的确定至关重要，关系到该工件是否具有适当的加工余量，在批量生产中这 个问题的处理更具经济意义。 本项目组提出了一种全新的曲轴毛坯中心孔的定位和打孔方法，即利用机 器视觉的技术，在计算机中重构实际的曲轴毛坯三维模型与用三维c a d 设计出 的曲轴三维模型进行匹配，获得曲轴中心孔的最佳定位点，然后在该点打出中 心孔。 用此方法对曲轴中心孔进行定位并打出中心孔不仅可以减少工时，提高生 产效率和曲轴加工质量，而且该方法柔性大，可适用于各种轴类及其它零件的 加工定位中。 在计算机中重构出实际曲轴毛坯的三维模型是实现上述中心孔定位和打孔 方法的关键技术之一。论文将研究在针孔模型成像条件下实现曲轴毛坯全方位 图像信息的采集和根据采集的图像信息形成曲轴毛坯三维模型的方案和算法， 为后面的研究奠定基础。 1 2 三维重构理论的提出 人类感知的大部分信息是通过视觉获得的，而且在真实的世界里，人所感 受到的是三维信息，如何更好的表现这些三维信息一直是人们关心的热门话题 之一。自然界的物体都是三维的，三维体的数据中蕴含着丰富细腻的物体结构， 人类通过双眼来获得物体的三维立体信息，但是一般的摄影系统只能做到把三 维的物体信息以二维的形式记录下来，而与此同时却要丢失掉物体的大量的三 武汉理工大学硕十学位论文 维信息。随着时代的发展，人们对信息的获取已经从传统的二维平面图像，转 而追求三维立体图像。三维重构正是在此情况下而提出的。三维重构研究的是 如何通过物体的二维信息获得物体在空间中的三维信息。它是图像处理技术的 一次飞跃，给了人们以立体感受，能够显示复杂结构的完整形态。将客观世界 在计算机中真实的再现，是计算机视觉和计算机图形学研究的一个热门领域， 而且三维重构也是计算机视觉、模式识别、计算机图形学、视景仿真、虚拟现 实、科学计算可视化等众多领域最热门的研究方向之一。三维重构是一项多学 科的综合技术，它集计算机技术、计算机图形学、图像处理技术、信息合成技 术、显示技术等诸多高新技术于一体。近年来，由于计算机的计算能力迅速提 高，所配置的内存、磁盘空间不断扩大，网络功能增强许多，主要的图形生成 及图像处理算法均可用硬件实现，速度不断加快。因而，三维重构技术的快速 发展己经成为可能【1 】【2 】【3 1 。目前，三维重构广泛应用在医学、虚拟现实、计算机 动画、显微摄影学、三维测量、物理学、化学、地质学、工业检测、计算流体 力学、有限元分析等方面。 三维重构的用途很广，可以应用在机器人导航，视觉监控，建筑制造等行 业。同时在最近几年兴起的计算机虚拟现实，基于图像的绘匍j ( i b r ) ，三维动画 等技术中都有广泛的应用。三维重构是通过二维图像中的基元图来恢复三维空 间，也就是要研究三维空间点、线、面的三维坐标与二维图像中对应点、线、 面的二维坐标间的关系，实现定量分析物体的大小和空间物体的相互位置关 系。 计算机视觉中的三维重构由两大部分组成：首先是利用成像设备将三维空 间转换成二维图像：第二部分是对二维数字图像进行处理，实现三维重构 对于各种不同成像模型下的二维图像，进行三维重构的方法显然是不一 样。如c t 和m r i ( 磁共振成像) 是利用间隔切片扫描，形成序列且成比例的 若干二维图像，将这些序列图像按比例放大，再按原间隔距离组合起来，就 能实现三维空间的重构。激光扫描测绘也是利用与上述相同的重构方式。单 张针孔模型下二维图像几乎失去了所有的深度信息，而且也没有比例可言， 这是各种模型成像中最难实现三维重构的一种。所以目前都采用双目或者多 目采集系统。尽管这种成像模型的三维重构难于实现，但由于其使用灵活、 方便，适用于各种复杂的场合，费用投入少，仍是目前使用较多的一种方法。 随着信号处理理论和芯片制造技术的发展，用于立体视觉的核心器件c c d 2 武汉理工大学硕士学位论文 芯片的分辨率和成像质量大幅度提高，而相应产品的价格不断下降，基于c c d 芯片的应用也在不断普及，从一般家庭使用的数码摄像产品到工业用图像获取 设备。与此同时，数字图像处理技术的快速发展也为三维坐标测量技术提供了 前所未有的发展空间，利用c c d 相机作为传感器件的快速、低成本三维数据获 取技术已经成为目前坐标测量技术中最活跃、最有发展前景的一个方向。 1 3 本课题国内外研究现状分析 曲轴属于细长类零件，加工过程中主要定位基准是两端中心孔，按其加工位 置可分为两种：一种是利用双v 型块或其它方式找出曲轴支承轴颈的几何中心， 在此中心上加工出的中心孔称为几何中心孔：另一种是利用专门的质量定心机 测出曲轴的质量中心，在此中心上加工出的中心孔称为质量中心孔。由于毛坯的 几何形状误差和质量分布不匀等原因，一般两者并不重合，国内生产线中多采 用几何中心孔。但是利用几何中心孔作定位中心进行车加工或磨加工时，工件旋 转会产生离心力，这不但影响加工质量，降低定心元件的使用寿命，而且在加 工后剩余的动不平衡量较大，在后面的动平衡工序中需多次反复测量和去重才 能达到要求，影响生产节拍，效率低，且会造成个别半成品报废。基于这种原因， 国外大都采用了质量中心孔，利用专门设计的测试设备来测试质量中心，然后 加工出中心孔，并且可将铣两端长度和加工质量中心孔合并为一道工序，采用 c n c 技术控制，加工效率很高。这样就基本上解决了由于采用几何中心孔而造 成的问题。但值得一提的是若毛坯弯曲变形严重或质量严重分布不均匀。采用 质量中心孔仍不能彻底解决上述问题【4 】【5 儿6 1 。 目前曲轴质量定心机的核心技术掌握在德国申克公司和美国平衡工程公司 等手中，他们生产的设备是比较成熟的设备，不过国内的沈阳数控机床有限公 司已成功的开发车曲轴质量定心机并应用于生产。 由于曲轴生产线设备昂贵，在“八五”以前，国内主要发动机制造厂大多将投资 放在曲轴精加工机床上，如进e 1 曲轴磨床、抛光机、动平衡机等，对曲轴粗加工尤 其是轴颈的粗加工设备不够重视，这将造成曲轴在粗加工段产生较大的变形量， 直接影响曲轴的最终加工精度，并严重影响引进的精加工设备的效率、精度性，部 分厂家甚至对这些设备的精度产生怀疑，加工出的曲轴无法满足高质量发动机的 配套需要。“八五”以后，各发动机制造厂及曲轴专业制造厂开始意识到这个问题， 3 武汉理工大学硕+ 学位论文 通过咨询考察，相继引进了一些曲轴的高效、高精度粗加工设备，如质量定心机、 曲轴数控车床、曲轴内铣床、曲轴车拉机床等【6 】【7 1 。 在三维重构研究方面，研究最多的国家是日本，其次是美国和英国。发达 国家起步较早，研究的也比较深入。1 9 9 5 年日本东京大学的h o s l l i n o 领导的小 组用物体反射的m a r r a y c o d e d 光源影像对物体表面进行三维重构取得了进展， 使用这种方法，可以使用比较简单的设备来完成三维重构。1 9 9 3 年美国芝加哥 大学g o s h t a s b y 和a x d e s l l i r 应用合理的高斯曲线和平面，进行二维、三维图形的 恢复和设计的研究。目的是使用合理的高斯曲线和平面，来表示复杂图形并证 明用这种方式，不需要用传统的网格方式而是利用分散设置的控制点来恢复外 形的新方法。 我国在基于视觉的三维测量领域也开展了一些研究，有些成果已经具有较 高的水平。其中，西安交通大学通过逐层切削被测物体并逐层拍摄切面图像进 行物体三维坐标测量【8 1 ，该方法的好处是可以同时测量得到物体的内外表面，缺 点是要破坏被测物体；清华大学、上海交大【9 】等单位也都对结构光测量技术进行 了研究，开发了实验室系统；哈尔滨工业大学【l o 】将大型三坐标测量机和基于c c d 摄像的二目成像原理相结合，进行大型工件特征点的检测。在他们的方法中， 工件需要放在特制的精密转台上以提供标准的位移，因此硬件设备组成较为复 杂，缺乏足够的柔性。中科院自动化所模式识别国家重点实验室采用平面激光 的主动测量成功地获取了三维信息【l l l ，并在口腔医学中得到应用。另外，中国 科学院自动化研究所【1 2 】和西安交通大学【1 3 】等单位分别在机器人视觉以及三维 视觉的基础算法方面进行了研究，并取得高水平的研究成果，但尚未见到有关 三维坐标数据测量与模型重构方面的研究报导。国内1 9 9 4 工程图扫描输入及三 维重构方法的研究，被四川省列为基础科研项目。浙江大学c a d 与计算机图形 学国家重点实验室的高玮、彭群生发表了基于二维视图特征的三维重构，清华 大学国家c a d 工程中心的刘世霞、胡事民、汪国平、孙家广的基于三维视图形 体的重构，分别从不同方向对三维重构进行了研刭引。 由于我国目前没有可以与国外产品相匹敌的基于光学摄像的三维数据测量 设备，国外同类产品均以1 0 倍2 0 倍于硬件成本的价格在我国销售。 正是基于上述原因的考虑，本文拟建立一个硬件配置简单、操作方便、适 用范围较广的二日立体测量系统，从而以尽可能低的成本和尽可能简单的系统 结构实现三维坐标数据获取以及三维重构。 4 武汉理工大学硕十学位论文 1 4 课题主要研究内容 数字图像的曲轴毛坯全方位信息采集及三维重构，是指采用计算机视觉来 采集曲轴毛坯的空间位置的系统，并对图像进行处理，提取特征点，进行匹配， 实现三维重构。该系统将采用对曲轴毛坯进行图像采样，利用图像处理技术处 理和识别曲轴毛坯上的轮廓及特征点，然后由特征点坐标值确定其确定的世界 坐标技术方案，从而实现曲轴初始中心孔定位。论文将对实现这一技术路线的 有关关键技术进行研究。 ( 1 ) 曲轴毛坯全方位图像信息的采集与处理方法 曲轴是一个较为复杂的机械零部件，全方位图像信息的采集较为复杂，所 摄取的曲轴图像难免出现对比度小，伴有环境噪声等质量问题。如何准确的采 集到曲轴毛坯的图像信息，采用哪种图像信息采集系统，确定怎样的硬件设备 系统，即低成本又符合要求精度，是本文的关键问题。论文将研究图像信息的 采集是至关重要的问题，直接将影响后面的研究。 ( 2 ) 摄像机的放置、标定 摄像机标定是一个确定摄像机内部参数和外部参数的过程【1 4 】。标定的目的 是建立物体的三维世界坐标系和图像坐标系之间的关系。要最终获得高的曲轴 毛坯寻位精度，需要对摄像机标定出高精度的标定参数。摄像机的标定是否正 确直接影响到最后深度信息的计算，所以至关重要。 ( 3 ) 数字图像预处理 对经过增强、去噪处理的图像进行轮廓和特征的提取，综合比较几种常用 的边缘检测算子法，采用边缘检测效果较好的算法提取轮廓边缘。根据相应的 算法提取出曲轴毛坯的特征点。 ( 4 ) 特征点的立体匹配及三维重构 在己获得两摄像机的内外参数和提取左右工件图像上特征点的基础上，采 用特征点的匹配方法，根据空间点的三维坐标计算的数学模型实现了对特征点 的三维重构，求出特征点的空间坐标，实现三维重构。 5 武汉理工大学硕士学位论文 第2 章图像信息采集系统 在曲轴毛坯中心孔自定位系统中，基于计算机视觉的曲轴毛坯三维重构起 着至关重起着作用，而曲轴毛坯图像信息的采集是本文研究的最基础和最关键 部分。 2 1 基于视觉的图像采集方法 八十年代初，m a 一1 5 】综合了图像处理、心理物理学、神经物理学及临床精 神病学的研究成果，提出了第一个较为完善的视觉理论框架，基于视觉理论的 三维数据采集方法越来越受到人们的重视。m a r t 的计算视觉理论将视觉过程自 下而上分为三个阶段，即视觉信息从最初的原始数据( - - 维图像数据) 到最终对三 维模型输出的表达经历了初级视觉、中级视觉和高级视觉三个不同阶段的视觉 处理过程。初级视觉是对输入的原始图像进行处理，抽取图像中诸如点、边缘、 纹理、线条和边界等基本几何元素或特征，这些特征的集合称为基元图或要素 图。中级视觉是指在以观测者为中心的坐标系中，由输入图像和基元图恢复场 景可见部分的深度、法线方向、轮廓等，这些信息包含了部分深度信息， 但不是真正物体的三维表示，称为2 5 维图。中级视觉实现的途径有摄影采集法、 立体视觉( s t e r e ov i s i o n ) 、结构光采集( s t r u c t u r e dl i g h t ) 、从明暗恢复形状( s h a p e f r o ms h a d i n g ) 、从纹理恢复形状( s h a p ef r o mt e x t u r e ) 、从运动恢复形状( s h a p ef r o m m o t i o n ) 等方法。 目前三维数据采集的研究主要集中在m a r r 视觉理论的中级阶段，下面是一 些常用的图像采集方法，以及这些方法的研究发展情况。 2 1 1 摄影采集法 摄影采集就是通过对摄影得到的图像进行场景或物体各种几何参数的测 量。摄影采集是光学图像处理最重要和最普遍的应用之一，也是视觉技术最早 的应用技术之一【1 6 】。一般来说，摄影采集按成像手段可分为普通光型、微光型、 红外型、紫外型、x 射线型、y 射线型等；按采集对象分又可分为遥测、远景 摄影采集、近景摄影采集，显微摄影采集测量等几种。工业应用中主要是指近 景摄影测量，有时也用到显微摄影采集。近景摄影一般用一只相机在多个不同 视角获取被测物体图像，利用不同位置相机光心与像点组成的射线相交求解。 6 武汉理工大学硕士学位论文 不过近景摄影采集在采集前一般不知道各视角的相对位置关系，在采集过程中 必须先计算各视角图像坐标系之间的位置关系，才能确定各个视角的投影矩阵， 进而获取三维信息。 由于成像技术的限制，摄影采集早期主要用于大地远景采集。近年随着成 像技术的发展，近景摄影采集法受到人们的重视，已应用到许多领域。g g a n c i 将摄影采集应用到工业领埘1 7 】 1 8 】，研究基于特征目标投影的抛物面天线非接触 式近景摄影采集系统，1 分钟可以测量5 6 0 0 个目标点，实现自动化采集。 w a n g 【19 】【2 0 1 提出一种近景摄影采集分块捆绑调整算法，可以实现三维测量的实时 计算，大大提高近景摄影采集的计算速度。 2 1 2 结构光采集法 结构光三维采集的基础是经典的光学三角测量，部分文献中又称主动三角 采集。它是基于二目立体视觉三角测量原理，将其中一个相机用固定好的结构 光代替，利用光源和成像系统之间的三角几何信息进行三维形面采集。结构光 采集系统主要由结构光投影器、相机、图像采集及处理系统组成。根据不同的 采集对象可设计不同的结构光形式。结构光类型主要有点光、线光、网格、平 行光条和编码光等，其中的点光源和线光源一般采用激光，而其它面阵光源采 用光栅投影或数字投影。某种意义上，结构光法是以硬件复杂性的提高和时序 图像的增加，换取立体成像中对应点匹配的简化。目前这方面的趋势是简化系 统装置，用尽可能少的时序图像获得高精度的三维数据。 2 1 3 从x 恢复形状法 直接从被测物体的灰度图像获取形状信息的方法一般称为s h a p ef r o m x 【2 1 1 。这是一类间接测量方法，主要的方法有从明暗恢复形状( s h a p ef r o m s h a d i n g ) 、从纹理恢复形状( s h a p ef r o mt e x t u r e ) 、从运动恢复形状( s h a p e f r o m m o t i o n ) 等。这类方法尽管研究得很早，但进展不大。不过近年来又受到人 们的重视，特别是从运动恢复形状取得了突破性的成果。 2 1 4 立体视觉采集法 立体视觉采集法是建立在计算机视觉理论上的三维信息采集方法。它利用 若干位置相对固定的相机，从不同角度获取同一场景的多幅图像，通过计算空 7 武汉理工大学硕+ 学位论文 问点在两幅图像种的象差来获得其三维坐标。立体视觉可以分为双目立体视觉 采集，甚至多目立体视觉采集测量，其中双目立体视觉直接模拟人类双眼处理 景物的方式，具有简单，可靠，灵活，使用范围广等特点，越来越受到人们的 重视，是立体视觉最常用的实现方式。 双目立体视觉模型如图2 1 所示。它的基本原理是从两个视点观察同一景物， 以获取不同视角下的感知图像，通过成像几何原理计算图像像素间的位t 偏差( 视 差) ，获取景物的三维信息。本项目采用立体视觉测量原理来采集曲轴毛坯的图 像信息。 左相机 右徊机 图2 - 1 双目立体视觉模型 双目立体视觉测量系统通常分为5 部分： ( 1 ) 图像获取：计算机立体视觉常用双目图像，获取图像的视点可在一条直 线上，也可在一平面上，或呈立体分布。 ( 2 ) 摄像机标定：物体表面某点的三维几何位里与其在图像中对应点间的相 互关系由振像机成像的几何模型决定，这些几何模型参数就是摄像机参数。通 过实验与计算得到的摄像机参数为摄像机标定。 ( 3 ) 图像预处理和特征提取：光学成像系统生成的二维图像包含各种随机噪 声和崎变，为改变图像的视觉效果，提高其清晰度，使图像更有利于计算机处 理，需对原始图像进行预处理。 ( 4 ) 基于特征点的立体匹配：立体匹配是根据对所选特征的计算，建立特征 8 武汉理工大学硕士学位论文 之间的立体对应关系，将同一个空间物理点在不同图像中的映像点相对应。 ( 5 ) - - - 维重构：针对获得的深度数据的不同特点，采用多种建模方法重构三 维表面。 2 2 图像信息采集系统 本文采用立体视觉方法来采集图像信息。立体测量系统的硬件配置对系统 的测量精度有着直接的影响，不合理的硬件搭配，不仅使系统的稳定性降低、 抗干扰能力下降、硬件成本增加，而且会影响系统的计算速度和测量精度。本 章将研究曲轴毛坯全方位图像信息采集系统的三位重构的需求，选择合适的器 件，组成一个工作稳定、配置合理的硬件环境。 本文的研究采用的是双目立体图像信息采集系统【2 2 】，下面简单介绍一下二 目立体图像信息采集及三维重构系统结构框图如图2 2 所示 f l i i 厶 i i i - j 图2 2 图像信息采集系统及三维重构系统结构框图 9 武汉理t 大学硕士学位论文 系统结构硬件部分由c c d 相机、图像采集卡组成、计算机组成。c c d 相机 主要完成对场景的图像采集，得到场景的模拟图像，由视频线与固定在计算 机主板p c i 插槽的图像采集卡相连，图像采集卡完成对模拟图像的数字化，得 到场景的数字图像，输入计算机内存，由计算机对其进一步处理，依次进行特 征提取和特征匹配，最终实现三维重构。 一般来说，视觉系统包括相机、镜头、图像采集卡和照明系统，每一个部 件的质量都对图像的质量产生影响，包括连线和整机调试人员的经验都会导致 结果不同。对于每一个系统，都要根据系统的运行速度和图像处理速度的要求， 考虑视场范围、分辨率大小、景深长短等等。为了进一步阐述的需要，给出相 关概念。 ( 1 ) 视场：视场指整个系统能观察到的物体的尺寸范围，也就是c c d 芯 片上所成的最大图像对应的物体的大小。如图2 3 所示，视场的大小与工作距离、 焦距、c c d 芯片有关，f o v 表示水平视场，d 表示工作距离，f 为焦距，l 为 c c d 芯片长边尺寸。 一f f 1一f 一_ f i 一 一 一p 一 一l l t 一 i 图2 3 成像示意图 ( 2 ) 放大率：放大率m ( m a g n i f i c a t i o n ) 指物体的象的大小与物体物理尺寸的 比值，可以表示为： m ：上 ( 2 1 ) f o v ( 3 ) 分辨率：分辨率( r e s o l u t i o n ) 描述的是视觉系统能够分辨的最小物体， 一般是用成对的黑白相问线来标定镜头的分辨率。象空间的分辨率和物空间的 分辨率不同，对于c c d 相机，至少需要两对像素分辨一对线，所以c c d 的分 辨率为两个像素的物理尺寸，物空间的分辨率可以理解成能够测量的最小物体 尺寸。 1 0 武汉理工大学硕士学位论文 r = 2 p = 百r = 2 p t * f o v 三：2 p * f o v ( 2 2 ) ( 2 3 ) ( 2 - 4 ) 其中，p ( 岬) 为像元大小，用r ( 岬) 为c c d 分辨率，l ( m m ) 为 c c d 芯片成像部分长边，f o v ( m m ) 为水平视场，m 为系统放大率是，( 岫) 为物体的分辨率。 ( 4 ) 景深：景深( d e p t ho f f i e l d ) 是指是c c d 能清晰成象的距离范围，也就 是说，如果希望得到清晰的象，图2 - 3 中所示的d 并不能任意取值，而是有一 定的范围，超出了这个范围，分辨率就会降低。景深与光圈、焦距有直接关系， 景深随着光圈和焦距的减小而增加。公式( 2 5 ) 、( 2 6 ) 、( 2 - 7 ) 是景深的计算 他= 而f s l 2 ( 2 5 ) 必= 而f s l 2 ( 2 - 6 ) a l = 必+ 必 ( 2 - 7 ) 其中，6 为弥散圈直径，f 为镜头焦距，f 为镜头拍摄光圈值，l 为对焦距离， a l l 为前景深，l 2 为后景深，l 为景深。 ( 5 ) 快门速度：快门速度( s h u t t e rs p e e d ) 决定了感光元件的曝光时间，一般 电子快门的速度高于机械快门。快门速度与光 羽( a p e r t u r e ) 大小决定了感光元件 的曝光量。 ( 6 ) 镜头畸变：镜头畸变( d i s t o r t i o n ) 是由像差造成的成像质量的下降。为 了校正像差，镜头的设计会采用很多方法，例如使用不同的折射率的光学材料 进行校正，因此一个好的镜头可能使用l l 片透镜甚至更多。 2 3 系统硬件选择条件 图像信息采集系统主要由以下部分组成：摄像机和光学部件、图像采集卡、 p c 平台、检测软件以及数字i o 和网络连接。其中，摄像机和光学部件主要用 武汉理工大学硕士学位论文 于拍摄目标物体；图像采集卡将摄像机与p c 连接起来，从摄像头中获得数据( 模 拟信号或数字信号) ，然后转换成p c 能处理的信息；p c 平台为检测软件以及数 字i o 和网络连接提供支持，完成图像数据处理和传输，以及获得目标物体的三 维信息。系统构成如图2 4 所示： c c d 摄p c 平 图像采 台，检像机及 斗 光学部 集卡 测软件 件 及数字 u o 图2 4 图像信息采集系统组成 2 3 1c c d 摄像机的选择 c c d 相机成象的每幅数字图像是由一个m x n 点阵组成的，m 行n 列的图 像中的每一个元素称为像素( p i x e l ) ，每个像素点值的大小就形成了图像点的灰 度或亮度，反映的是c c d 平面上m x n 个离散元件的电荷量。 选择适合的c c d 相机对于图像采集系统是非常重要的，关系到系统成本和测量 度。其次需要考虑选择多大的c c d 芯片，不同的相机选择了不同大小的c c d 芯片，价格性能区别很大，选择哪一款是由被测物体的大小和分辨率的要求决 定的，相机的视场应该大于或者等于物体需要检测的部位。 对物体摄像时，将被测参数范围内的物体尽量充满c c d 芯片中的有效成像 面，可在同样的硬件条件下，获得最好的采集精度【2 3 1 。下面介绍绝对标定法并阐 述c c d 像素值与图像采集要求精度之间的关系。 计算机视觉图像精密测量中，绝对标定法是指采用标定尺或者标定块来计 算得到c c d 像素值，再进行测量的方式。假设工件整体尺寸3 5 0 m m x 2 8 0 m m ， 精度要求0 0 2 r a m ，下面来计算需要什么样的c c d 摄相机 算法一：精度要求：0 0 2 m m ，可把0 0 2 m m 当作像素值，因此c c d 分辨率 3 5 0 0 0 2 = 1 7 5 0 0 ，2 8 0 0 0 2 - - 1 4 0 0 0 。即c c d 要有1 7 5 0 0 x 1 4 0 0 0 的分辨率或以上。 因此按此算法需要2 4 千万像素的高分辨率摄相机； 算法二：使用亚像素技术，精度要求：0 0 2 m m 如果按边缘定位精度o 2 个 1 2 武汉理工大学硕士学位论文 像素值来考虑，也就是说一个像素值可以代表0 0 2 m m o 2 = 0 1 m m ，则c c d 分 辨率应该3 5 0 0 1 = 3 5 0 0 ，2 8 0 0 1 = 2 8 0 0 。即c c d 要有3 5 0 0 2 8 0 0 的分辨率或以 上，所以用分辨率3 5 0 0 2 8 0 0 以上的摄相机就可以了，即1 0 0 万像素的摄相机。 综上所述，同样的c c d ，测量精度与工件大小、软件算法有很大的关系。 所以在使用计算机视觉图像采集系统时，一方面在改进算法上下功夫，另一方 面应该明确给出加工的工件尺寸范围。 考虑像素问题之后，就是选择一个合适的接口。在很长的一段时间，标准 电视信号的模拟输出都占有重要的地位，一个原因就是当时成熟的标准就是电 视制式信号标准，没有其他标准，因此在输出时，要么是大家都可以接受的模 拟信号，要么是专门的硬件板卡。后来陆续出现了一些新的标准，2 0 0 0 年，几 家专做图像卡和摄像机的公司联合发布c h a n n e ll i n k 技术，可以提供高分辨率、 高数字化率和各种帧频的输出，信噪比也得到改善。苹果电脑公司开发完成的 f i r e w i r e 接口成为i e e e1 3 9 4 b 标准，由于其支持即插即用，可同时支持6 3 个相 机，每个最远可以相距7 2 米，同时提供“保证速度模式”和“保证传输模式”两种 数据传输格式，后来被大家接受并逐渐应用到机器视觉领域。最近应用u s b 2 0 接口由电脑主板直接支持，可供1 2 7 个设备同时使用。g i g a b i te t h e r n e t 的接口则 使用了网络连接协议e t h o n e t ，可以把带宽全部分配给相机而不用跟其它设备共 享，这些接口都有自己的优势，彼此又有差异。 2 3 2c c d 芯片的尺寸 c c d 的成像尺寸有1 ，1 2 、1 3 ”，1 4 ，最常用的是1 2 ”、1 3 ，见表2 - l ， 成像尺寸越小的摄像机的体积可以做得更小些。在镜头焦距一定的情况下， 镜头规格与镜头视场角的关系为：镜头规格越大，其镜头的视场角也越大。 即在相同的光学镜头下，成像尺寸越大，视场角越大。 表2 1c c d 芯片规格 芯片规格 1 1 2 ”l 3 l 4 ” 成像面大小1 2 7 x 9 6 m m6 4 x 4 8 m m4 8 x 3 6 m m3 2x2 4 m m ( 宽x 高) 对角线1 1 m m8 m m6 m m4 m m 摄像机镜头就光圈而言可分为手动光圈镜头及自动光圈镜头两种，就 焦距而言又可分为定焦镜头及变焦镜头两种。 1 3 武汉理工大学硕士学位论文 2 3 3 定焦、变焦镜头的选用 定焦、变焦镜头的选用取决于被拍摄场景范围的大小，以及所要求被 拍摄场景画面的清晰程度。镜头规格一定的情况下，镜头焦距与镜头视场 角的关系为：镜头焦距越长，其镜头的视场角就越小所以由以上关系可知： 在镜头物距一定的情况下，随着镜头焦距的变大，在系统末端上所看到的 被场景的画面范围就越小，但画面细节越来越清晰；而随着镜头规格的增 大，在系统上所看到的视场的画面范围就增大，但其画面细节越来越模糊。 在镜头规格及镜头焦距一定的前提下，c s 型接口镜头的视场角将大于c 型 接口镜头的视场角。镜头视场角可分为图像水平视场角以及图像垂直视场 角，且图像水平视场角大于图像垂直视场角，通常所讲的视场角一般是指 镜头的图像水平视场角。如选用镜头规格为1 2 ，c s 型接口，镜头焦距为 3 6 m m 或2 6 m m 镜头，这些镜头视场角均不小于9 9 0 或1 2 7 0 。如选用镜头 规格为1 3 ”c s 型接口手动光圈镜头，其焦距2 倍可调( 手动调焦) 。调焦范 围为2 8 - 6 0 m m ，视场角变化范围为4 7 2 0 9 6 0 ，这种镜头非常适合在小 的被拍摄环境中使用。对于一般变焦( 倍) 镜头而言，由于其最小焦距通常为 6 0 m m 左右，故其变焦( 倍) 镜头的最大视场角为4 5 0 左右。 2 3 4 镜头的选择 视觉系统的精度取决于相机的有效视场和包含的像素量。有效视场内，每 个像素代表的距离越小，识别的精度也越高。因此，为获取高清晰的图像，充 分利用像平面内的像素，突出物体细节，需要根据设计视场的大小及拍摄物距 选择合适的光学镜头。镜头焦距为f ( m m ) ，工作距离d ( m m ) ，如果拍摄目标 尺寸为m