（物理电子学专业论文）三维图像重建快速处理的研究.pdf

东南大学硕士论文三维图像重建快速处理的研究 摘要 三维数字图像测量技术以现代光学为基础，融合了光电子学、计算机图形学、 信息处理、计算机视觉等科学技术为一体。物体表面轮廓的三维尺寸和形状的图 像测量是其在计量中的新的应用。 目前，教研室开发了一套三维数字图像测量系统软件，它依据双目立体视觉 的原理，利用数字图像处理的技术对三维物体的二维像对进行研究，可以得到实 际物体的定量大小和形状。结构上主要包括：精密移动平台、c c d 摄像机、图 形采集卡和三维数字图像重建软件。然而，由于三维数字图像测量技术是新兴的 技术，其中的图像处理软件部分所基于的理论和采取的算法都还并不成熟，所以 存在着处理速度比较缓慢，不能在工业、医疗等领域中较好地得到实际应用的问 题，需要提高系统处理图像的速度。 经过一定的理论研究和实践摸索，作者从三维数字图像重建软件入手，采用 并行计算的方法，在提高图像处理速度方面对该系统进行了初步的改进，向实用 化迈进了一步。在并行处理的过程中，作者采用的硬件体系结构是工作站机群 c o w 结构，由两台p c 机及局域网络构建而成；并行编程环境是基于消息传递 库的m p i 模型，其具体的实现是取自美国a r g o n n e 国家重点实验室m p i 网站的 m p i c h ( n n ；主要改进的部分是系统图像重建软件的边缘检测步。从结果分析 可以看出，系统改进设计是可行的，具有一定的实用性和先进性。 课题设计在将并行技术应用于三维图像测量领域，完善和发展三维数字图像 测量技术，使软件系统更加实用化方面具有一定的意义。鉴于这是一个大课题的 初步尝试，系统改进还有待验证和研究，进一步的改进也有待密切关注相关技术 的发展。 关键词：快速处理、并行计算、m p i 、三维数字图像测量、摄像机标定、边缘检 测、像对匹配、三维重建 东南大学硕士论文三维图像重建快速处理的研究 a b s t r a c t n l et h r e e - d i m e n s i o n a lm e a s u r e m e n to f o b j e c t s s u r f a c ei sa l li m p o r t a n tp a r to f 3 d d 酒t a li m a g em e a s u r e m e n t ，w h i c h i sb a s e do n o p t i c s ，a n d c o m b i n e sw i t h p h o t o e l e c t r o n i c s ，c o m p u t e rt e c h n i q u e ，i m a g e p r o c e s s i n gt e c h n i q u ea n d o t h e rm o d e r n t e c h n o l o g i e s t h el a b o r a t o r yh a sm a d ea3 dd i g i t a li m a g em e a s u r e m e n ts y s t e m ，i n c l u d i n ga p r e c i s em o v a b l ep l a t f o r m , c c dc a m e r a ，c a p t u r i n gc a r da n d3 di m a g er e c o n s t r u c t i o n s o f t w a r e i t st h e o r yi s t w o - e y e ss t e r e o v i s i o n ，w h i c hm e a n st h a tw ec a na c q u i f e m e a s u r a b l es i z e sa n d s h a p e so f r e a lo b j e c t st h r o u g h t h er e s e a r c ho f 2 一ds t e r e o g r a p h s b u tb e c a u s et h et h e o r ya n da r i t h m e t i cb a s e da r eb o t hn o tm a t u r e y e t ，t h es p e e do f i m a g e3 - d r e c o n s t r u c t i o nc a n n o tg i v es a t i s f a c t i o ns u f f i c i e n tt om e e to b rd e m a n d s s o ， t h ee l e m e n t a r ya m e l i o r a t i o nh a sb e e nm a d e t h r o u g hp a r a l l e lp r o g r a m m i n gb ym e a n s o f t h e o r e t i c a lr e s e a r c ha n d p r a c t i c a lg r o p e i nt h ep a r a l l e lp r o c e s s i n g , t h ea r c h i t e c t u r eu s e di sc o w ( c l u s t e ro f w o r k s t a t i o n s ) w h i c hi sb u i l tu pb yt w op c sa n dl a n i na d d i t i o n ，p r o g r a m m i n ge n v i r o n m e n tu s e d i sm p im o d e l ，w h o s er e a l i z a t i o ni sm p i c h ( n t ) f r o mt h ew e b s i t eo fa m e r i c a n a r g o n n e n a t i o n a ll a b f r o mt h er e s u l t s ，i ti ss h o w nt h a tt h ea m e l i o r a t i o nd e s i g ni s d o a b l e ，p r a c t i c a la n da d v a n c e d t h et h e s i ss h o w s g r e a tp r a c t i c a lm e a n i n gi nc o m b i n i n gp a r a l l e lt e c h n o l o g yw i t h 3 di m a g e p r o c e s s i n g ，d e v e l o p i n ga n dp e r f e c t i n gt h et e c h n o l o g yo f 3 dd i g i t a li m a g e m e a s u r e m e n t b e c a u s ei t s o n l yo n ee l e m e n t a r ya t t e m p to f al a r g er e s e a r c hs u b j e c t ， t h ev a l i d a t i o na n d r e l i a b i l i t yo f t h ea m e l i o r a t i o nd e s i g n s t i l ln e e d st ob es t u d i e d k e y w o r d s ：f a s tp r o c e s s i n g ，p a r a l l e lc o m p u t i n g ，m p i ，3 dd i g i t a li m a g ep r o c e s s i n g ，i m a g e c a p t u r i n g ，e d g ed e t e c t i o n ，i m a g em a t c h i n g ，3 dr e c o n s t n l c d o n i l 学位论文独创性声明 p 5 6 0 8 7 8 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 、签名：乌堕日期：迦业 关于学位论文使用授权的说明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 签名：聋坠擅 导师签名：翌! 独曰期：迎：! ! ! 东南大学硕士论文三维图像重建快速处理的研究 第一章引言 自然界的物体都是三维的，人类通过两眼获得物体的三维立体信息，而现有 的大多数图像采集装置只能把三维的物体以二维的形式保存、记录下来，同时丢 掉大量的信息。要从图像认识世界，就必须能够从二维的图像中恢复三维空间， 其关键在于恢复景物各点距观察者( 或任一参考点) 的距离，也就是恢复深度信 息。计算机立体视觉就是运用计算机技术和光学手段在获取的一幅或多幅图像中 还原被摄物体的立体形状，获得三维数据值。其基本方法是从两个或多个视点去 观察同一场景，获得在不同视角下的一组图像，通过三维测量原理获得不同图像 中对应象素间的视差，进而推断场景中目标的空间位置等。 1 1 三维数字图像测量系统 近年来，三维数字图像处理技术在工业、医学等各研究领域的研究十分活跃， 三维数字图像测量及重建技术则是其中一个重要的研究方向。它依据计算机立体 视觉的原理，采用计算机、图形图像处理、光电子学等科学技术组成光、机、电、 算综合的测量系统，广泛应用于几何量的尺寸测量、精密复杂零件的小尺寸测量 和外观检测、航空等遥感测量以及和图像有关的各技术领域中。 出于电子、机械测量和医学影像方面研究的需要，教研室开发了一套基于 d m a r t 的双目立体视觉理论的三维数字图像测量系统。该系统可以完成包括摄 像机标定、图像实时采集、图像边缘检测和立体匹配以及三维表面重建等图像处 理的完整过程。其结构如图1 - 1 1 】： 圈1 - 1 三维图像测量系统示意图 东南大学硕士论文 三维图像重建快速处理的研究 1 1 1 系统设计基于的计算机视觉方法 用于三维场景信息获取的计算机视觉方法，按照其测量过程中所采用的照明 方式的不同可以分为两大类：主动式方法和被动式方法。 主动式方法是指向被测物体发射可控制的光束，然后拍摄光束在物体表面上 所形成的图像，通过几何关系计算出被测物体距离的方法，主要可以分为结构光 方法和激光自聚焦法两类；被动式方法是指不向被测物体发射可控制的光束，而 是根据直接拍摄的物体的图像进行距离测量的方法，主要有单目视觉、双目视觉、 多目视觉等方法。系统设计主要基于的是被动式方法中的双目视觉原理。 双目视觉方法是人类通过双眼获取距离信息的主要方式。该方法根据立体视 差进行测距。测量过程可以分为如下几步： 1 ) 从左( 或右) 图像中选出某些特征点，这个过程一般称为边缘检测； 2 ) 找出它在右( 或左) 图像中的匹配点，这个过程一般称为立体匹配； 3 ) 根据以上点匹配关系，就可以计算出匹配点在摄像机坐标系中的空间三维 坐标，这个过程一般称为深度计算； 4 ) 由于在第三步中只能计算出匹配点的三维坐标，对于其它点则需要用插值 的方法来获得，这个过程实现物体整个表面的三维结构重建。 1 1 2 实现三维数字图像的快速处理 在机械、电子、仪表、医学影像等领域的研究和工业应用中，精度和速度的 矛盾是三维数字图像测量系统面临的一个难题。精度是图像处理效果的表征，通 过计算细分的方法可以获得较高的精度，但如此必然导致计算量变大、计算时间 长，即以牺牲处理速度为代价。 低的图像处理速度在一些情况下是不可以接受的。比如在某些精密仪器的工 业生产过程中，低的图像重建速度会增加产品的生产时间，提高制造者的成本； 在使用螺旋c t 、胃镜等医疗设备为病人检查时，低的图像处理速度会增加病人 的不适，甚至导致比较晚的发现病变，延误治疗。 为了提高三维数字图像测量系统的处理速度，使其更具有实用意义，实现它 的快速处理化是很必要的，当然这并不能以牺牲精度为前提。并行处理的方法可 以同时兼顾速度的加快和精度的提高，本课题先从加快速度入手。 东南大学硕士论文 三维图像重建快速处理的研究 1 2 并行体系结构和编程环境的选取 如图1 - 2 ，机群，对称多处理机s m p 和大规模并行机m p p 以及分布式系统是 4 个重叠的体系结构概念。 结点复杂性 单一系统缺像 图1 - 2 机群、m p p 、s m p 和分布式计算机系统的重叠设计空间 在比较了几种硬件结构之后，课题设计采用的系统是工作站机群c o w 结构。 机群是全体计算机( 结点) 的集合，这些计算机由高性能网络和局域网物理地互 联。具体情况下，每个计算机结点可以是一台s m p 服务器、一台工作站或是一 台p c 计算机。机群的性能取决于下面几个因素：结点本身；结点之间的互联设 备；底层通信软件( 包括互联设备的驱动) ；全局资源管理系统以及并行计算环境 等。 国际上大部分并行工作是在可移植网络并行环境p v m 和可移植消息传递界 面m p i 并行环境下进行的。m p i 发展较快，它综合了现有消息传递库的优点， 针对并行程序的开发提出了新的概念，而且在不同的硬件平台上都可以获彳导高性 能。基于它的一些显著优点 2 1 ，课题设计采用m p i 编程环境： 1 )点点通信：m p i 有两种发送和接收方式：阻塞和非阻塞。阻塞发送的完 成意味着数据已拷贝出缓冲区，即通信缓冲区可重新分配。阻塞接收的完成意味 着到来的信息己拷贝入用户接收缓冲区，即接收方己可使用。非阻塞操作可以使 得计算与通信重叠( 必须有系统硬件的支持) 。m p i 提供具有以下语义的阻塞和非 阻塞发送：标准发送，即发送操作可以在相应的接收前后发生，发送完成则发送 者缓冲区可用；就绪发送，即发送操作只在相应的接收发生后才能发出，其完成 则发送者缓冲区可用；同步发送，即发送操作可在相应的接收前后发生，但仅在 接收完成后才返回( 完成) 。 东南大学硕士论文三维图像重建快速处理的研究 2 )数据类型：m p i 定义了精确的数据类型参数。对于c ，m p i 预定义了一 组数据类型( 如m p if l o a t 、m p ic h a r 等) ，这些与语言中的数据类型相对应。 另外，用户还可自定义其它的数据类型。m p i 还允许发送和接收不同的数据类型， 使得数据重映射方便灵活。 3 )通信器：m p i 的一个关键特征就是通信器，以对象形式存在，作为通信 操作的附加参数。通信器为开发消息传递程序提供了模块化支持，从而强有力地 支持开发并行库和大规模代码。m p i 提供了各种机制用于创建和管理通信器，在 初始化时预定义一个通信器( m y ic o m m w p r e d ) ，相应的进程组包含了初始 化时存在的所有进程。 这部分内容会在第五、六章中进行详尽的阐述。 1 3 课题设计任务 科学技术的发展促使人们为了适应未来信息社会的需要，必须提高人与信息 社会的接口能力，提高人对信息的理解能力。现实世界是一个三维的世界，而经 过了摄像机成像系统，却变成丢失了深度信息的二维图像。 本教研室开发的一套三维数字图像测量系统，可以较好地对三维物体的二维 图像进行表面重建，最后得到物体比较精确的一个三维结构。但是，系统同时也 存在一些不足之处，如图像处理精度比较低，速度比较慢，处理图形比较简单等， 所以实用价值还不是很高。 本课题在这样的一个三维数字图像测量系统的基础上，在基本不损失原有处 理精度的前提下，运用并行处理技术来对系统进行改进，提高系统的图象处理速 度，并使其对复杂图形的处理、复杂场景的重建成为可能，使该测量系统向着实 用化方向迈出了一步，有着实际意义和较宽的前景。 系统的改进设计涉及到了双目立体视觉原理、数字图像的实时采集、后期处 理( 主要是边缘检测和立体匹配) ，图像三维表面重建、并行体系结构、并行编程 环境及其具体实现等相关知识。 在完成课题的过程中，作者创造性地将并行处理技术应用于三维数字图像测 量领域，将消息传递接口m p i 和最新的计算机图像处理技术结合在一起，通过 并行编程等方法，利用o p e n g l 三维图形处理库，较好的完成了课题设计的目标。 4 东南大学硕士论文 三维图像重建快速处理的研究 第二章基于立体视觉的测量技术 人类通过两眼从稍有不同的角度去观察客观三维世界的景物，由于几何光学 的投影，离观察者不同距离的像点在左右两眼视网膜上就不是在相同位置上，这 种两眼视网膜上的位置差就称之为双目视差，它反映了客观事物的深度，每只眼 睛视网膜上各自独立的视像，传到大脑皮层结合起来，产生一个单一的具有深度 感的视像【”。 开发的三维数字图像测量系统就是借鉴人眼的这种功能，利用双摄像机模型 来模拟人的眼睛，从而依据相同的原理来获得物体的深度信息， 2 1 双目立体视觉的基本原理 当我们用双眼看同一景物时，左、右眼在空间所处的位置不同，即便是对瞳 距( 约5 0 r a m ) 这么小的距离，也仍然会造成两眼的视角有所不同。如图2 1 ： a 2a 1 p i 图2 - 1 负视差及正视差图 如果我们在两眼视场中放一投影面，如1 a 中的p 1 ，则两眼的视线在此投影 面上会生成两个位置略有不同的图像( 投影) 。当我们模仿产生这一对平面图像， 并采取技术措施，使左眼只能看见右边的a 1 ，而右眼只能看见左边的a 2 ，那么 人类的视觉系统是否会融合该二维空间中的一对稍有差别的图像，生成具有深度 感受的图像呢? 简单滤光镜的试验证实了这一想法，这能生成立体感受的二维图 像对( a 1 ，a 2 ) 称为所谓“立体像对”，它们的距离就是所谓“双目视差”。根据 投影面、人眼以及观察对象之间的相对位置，可有负视差( 1 一a ) 、正视差( 1 - b ) 之分。 5 东南大学硕士论文 三维图像重建快速处理的研究 立体视觉在计算机视觉中是指由两幅或多幅二维图像恢复物体三维信息的方 法。通过固联在某一运动载体上处于不同位置的两台摄像机获取同一物体的图 像，经过图像处理得到目标体上的特征标示点像点的中心位置，然后在此基础上 根据匹配及表面重建原理，得到标示点的空间位置信息。 2 2 双目摄像机模型及标定 2 2 1 摄像机数学模型 幽2 - 2 儇像机模型 图2 2 给出了摄像机系统中物点和像点的位置关系。 世界坐标系( w o r l dc o o r d i n a t es y s t e m ) 是客观世界的绝对坐标，一般的3 d 场 景都是用这个坐标系统来表示的。在世界坐标系中三维空间有一点表示为 只= 伍。，y w ，z 。) 7 ；摄像机坐标系( c 锄e r ac o o r d i n a t es y s t e m ) 是以摄像机为中心 制定的坐标系统，三维点在摄像机坐标系中坐标表示为= 佤，e ，互) 7 ，此坐 标系的原点定义在镜头的光心，其z 。轴为光轴，x 。和圪是分别平行于图像平面 的水平和垂直轴；计算机图像坐标系( c o m p u t e ri m a g ec o o r d i n a t es y s t e m ) 是在计 算机内部数字图像所用的坐标系统，此坐标系为二维坐标系，对应于图2 - 3 中的 像素图像平面，其原点在图像的左上角，单位为象素。图像上点的坐标表示为 p = 0 ，v ) 7 。 世界坐标系中的点只投影到像素图像平面上点p ，可由下面4 步来完成，这 东南大学硕士论文三维图像重建快速处理的研究 4 步中所用到的参数也就是摄像机定标所要解决的问题。 1 ) 世界坐标系。到摄像机坐标系只的转换：= r o + f( 2 1 ) 其中，r 和丁分别代表旋转矩阵和移动向量，r 为3 * 3 旋转矩阵，是三个旋转角 目，妒的函数，t = 征，o ，。 2 ) 利用针孔模型将坐标只变为理想( 非畸变) 图像坐标只= k ，y 。y ，其转化 关貔矗= ，等舻哇 ( 2 - 2 ) 关系为： 矗= ，争儿= ，争 ( 2 2 ) z 二 其中，是镜头的焦距。 3 ) 考虑径向镜头畸变，将非畸变坐标变为畸变坐标。由于镜头畸变的因素， 投影得到的实际图像坐标只= k ，儿) 并不是按上面理想针孔投影下得到的图 像坐标，其关系用下式表示：工。= + 反y 。= y d + 咖 ( 2 3 ) 其中蠡，旁为畸变量。镜头畸变包括径向畸变、切向畸变、离心畸变等，如下所 示：舐= k l 工d r 2 + k 2 x d r 4 + 2 p z d 2 + 2 p 2 z d y d + y d 口 咖= k l y d r 2 + 七2 y d ，4 十2 p l y d 2 + 2 p 2 工d y 群+ 算d a ，= 2 + _ y d 2( 2 - 4 ) 其中k t ，k ：为径向畸变；p 。，p ：为离心畸变；a 为切向畸变。一般来说用露。，也就 足以描述畸变了。 4 ) 真实图像坐标p 。到计算机图像坐标p 的转变由下式来表示： “确+ 卺 上式的矩阵表达式为： 上0 出 。土 d y 00 ( 2 5 ) ( 2 - 6 ) 1llllj h儿 、。旷iiiijjill ， i l m 东南大学硕士论文 三维图像重建快速处理的研究 f i = 喜号：辜铆 。叼 其中，k ，匕) 是主点( 光轴与图像平面的交点) 在计算机图像坐标系中的坐标， 向畸变系数岛，屯，主点坐标0 。，) 。 2 2 2 系统设计基于的线性摄像机模型 三维数字图像铡量系统的设计采用针孔成像几何模型。在空间任何一点只在 图像上的成像位鹭都可以用针孔模型近似表示，即任何点p w 在图像上的投影位 置只，为光心0 与。点的边线0 咒与图像平面的交点。由比例关系有如下关系 式： 专旷鲁 ， 式中，k ，y 。) 为r 点的图像坐标；佤，t ，y c ) 为空间点只在摄像机坐标系下的 坐标，关系式为： x ： 匕 z c l = ； = m l x 。 y w z 。 1 z c i x , 1 i oo i l 孝 ( 2 9 ) ( 2 1 将式( 2 - 1 s ) 和( 2 4 掌) 代入【2 1 9 ) ，可得到世界坐标系表示的p w 点坐标与其投影点只 s 瓦k乙， r锄川ql 东南大学硕士论文 三维图像重建快速处理的研究 的坐标似，v ) 的关系表达式： z 朴 去o “。 o 专v 。 0ol 古0 0 o 舌v 。o o010 m 蚓 。， 嘉。tyw1 ：府。莳：f 1 ：露。府。j 。；麝膏。 其中，麝是3 4 4 的不可逆矩阵，为投影矩阵；肠，由( 丢，万f ，“。，v 。) 决定，这4 个参数只与摄像机内部结构有关，为摄像机的内部参数；露：完全由摄像机相对 于世界坐标系的方位决定，为摄像机的外部参数。 2 2 3 简单的摄像机定标 在计算机视觉领域，利用摄像机对图像进行采集，获取三维空间中物体的二 维图像的信息，并由此识别和重建物体，而空间物体表面点的三维几何位置与其 在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模 型参数就是摄像枫参数，获取这些参数的过程称为摄像枫标定。 三维数字图像测量系统中，在实际测量前，先对摄像机进行内部参数标定， 主要是相机焦距的测量，而其它的内部参数，如主点( 图像中心) 偏移，镜头畸变 等没有加以考虑。测量时，采用标定板的方式，进行前后精确的移动，根据公式 多次计算取平均值。简单标定的原理图如下f 1 】： 图2 - 3 简单相机定标示意图 定标板处于1 号位置时，物距为u ，像距为v ，当定标板经过“的移动后 像产生血的移动，设物像比为m ，由透镜成像公式可以算得： 9 0 厂0 阿m一 东南大学硕士论文三维图像重建快速处理的研究 材：“! 竺 ( 2 1 2 ) m 2 一1 其中， 啊= 形旷等( 2 - 1 3 ) 系统定标用计算机打印了一个l o o m m * l o o m m 的正方形，贴在一个光滑水平 的背面，作为定标板。然后前后移动摄像机，采集图像。采用亚像素边缘检测算 法，得到标定正方形的像的大小，最后运用公式得到焦距。一般地，焦距需经多 次测量取平均，供一次测量过程使用。 将摄像机进行标定之后，就可以用来对数字图像进行采集了。采集的硬件设 备和软件实现能够获得满足后续处理要求的二维像对。 l o 东南大学硕士论文 兰维图像重建快速处理的研究 第三章亚像素精度的立体匹配 在实现三维立体再现的过程中，最重要也是最困难的工作是立体匹配。目前， 虽然有很多文献提出了各种算法，但是这些方法并不能有效地消除噪声、阴影、 透视效果等因素的影响，且对光照条件也比较苛刻。在三维数字图像处理软件的 主要三个步骤f 边缘检测、像对匹配、三维重建) 中，本文先对这一部分加以阐述。 从实现立体匹配的技术上来考虑，立体匹配可以分为基于区域的匹配、基于 线的匹配以及基于特征的匹配。其中基于特征的匹配技术不直接利用灰度值进行 匹配，而是在立体对中选择一组具有不变性质的结构特征点，把左图像内特 征与右图像中的同类特征作匹配，从而求得视差及高程。它包括独立地确定每幅 图像内的特征；左右图像内同类特征按某些约束条件减少匹配范围并确定正确匹 配；利用特征间的视差及成像几何模型，确定对应点间的视差；在稀疏的匹配特 征点之间进行深度插值以获得稠密深度图等几个步骤。由于基于特征的匹配技术 只是利用灰度信息抽象得到的图像特征进行匹配，因而具有对外界变化不敏感、 稳定性好、精度高、匹配速度快等优点。在系统的改进工作中，作者仍然沿用了 这种匹配技术。 为了实现可靠的匹配，找出唯一的对应关系，常用到一些约束条件，如核心 线约束、表面连续性约束、表面一致性约束、形状连续性约束、视差梯度限制等。 通过这些约束条件来消除不确定性，以达到局部的或全局的匹配唯一性。 3 1 基于特征的立体匹配过程 基于特征的立体匹配过程，首先必须提取图像的特征。比较简单地，以过零 点作为匹配特征，可以由图像与l o g 算子卷积获得。二维高斯分布函数为： g g ，y ) = 2 n l - o r 2 7 0 e 一么口2 ( 3 1 ) 其中r 2 = x 2 + y 2 ；盯为标准差，它代表平滑的程度，盯越大，平滑性越好，叮越 ，j 、平滑度越差o l o g 算孙v 2 g = 掣+ 掣，臣p 有： 东南大学硕士论文 三维图像重建快速处理的研究 v ：g g ，y ) 一2 _ 2 2 舾0 2 。) e 2 7 ( 3 2 ) 实际上，在实用时，经常采用它的离散形式： v 2 g ( f ，) = a ( r 2 2 c r 2 ) e 可( - m f ，j 0 山g 卜d 0 峁g 弘d 0 勘l ，力 矿( p a l ，只。lv 只。，只8 s 只( 3 - 1 5 ) 和 矿也，咒。) 矿b ，最2 ) 喝，弓睨8 ( 3 - 1 6 ) 时，则像素对( 只，忍8 ) 为唯一相容匹配，进而可以得出它们之间的视差d 。，然 后分别将它们标记，接着对下一边缘像素进行检验，一直到立体像对中所有边缘 像素全部被检验，则次迭代结束。当两次迭代的未标记边缘像素之差小于预定 的阕值时，整个迭代榆验过程结柬。 3 3 2 向亚像素级匹配的深入 通常的匹配只限于像素级，也就是只利用采样点的信息，而对于采样点之间 的信息却很少考虑。这种情况下的匹配往往无法满足应用对精度的要求，而亚像 素匹配算法可以突破物理分辨率的限制，提高精度从像素级到亚像素级。经典的 双线性插值是一种较早的亚像素技术，它可以表达为： g g ，y ) = ( 1 一口) ( 1 一声k o ，) + 口o p ) g ( f + 】，歹) + ( 1 一盘) 终( f ，歹+ 1 ) + 镌$ + 1 ，+ 1 ) 其中 i 工 i + 1 ，j y 3 时，计算量会大为减少，假设l o g 算子是m * m 个像素，通过上述分解之后做卷积，对原始图像中每个像素点的计算量就从m 2 减小到2 m 。 7 1 3 亚像素级算法实现 在得到卷积图像之后，一般的方法是扫描整幅图像的数据，如相邻两个像素 点为不同符号，或连续三个像素点中间为零，另外两个具有符号相反的情况都为 边缘，取其像素绝对值最小的点为边缘点。这种做法有可能检出一些无关的不必 要的边缘i o 。 这里使用种判决性的办法，把卷积后的数据中每一个3 * 3 的的邻域，与给 定的1 1 种零交叉模扳逐个比较，看是否与这1 1 个模式之一匹配，如果匹配，就 可以在正确的像素位置上确定出边缘，并可以计算出边缘的幅度和方向。对整幅 图像扫描一遍后，得到边缘图像j 赤，这时的图像精度只是达到了像素级。 检测出像素级边缘后，逐点扫描边缘图像，却，对于每一个在，妇中检测到 4 7 东南大学硕士论文 三维图像重建快速处理的研究 并标记为边缘的零交叉点，在卷积图像中对应的该点处，选择该点周围近邻的8 个点，即一个3 * 3 的窗口，用个可变参数的多项式方程来拟合，而每一个像素 点上的值都是此方程在该点上的采样。 用一个二维的多项式来拟合边缘点周围3 * 3 的邻域，假设该多项式有如下形 式：f ( x ，y ) = k o + k l x + k 2 y + 屯x 2 + 缸掣+ 屯y 2 + 以x 2 y + 岛妙2 + x 2 y 2( 7 8 ) 设w 代表包含零交叉点的3 * 3 的小窗口，在w 内，拟合多项式的系数由以下式 只g ，y ) ，：。g ，y ) 确危2 厦矿( 7 - 9 ) 式中，p 是一组离散正交的多项式集来计算多项式的系数。在由该多项式集产生 的一组简单的3 * 3 的滤波器算子上： e o ( x ，y ) = 1 只e ，y ) = j e 2 ( x ，y ) = y ( 7 _ 1 0 ) 只g ，y ) = y 2 一要 就可以在正确的像素位置上确定出边缘。1 1 中模板包含了2 4 中可能的边缘。对 于卷积后的数据中每一个3 * 3 的邻域： 只0 ，y ) = x y 只g ，) = y 2 一导 咒g ，y ) = 磁g ，y )( 7 1 1 ) b 0 ，y ) = 蝎g ，y ) b g ，y ) = 只( x ，y ) 只g ，y ) 求出系数后，就在该3 * 3 邻域内得到一个连续的实值函数五0 g ，假设要求的精度 为n ，则把该3 * 3 邻域扩展到3 n + 3 n ，每个亚像素点的值由正0 g 在尺寸扩展到要求 精度的窗口中进行抽样来获得。对于这块扩展后的数据区域，检测其边缘并进行 标记。这样，对整幅图像扫描一遍后，就得到了整幅图像的亚像素零交叉点边缘 位置。 7 1 4 实例分析 东南大学硕士论文三维图像重建快速处理的研究 图7 - 1 是剪自电影英雄中主人公的海报，这张分辨率2 5 6 * 2 5 6 的图的特 点是灰度变化陡峭的地方比较多，所以包含的边缘信息比较多，很适合检验边缘 检测算法的有效性。 作者用l o g 算予进行边缘检测，效果如图7 2 ： 图7 - 1 电影海报原图图7 - 2 基于l o g 算子的边缘检测效果示意图 实验选取的参数为：o - = 1 6 ，滤波器级数为1 1 。从图7 - 1 中可以看到，在图 片和背景、手臂与天空、手与手臂、剑柄与手、脸部五官、脸部与头发、头发与 天空以及汉字与天空之间，都是灰度变化很明显的区域，图7 - 2 较好地反映了这 些边缘的信息，但是还应该看到，在发髻、汉字等细节方面效果还不尽人意。可 以预期，亚像素级精度的检测算法可以更好地进行检测，但是该算法还并不成熟， 将之应用于三维图像测量系统的边缘检测部分，还有待迸一步的研究。 7 2 基于c a n n y 算子的亚像素边缘检测 7 2 1c a n n y 边缘检测算子分析 近年来，c a n n y 算子在灰度图象处理中得到广泛应用。根据边缘检测的有效 性和定位的可靠性，坎尼研究了最优边缘检测器所需的特性，从满足三个判断准 则出发，推导出了最优边缘检测器的数学表达式。 信噪比准则信噪比的数学表达公式为： ( 7 - 1 2 ) 其中厂g ) 是边界为( - 嵋+ w ) 的滤波器的脉冲响应，g 0 ) 代表边缘，是高斯 噪声的均方根。若信噪比大，则边缘提取质量好。 裂 衅一厄 r k 一 东南大学硕士论文 三维图像重建快速处理的研究 定位精度准则定位精度的数学表达式为 l = ( 7 1 3 ) 其中，g ( - z ) 和f g ) 分别表示g 0 ) 及，g ) 的一阶导数。若满足该准则，则边缘 定位精度就高。求取( 7 1 2 ) 和( 7 - 1 3 ) 乘积的最大值，是设计最佳算子的基础。除此 之外，还要满足多重响应约束条件。 单边缘响应准则这要求，在对噪声的响应中，两个相邻最大值间的距离 为z 一) ，f 的零交叉点平均距离为j 。口) ： 册 器 2 口柳 两者之间的关系是：x r c , a x 驴) = 2 屯。( ，) = k w ( 7 - 1 5 ) 7 2 2c a n n y 算子的算法实现 c a n n y 的分析针对的是一维边缘，对于阶跃形的边缘，c a n n y 推导出的最优 边缘检测器的形状与高斯函数的一阶导数类似，利用二维高斯函数的圆对称性和 可分解性，可以很容易的计算高斯函数在任一方向上的方向导数与图像的卷积。 因此，在实际应用中可以选取高斯函数一阶导数作为阶跃形边缘的次最优检测算 子m 】。下面推导二维次最优阶跃边缘检测算子的数学表达式。设二维高斯函数 为： 毗力= 嘉e x p ( 一等) ( 7 - 1 6 ) 在某一方向h 上g ( x ，y ) 的一阶方向导数： q = 筹赢，二= 嘲一= 翰 仔切 ；是方向矢量，v g 是梯度矢量。将图像f ( x ，y ) 与瓯作卷积，同时改变”的方向， 东南大学硕士论文 三维图像重建快速处理的研究 qt f ( x ，y ) 取得最大值时的；对应的方向就是正交于检测边缘的方向，即： 半：竺麴掣堕竺：郴， 觚占：魏舢目：网og*f(x,y)面目：网og*f(x,y)ox o y 口埘 得：辔占2 蓖c o s 目2f i 石碉s i n 口2f 歹云碉7 _ 1 9 ) 因此，对应于o ( g 。4 厂( x ，y ) ) 锄= 0 的方向磊为： l l ：；! 墅丝：掣 l v g + f ( x ，_ y ) l 在该方向上g 。+ ，( x ，y ) 有最大输出响应，此时： ( 7 2 0 ) q + j | _ b s 曰( 剃4 f ( x ，y ) + s i n o ( o g o y ) 4 f ( x ，_ y ) | _ l v g + f ( x ，y ) i ( 7 - 2 1 ) 二维次最优阶跃边缘算子是以卷积i v g + f ( x ，y ) 【为基础的，边缘强度由 l 瓯f ( x ，y ) i = l v g * f ( x ，y ) i 决定，而边缘方向为n = v g f ( x , y ) 1 w g + f ( x ，圳。 在实际应用中，我们将原始模板截断到有限尺寸n 。实验表明，当 n ：b v r 2 c r + 1 时，能够得到较好的效果。 把v g 的二个滤波卷积模板分解为二个一维的行列滤波器与图像f ( x ，y ) 卷 积： 其中 驰) = 4 - 云x e x p ( 一万x _ 2 ：) 姒加瓶e x p ( - 导) 将式( 7 2 2 ) - 与图像f ( x ，y ) 卷积，得到输出： ( 7 2 3 ) f 7 2 4 ) 劢m “ = =