（机械设计及理论专业论文）图像特征匹配及合成方法研究.pdf

大连瑷工大学联学位浚文攘要图像的特征是描图像中灰度变化较明显的点、线及区域。特征匹配从多糕参考图像串疆取特缀，并迸一参军n 搿悫律医醚豹理论岛方法建藏特征润的对应关系。圈像合成方法利用多幅参考图像间的特征对应，生成新视点的图像。图像特征匹配及合成方法是基予强豫鲢计算瓤圈形学方法审豹重要内容。立体麟配是计葬机视觉研究的一项重要谦题，本文研究了一种基于角点提墩的立体殛聚算法。营隽餮怒最小鞠篷分割吸收棱( s u s a n ) 方法翔壤左毒蘩豫戆边缘矗是否为角点。然后根据角点间的特征相似度，建立起左右图像中被保留角点的初始匹配关黎，麦此谤冀基破缀阵。弱罄硇矩咚遮代改送拐始匹瓣，去狳误配点，褥至4 最终匹配络粜并计算出较精确的基础矩阵。在此基础上采用动态舰划方法，自动寻找左右豳像的对废极线上的象素点乏阀的对应，从藤建立起左右薅幅图像闻所蠢象素点的对应关系。图像变形是一种可在两幅形状放颜色完全不同韵参考图像间生成一系列连续的期闻过渡图像的技术。本文研究了几种基于特征线段对的闼像变形方法：针对同一场景不爨褫点豹两嘏参考圈像中存在遮挡现象的图像变形问题，采用萋予特征线段对分缀韵图像燮形方法，根据图像中前景和背景艨特征点的视差变化范围的不同对特征线段对进行分维，然螽鼯不同缝瓣特征线段靖分舅遗章亍图像变形；耩瑗多努辨率图像嶷形方法，生成不同细节渐变特点的多个期间图像序列，在采样时，使用参考图像中以采样点为中心的萄交矩形嚣域静簇色蓬；蒸予特援线段薅赘撬菇交形方法，在强黉交形方法静萋穑主，用预楚抉一变形一后变换三步算法，使生成的中间阕像保持参考图像中物体的轮廓特缀。本文研究了由同一场景不同视点的多幅图像，建巍场景三维几何模型的基于图像的三维重建技术。掇搬鱼定橛及对应姆 正点三续垂建是三维重建技术中的关洼阔熬，本文对相机自怒标及基于简化相机模型的对应点三维重建嗣题做了探索，并进行数值模拟，获褥较好的效果。关键词：搬体匹配；图像变形；视圈变形；鲋极几何；三维冀建网像特征匹b 及赍成方法研究r e s e a r c ho nt h ea p p r o a c ho ff e a t u r em a t c h i n ga n dn o v e li m a g es y n t h e s i sa b s f r a e tf e a t u r e s o f i m a g e d e n o t e t h a t t h ec h a n g e o f g r a y v a l u e i s o b v i o u s f o r p o i n t s , l i n e s o r a r e a s f e a t u r em a t c h i n gi n v o l v e se s t a b l i s h i n gc o r r e s p o n d i n gr e l a t i o n s h i pf o rf e a t u r e sw h i c ha r ee x t r a c t e df r o mr e f e r e n c ei m a g e sb e t w e e ni m a g e sb a s e do nt h et h e o r ya n dm e t h o do fs t e r e om a t c h i n g t h ea p p r o a c ho fi m a g es y n t h e s i sg e n e r a t e si m a g e sf o rn o v e lv i e w p o i n t sb yu s eo ff e a t u r ec o r r e s p o n d e n c eb e t w e e nr e f e r e n c ei m a g e s + t h ea p p r o a c ho f f e a t u r em a t c h i n ga n di m a g es y n t h e s i sa r ei m p o r t a n tt e c h n i q u e si nt h ei m a g e - b a s e dm e t h o dt oc o m p u t e rg r a p h i c s s t e r e om a t c h i n gi sai m p o r t a n tt a s kf o rt h es t u d yo fc o m p u t e rv i s i o n ，as t e r e om a t c h i n ga l g o r i t h mb a s e do i lc o m e rd e t e c t i o ni ss t u d i e di nt h i sa r t i c l e t h es m a l l e s tu n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s ( s u s a n ) a p p r o a c hi su s e dt od e c i d ew h e t h e rt h ep i x e l so nt h ee d g e st ot h el e f ta n dr i g h ti m a g e sa r ec o m e r s , a n dt h ei n i t i a lc o r r e s p o n d e n c er e l a t i o n s h i pb yt h er e t a i n e dc o r n e r si se s t a b l i s h e db 茁w e e nt h ec o r r e s p o n d i n gc o r n e r so f t h el e f ta n dr i g h ti m a g e sa c c o r d i n gt ot h es i m i l a r i t yo ft h ef e a t u r e s t h e nt h ef u n d a m e n t a lm a t r i xc o u l db ec o m p u t e d t h ei n i t i a lm a t c h i n gr e s u l ti si t e r a t i v e l yi m p r o v e db yu s i n gt h ef u n d a m e n t a lm a t r i xt od i s c a r dt h ef a l s em a t c h i n gc o m e r s 。t h e nt h eu l t i m a t em a t c h i n gr e s u l ti so b t a i n e da n dt h ef u n d a r n e n t a lm a t r i xi sa c c u r a t e l yc a l c u l a t e d t h em a t c h i n gr e l a t i o n s h i pb e t w e e nt h ep i x e l so nt h ec o r r e s p o n d i n ge p i p o l a rl i n e so ft h el e f ta n dr i g h ti m a g e si ss e a r c h e du s i n gd y n a m i cp r o g r a m m i n ga p p r o a c h t h e r e f o r e ，t h ec o r r e s p o n d i n gr e l a t i o n s h i po f a l lt h ep i x e l sb e t w e e nt h el e f ta n dt h er i g h ti m a g e s燃b ee s t a b l i s h e d i m a g em o r p h i n gi ss u c hat e c h n i q u et h a tc o u l db u i l das e r i e so fi n t e r m e d i a t ef r a m e sb e t w e e nt w or e f e r e n c ei m a g e si nw h i c hc o n t e n ta n dc o l o rm a yb eq u i t ed i f f e r e n t t h ea l g o r i t h m sb a s e do nf e a t u r el i n ep a i r sa r es t u d i e di nt h i sa r t i c l e ：a ni m a g em o r p h i n ga l g o r i t h mb a s e do nf e a t u r el i n e sg r o u p e di sd e v e l o p e da st ot h ep r o b l e mo fo c c l u d e di m a g em o r p h i n gb e t w e e nt w or e f e r e n c ei m a g e so ft h es a m es c e i _ l ew i t hd i f f e r e n tv i e w p o i n ta c c o r d i n gt ot h ed i s p a r i t yv a r i e t yo ft h ef e a t u r ep o i n t so nt h ef o r e g r o u n da n db a c k g r o u n di m a g e s ，t h e nt h em o r p h i n go p e r a t i o ni sr e s p e c t i v e l yp r o c e s s e di nt e r m so fe a c hg r o u po fl l n ep a i s ；m u l t i r e s u l z t i o ni m a g em o r p h i n ga p p r o a c hc o u l db eu s e dt og e n e r a t es e v e r a ls e q u e n c e so fi n t e r m e d i a t e f r a m e sw i t hv a r i e t yo f d e t a i l se a n s i t i o n t h ea l t e r a b l er e c t a n g l e 剐雠w i t hs a m p l i n gp o i n t sc e n t e r e da r es a m p l e dt oa c q u i r et h e c o l o r so fd e s i r e dp l x e t s 。t h ev i e wm o r p h i n ga p p r o a c hb a s e do nt h ef e a t u r el i n e su s e st h r e e - s t e pa l g o r i t h m ，p r e w a r p m o r p h i n g p o s t w a r p ，t o1 l 。查堡堡三查堂堡主堂垡堕塞m a i n t a i nt h ec o n t o u rf e a t u r e so f o b j e c t so i lt h er e f e r e n c ei m a g e sa st h ei n t e r m e d i a t ef i s f i 3 e sa r eb u i l t t h et e c h n i q u eo fi m a g e - b a s e d3 dr e c o n s t r u c t i o nb ym e a n so fi m a g e so ft h es a m gs c e n ew i t hd i f f e r e n tv i e w p o i n t si ss t u d i e d c a m e r as e l f - c a l i b r a t i o na n d3 dr e c o n s t r u c t i o nf o rc o r r e s p o n d i n gf e a t u r ep o i n t sa r ek e yp r o b l e m si nt h e3 dr e c o n s t r u c t i o nt e c h n i q u e t h e s ep r o b l e m sa r er e s e a r c h e di nt h i sa r t i c l e n u m e r i cs i m u l a t i o nc o m p u t i n gi sp r o c e s s e d 锄dab e t t e rr e s u l tj so b t a i n e d k e yw o r d s ：s t e r e om a t c h i n g ；i m a g em o r p h i n g ；v i e wm o r p b i n g ；e p i p o l a rg e o m e t r y ；3 dr e c o n s t n i c 蝣o n 。1 1 i 独创性说鹱作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究王作爱敬褥研究成采。尽我所舔，除了文中褥嗣翔黻标注耪致谢游遮方f终，论文中不斑会其蚀人已经发表或撰写的研究成果，也不包含为获褥大连理工大学或其他单位的学位或诞书所使用过的材料。与我一同工作的同志对本研巍所做酶贡献筠已在论文中做了明确的说明并表永了谢意。作者签名：躁期：火连理工大学硕士学位论义1 绪论1 1 图像特征匹配及合成的研究背景及意义图像酌特征是搬图像中灰度变纯院较明露的点、线及区域，一稻鬻稼中包管极其丰富的特征。从多幅阁像问提取所需的特征信息，例如角点、直线边缘或纹理区域替，由这蹙耪篮信息，可溅获得溺爨的三雏死籍结聿奄，遣可敬爱于生戒薪筏京豹平磊强像。鹜像间特征信息的提取、处理殿合成掷是新近形成的基于图像的计算机嘲形学的基本内蜜。基于潮豫豹嚣爨凝露形学方法慧建囊轰照理图像豹底层信惠，裂瓣庶震痿惑豹楚莲结果来实现更高层次的目的。而特征则是底层信息的主器表示形式，因此，特征的处理怒蒺予图像豹计算辍图形学方法中基本纛又关疆款闼熬。最近几年，随骜数字化技术的不断发展、硬件装鬣价格的不断下降、计算机性能的不断提高，数码提罄t 及摄像枫已经被鼹逮的应用到| l 掌生活中。存在犬璧的建数码援枧及数码摄像机所获褥的数字图像。利用基于图像的变形及合成技术，对这些图像进行变形与融合处理，给人们带来视觉上的震撼人心的效果。图像合成技术只辫通过数码相机或摄像机对场景进行采样，避免了鏊于几俺瀚绘制过稷中复杂的建模工作，绘制过程对采样数据：i 拄行变换眷n 重采样采生成新的图像，具有逼舆、快速、简洁等优点。因此，基于图像静技术或为计算机辫形学中一一个薪韵研究方向，其研究工作司在普通微机上进行，研究成果可应用于虚拟现实、远程会议、旅游、影视特技蒋领域。传统豹蓥予死籍静谤算梳鬻形学方法是诗冀杭圈形学串发簇较灸藏熬和竞饕靛一个分支，该方法具有良好的交赢性，例如，可任意选取观察的角度和方位，并且可按照需饕黠尼褒攥型涟行缭辗、骖藩、簸葵筹撵佟。餐是，斑怒莲予凭舞静落箕援爨澎学方法，建模和绘制工作都需癸大量的开销，图形的绘制时间与几何模型的复杂度密切相关，一般璇蓑模型复杂度麴擦裹，绘 l | 黠闻褥阻尼露级数增鸯- 3 。因_ | 避，对予复杂懿场景，例如草地、树木等，用基于几何的方法很难实现高逼真腹的实时绘制。与传统的基予几何的方法楣e 较，基予图像的方法具蠢绘胄4 遥冀度毫、遮羹速度快、占用最统资源少等特点。该方法阻从实际场景拍摄的照片或视频阉像为原始数据，通过对原始数据邀行变换、融合及爨采样处理来熨墩砖对场景的绘制，因此，臌甩基手圈像的绘镶4 方法容易实现真实感绘镧。基于嬲像的计算机图形学方法本质上是利用相机或视频设辐霹场景进行图像采样来袭这场景撰鼙，酸芝场景空间的凡 霹信息，因此，对溺景模登进行任意角度静溅察、编辑、修改等交互操作有很大的难度。到目前为止，传统的基于几何的技术已经建立了完陶像特，谯匹配及台成方法研究备的理论体系，发展比较成熟，但是揍于图像的技术则刚刚发展起来，商许多课题尚待臻究。因魏，对基予爨豫静诗舞溉莲彩学豹磁究不仅鼓骞重要韵淫论意义，雨量蒜有重要的实用价值。塑像特链疆嚣致合痰穷法霆基予强缘的嚣冀撬鹭形学方法中的重簧内容8 嗣。转，疰匹配从多幅参考图像中提取特征，并进一步利用计算机税觉中立体匹配( s t e r e om a t c h i n g ) 黥理论与方法建立特征阚的对应关系。图像会残方法是 曼握多缡参考图像闻的特征对艘，生成新视点的圈像。立体匹配是图像间特征匹配及图像合成方法中的关键技术，本文对立体匿配问题傲了研究，共在她罄出上磷究了隧像合成的方法。本硕士学位论文涉及计算机淄形学、计算机视觉、图像处理等学 、 戋口识和内容。1 2 立体馘配及图像合成方法的研究现状1 2 ， 立体薮羹磷突璃麟立体躐配是计算机视觉中的蕈婪内容，熬本质是绘定一一螭图像( 左图像) 中的一点，在另一蝠强像 中寻找与之越嫩鲍点，镬这鼹点为场襞窆闺图一点数投影。、曩裁，常剧的立体匹醚方法丰要w 分为两类：基于特套e 和蕊于区域蛹方法。揍予特征的匹配方法( f e a t u r e - b a s e dm a t c h i n g ) 先掇取图像的特征，常用的特征有边缘、角点、囊线段萃订曲线段等，然簸对提取的特征进行匹配，利用这釉方法对躐像迸彳亍匹配，虽然可以褥到沈较精确的疆骶，但蹙仅能获褥少量稀疏盼象素的祝差值，难珏褥到高密度的视差嘲；基于区域的匹配南法( a r e a - b a s e dm a t c h i n g ) 一般应用于纹理图像。对于一辐图像中豹兴趣点为中心酌小交匿域，在鹩一一幅淘像中寻我灰瘦穗织的区躐岛之区配，用这种方法可以得到高密度的视箍图但是它假定匹配区域中的每个象素具有相同静褫差蓬，霜瑟警嚣琵区城鹣实酝象素筏差毽交纯范爨毪较大澍，莽j 蠲这释方瀵褥到静匹酉a 精度不够高。在基予褥薤静嚣配方法皆，c o r d e l i as c h m i d , r o g e rm o h # t * l 短灰发不变矩寒建立秀幅潮像间特征点集的匹配关系，该算法首先计算特征点的灰度不变量，然后利用玛氏距褰( m a h a l a n o b i s ) 寒撬量蘸获度不变攫之溺夔捐 爨凌。虫子获度不变煞对噪声比较敏感，所以算法中还刹用领域一致性约束来提商匹配精度。针对妫氏距离计算较困难的问题，徐斌卢朝阳t t 誉魇改避的欧氏鼹离来代蛰马氏鼹裹，对获度不交煮蜒备个分囊傲归一化处理后，再计算欧氏距离。z z h a n g ，r d e r i c h 善撇首先利用互相美燕数获樽特征点2 人连域工大学硕士学位论文集之间的初始匹配，然后利用对极几何约束激进视始诞粥。m p i l u 嘲以掰匹配点巢间的霉瓣点熬麓裰关系羧馕鸯元素，建壹鞠叛短辫( p r o x i m i t ym a d x ) ，熬菇透过对鞠经楚陴谶行奇异德分解的方法，获得两特征点集闯的匹配关系。在基予区域鳇疆聚方法中，整薅豹奏鬟蔫横援进孬殛配舅法器囊弼邋蠛溪长逡行匹配的方法。制用模檄进行匹配的方漱尉视差连续性约柬，通过比较两模檄所覆盏的区域蠹壤素灰箧壤来建立疆配美寒，黠予一龌参考鬻稼中禁矩形嚣壤，在嚣一棰嚣缀鹣垒局髓围内寻找一自邋应的、尺寸可变的矩形区域与之随配【】o l 。程匹日e 过程中，由于待匹配姻矩形区域态的蒙索点的戡差著不致。爨媳，使蹦逑转方法湛行遐醚鲢，鬻嶷会受至n 辩响。在文献洲中，为了掇高匹配酌精度，待匹配的区域的黎索点视麓值按实际概率分京函数避好处理。刹用区域增欧进抒匹配黥方法 1 2 _ 1 3 】透鼹予纹理图像，黄先奁秘爨像闻途蕺若干个兴趣点作夤种子点( s e e dp o i n t s ) ，建立种子点乏闻韵匿黼关系，并形成一个种子魍配队列。每次从队列巾选取最可爨的一对匹凝点 乍为种子，湛行区域增长并搜索匹配嚣域，寻我疆聚区蠛中蒙素点麓静嚣酝关系，并把霉到静匹配患对如入副匹配队列，同时把已完成区域增长的种子点对从匹配队列中秽出，寓到种子队列为空时，匹聚箨壹。蓦糕，吴戒辍9 瓷爨了一静毅翡基予嚣壤壤长懿立落豫对藕密嚣配募滚，该算法也适用于存存较大视差的洙校准的和具有稀疏纹理的图像，苜先采用种两层辫法匹配褥子熹，然曩将基配美系旗已匿嚣的转子点传撵至图爨靛冀佘熬努，在嚣壤增长过程中，为了提商匹配糟度，用新的加权麓值平方和准则作为目标函数，并髓模板窗的大小禳拯箕孛包禽戆纹溅数素动淼潺整。1 2 2 图像禽成研究现状图像仑戏是静在两狡或多嘱参考匿像潮生成乎瀵涟渡鲍期间匿豫鳃技术，鬻疆骜翻像合成方法包括潮像变形( i m a g em o r p h i n g ) 、视图变形( v i e wm o r p h i n g ) 等。1 2 。2 1 图像变形技术鼙豫变澎( i m a g em o r p h i n g ) 是一种非常流行韵基于醒像的接制拽带8 ，利褥该技术，可在起贻和终止图像间，生成平滞过渡的期间图像。该技术可用崔威拟漫游和动碰莰嚣中，溺襄产生蚤蒺键顿乏辩连续变纯静懿瀚覆豫。图像变搿最初通过简单的交叉溶解技术来实现。之质，图像变形技术不断发展，各耱凝魏交形冀洼缭瓣灞现。摄攘爨弼特茬瓣苓簿，可黻把嚣爨囊形葵法磐巍露罗譬1 6 ；：( 1 ) 基于网格的图像变形方法；( 2 ) 基于域的图像炎形方法；( 3 ) 辫子点特缀的图像交掰方滚；4 ) 蒸予复杂褥莲蕊爨像变形方洼。葵孛翦舞耪跫纂懿簸为流蟹懿鬻豫变掰方法。一3 *陶像特征匹配及合成方法研究( 1 ) 基于网格的图像变形方法基于网格的图像变形方法，首先在图像中选择若干特征控制点，以这些点为网格结点，建立网格。通过改变结点位置，使图像其余部分在某种规则约束下自动调整，同时保证改变结点的位置仅影响与该结点相邻的图像区域。该方法首先由d o u g s y m t h e ”】在电影w i l l o w 中成功应用，先利用网格来控制图像扭曲，然后再采用溶解技术获得中间帧图像。n i s h i t a 等【1 8 l 提出了一种基于2 d 样条网格映射的方法，该方法首先定义起始与终止图像间的对应网格结点，结点间的位移用插值的方法计算。使用该方法变形速度快，并可进行局部控制，变形效果流畅逼真，但是其变形控制较为网难。柬德军等 1 9 1 利用b 样条曲面力法构造映射关系，首先在起始图像上标定一组控制点，并插值生成b 样条曲面，接着a j 交互地改变控制点的位置，插值生成新的b 样条曲面，并由起始网像和新的曲面生气期间图像。该方法易于控制变形，但是计算比较复杂。基于网格的图像变形，除了以上方法外，k o u z a n i 等 2 0 还提出了一种基于三角形网格的方法，该方法可获得更为丰富的变形效果；t a k a s h i 等【2 1 】提出了一种基于多分辨网格插值的方法，该方法易于数据存储和控制变形过程。( 2 ) 基于域的图像变形方法基于域的变形方泫是根据起始和终止图像问的几何特征对应关系，对特征进行插值并计算映射函数，牛成期间图像。t h a d d e u sb e i e r 和s h a w nn e e l y 1 5 1 提出了种基于特征线段对的变形方法，该方法在起始和终止图像问指定若二 j 对特征线段对，对于菜一中间帧的图像，插值生成该帧图像的特征线段集并计算映射函数。在计算映射函数时，可采用正向映射或逆向映射的方法。该方法计算简单，且变形效果较好。v i t a l y 等 2 2 1 提出了利用同构平面三角形一致的凸边界特征进行变形的方法。该方法认为，如果相应顶点对准的两个平面三角形的拓扑结构相等，则这两个三角形同构。在变形的过程中，通过划角度和边长插值来计算期间平面三角形，三角形的局部特性可以稳定保持，因此该方法的渐变效果自然耳逼真。( 3 ) 基于点特征的图像变形方法基于点特征的变形算法是一种新的图像变形算法，其变形函数完全建立在对离散特征点插值的基础上【2 3 】。通常对于特征的描述可归纳为点、线段或者曲线的集合。另一方面，由于线段和曲线都是由点组成的，因此，所有对于特征的描述可以完全统一为点集4大连理工大学硕士学位论文合。这样基于点特征的圈像渐变增强了形状变化与交叉融合的控制，利用非统一混和技术还哥疆产生不闻溜彝率下静更粕耷趣涎特技渤画效浆。l e e 等阱】提出了一种基予能量函数的最小化算法，根据点对集台的位置约束产生c l - 连续帮对一麴变形，翻臻多瓣辫松弛方法( 粼) 求舞产生变形鬣过渡交换率豹线性系统。该算法的兼键闯颁是如何将特征用一点集合表示。该算法可以产生自然的形交效果，避受图像辑叠失囊，毽楚葜诗舞量较大。l e e 等口5 l 还爨赛了多缎垂由形态交形( 胎f d ) 概念，是对s e , d e r b e r g - 等t 2 6 j 所提出的f f d 技术的扩展。邋过分层控制格产生一一对瘦的c 2 一连续变形醺数，褥到滠炀浆溉交效果。算法增强了特征表璎力，并臻化了人工操作。( 4 ) 纂予复数特征的熙像变形方法基于复杂特征潮像变形方法综合应用计算枫图形学、计算机视觉等领域近举来新发展的理论与方法，怒传统的翻像变形方法的掰的发展。p a u l 等口7 键出了一种利用2 d 离散小渡产生视点渐变的视热合蹴方涟。该方法不需糨税校准及圈豫深度髂息。首凳倍计出两幅参考图像的基础矩阵，然后进行平行视点转换和闺像预交换。利用小波变换方法对变换螽的嚣谣强豫避霉亍分瑟箍理。箕中兹霹庭小渡系数通过线褴箍毽产生多分辨率酶串间视点的图像，最后进行图像后处理产生正确的图像。l e e 等对传统的基于耐幅图像瓣熬变形方法皴了扩疑，撬穗了一耪萋予多鼷强稼熬变形方法。该方法联震毒靛豹餮缳特征区域选择合成技术，对多幅图像间的控制选择区域进行觅缝拼接和非统特征混穰。1 2 2 2 视圈变 i 参控术鼹已纛的图像变形方法，在对糨同场景不同褪点驰薅横殿戆图像遴嚣变形的过程中，中间阐像难以保证原始图像中的内在形状特征。针对这一问题，s e i t z 和d y 科提出了一荦巾图像变形方法即视图变形( v i e wm o r p h i n g ) 2 9 t 。该方法所生成的期间图像可保持漾始图像的外形轮廓特征。通过预变换步骤把两幅图像变换至9 平行的图像平面上，然后辫在平行的图像平丽间进行辆僮，最后通过厝变换步骤将插值所得的中闻图像交换到所需的视平磷上。这一方法无须三维争 形信息，倥对平蕊圈像避行操作照理即可耩按出三维透视变换的效果。该方法较好地解决了图像变形中的扭曲现象，而且不需要嫩谴相机静淘多 参数。徐丹和石教英删提出了一种基于小波空间的视图变形合成方法。该方法将核心的图像交形部分t 安n 4 , 波空润孛去实现，6 磊i 遮了算法执行懿效搴，消除了臻声，藏慰讨论了不同小波的选择对视图变形结果的影响。- 5 罔像特征匹配及合成方法研究基于特征的视图变形方法采用在两幅图像中选取特征点对( 特征线段对) 来实现从一幅图像到另一幅图像的平滑过渡，其中特征点的选取通常是利用交互方式，在计算机屏幕上通过手t 选取，由于存存丰观因素，使得特征点的匹配存在一定误差。在视图变形过程中，华顺刚用小波变换及霍夫( h o u g h ) 变换的方法来提高特征点选取的精度”“。首先用样条小波变换进行边缘检测，获得单象素的轮廓边缘，然后针对传统的h o u g h 变换的局限性，对其进行改进，并把改进后的h o u g l l 变换方法，用于从单象索边缘图像中提取直线的特征点，即端点。最后在原始图像中载入这些特征点，并交互的选取这些特征点，使特征点的定位具有较高的精度。j i a ng i i a nx i a 和m u b a r a ks h a h 在已有的视图变形方法的基础上提出了一种新的t 打v i e wm o r p h i n g 方法【j “，可在三幅或多于三幅的原始图像间，生成平滑过渡的新视点的图像序列。该方法可由视点变化较大的、未定标的曼幅原始图像合成新视点的图像，实现虚拟漫游，而不需要场景的三维几何模型。算法首先自动建立三幅图像中的每对图像的特征点间的诬配关系，然后对匹配进一步精确化并由此计算三焦距张量( t r i f o c a lt e n s o r ) ，根据三焦距张量可确定三焦距平面( t r i f o c a lp l a n e ) 。接着，使用交互工具在每对图像间指定若干对特征线段，由这些特征线段对确定所有象素的对应关系，并由此生成视差图，根据视差图，利用插值技术，得到新视点的图像。利用该方法可在三幅原始图像的三个视点作为顶点所确定的三角形内部的任一点，生成该点的新视图，从而实现了在三个视点为顶点的三角形区域内的虚拟漫游。c h e n 和w i l l i a m s t 3 3 j 桃点插值方法利用各参考图像间的对应信息来重构所需视图。他们通过一个基于几何绘制的预处理过程来建立各参考图像象素点之间的对应关系，根据场景的深度值按由后至前的顺序对四叉树压缩流场进行预排序，并使用参考图像局部邻域的信息对新视点的图像进行线性插值。l a v e a u 3 4 描述了一种从弱校正图像中生成新视图的方法。他们利用了计算机视觉中的对极几何( e p i p o l a rg e o m e t o r y ) 来约束参考图象的再投影，该方法由交互方式选择四对列应点，用基础矩阵( f u n d a m e n t a lm a t r i x ) 来描述两幅参考图像间对应的几何关系，不需要知道三维几何信息，即可合成所需的新视图。s u n 3 5 】提出了一种基于扫捕线的中间视图合成算法。在预变形处理中应用图像校正，并通过对极运动指定后变形矩阵，给出了使用这种方法合成中间视图的模拟结果。s a b r yf 等【蚓通过图像数据采集，把世界文化遗产以数字化的模型的方式记录下来。通过人机交互和自动相结合的方式，利用基于图像的建模技术，重建场景表面的基本形6 大连理工大学硕士学位论文状和结构，然后利用光栅扫描所采集的数据进行细节的造型，从而得到场景的表面几何模型。根据该模型，并利用视图合成的的技术，可生成新视点的图像，从而实现了场景的虚拟漫游。b a s t i a ng o l d l u c c k e 等田j 介绍了一种对动态场景进行绘制方法。首先把若干个完全定标的摄像机固定在待建模场景的胤围，并且每个相机之间的相对位置和相对方向都已知。根据每架摄像机所拍摄视频流( v i d e os t r e a m ) ，并利用图像中物体表面的一致性性质，对场景进行重建。得到动态几何模型。由动态几何模型，可实现场景的绘制。利用视图插值技术，可得到场景中任意视点的流畅的视频流。k m u e l l e r , a s m o l i c 3 s l q h 研究了一个系统，该系统可由一系列自然场景或物体的图像，对场景或者物体进行绘制。首先围绕物体，从不同的视点拍摄若干幅图像，从图像中重建物体的三维几何模型，获得物体几何模型后，可方便地得到新视点的图像，并可实现不受视点约束的虚拟漫游。在该系统中，采用了三维重建( 3 dr e c o n s t r u c t i o n ) 技术。1 3 本文的主要研究内容本文工作的主要内容包括：( 1 ) 研究了基于角点提取的，：体匹配方法，可在两幅参考图像之间自动建立所有象素点的对应关系。( 2 ) 研究了图像变形中的基于特征线段对的图像变形方法。( 3 ) 针对同一场景不同视点的两幅参考图像中存在遮挡现象的图像变形问题，研究了基于特征线段对分组的图像变形方法。( 4 ) 研究了多分辨率图像变形方法，可生成不同细节渐变特点的多个变形图像序列，丰富变形的效果。( 5 ) 研究了一种基于特征线段对的视图变形方法，该方法通过预变换一变形一后变换三步算法，使生成的中间图像能够保持原始图像中物体的轮廓特征。( 6 ) 相机自定标与对应特征点的三维重建是三维重建技术中的关键闻题，本文研究了相机自定标的方法，并在简化的相机模型条件下，重构场景空间点的三维坐标。全文共分为六章，各章节内秤安排如下：第一章：绪论，阐述了图像特征匹配及合成方法的研究背景和研究意义，并介绍了立体匹配及图像合成方法的研究现状。7 罔像特镪! 匹配及台成方法研究篇二章：针孔相机模型与对极几何基础理论，包括针孔相机模型、相机内外参数、对裰凡筒、本质箨簿及蕉穑耀阵等基本概念。论述了| 蟊一诧坐称系下帮象素坐标系下静极点与极线方程。这些内容魁后续章节的理论蒸础。第三章：基于角盎提滚静立体连算法，立体嚣配是多箍鬻豫潮褥餐蓬琵及鬻像合成方法中的关键问题，为此，研究了熬于角点提取的立体匹配算法，可自动建立髑幅参考簸像阗爨蠢象素点熬霹斑关系。第四章：基于特征线段对的图像变形，首先论述了已有的基于特征线段对的闼像变形方法。程此基础上，研究了基于特键线段对分缝的遮挡圈像变澎、多分辨搴露像变形和由s e 乜年日d y e r 撼m 的视削变形方法。第五露：基予简化相机模型的对应点三维藏建方法，讨论了基于多幅参考匿像的三雏场景熏建的理论与方法。幽对应特征点，重建场景的三维空间点。第六章：总结与展望，总结本文的主要工作，并剥下一一步的工作做了展望。8 。人连理王大学硬土学位论文2 镀孑l $ 嚣枣晁模型驽对极凡侮基端理论2 1 相机横型2 i 1 针孔相机模蛰针i k 目枫模型( p i n h o l oc s m e r am o d e l ) 是辩理想的成像模型，其物理上楼蛩于游透镜残豫。钟孔韬税是实际橱札的简仇和近戳。在三缭计算机图形学及计算机视徽中，为了简化问题的处蠼同时又满足威用的需簧，常用针孔相机模型来代耱实际的相机鳓。赞我稚槐麓藏稼，t 簿关系稼为透褫投影( p e r s p e c t i v ep r o j e c t i o n ) 。为了表示针孔榴机模型，蓠先定义相枧坐标系c 一娜2 。如图2 - 1 所示，该娥标系嚣l 点在焦心( 薄透镜中心) c ，c 毽r q 投影中心( p r o j e c t i v ec e n t e r ) 。簿德辘翦主麓兔光轴，光轴方向为嫩标系z 轴方向，道焦心且与图像平丽( i m a g ep l a n e ) 平行的平面称鸯焦乎垂( a e a tp l a n e ) 。互维窒阖点澎在该黛蠡系串髂坐掭掰。运兔( j 乏，乏，磊) 。然后_ 斑图像平面上建立图像坐标系c x y 。图像嫩标系为_ _ = ：二维坐标系，其原点位于光轴与溪鬻乎瑶弱交点o ( 谈点舔灸圭点，p r i n c i p a lp o i n t ) ，褒壤坐标系串爨点辨鹃垒辣豫表示为( t ，卫) 。焦心剖图像平蜮的距鬻为焦距f 。针孔相机模型的成像几何关系可表示鸯#图2 - 1 针孔相机模型獠2 - 1p i n h o l e 蚺掰e 豫m o d e l9 *( 冬i )罔像特征匹配及合成方法研究由于空间点到焦平面的距离远远大于焦距，因此在应用过程中，常常在光轴上与实际图像平面对称的位置设置一个虚拟图像平面( v i r t u a li m a g ep l a n e ) ，如图2 - 2 所示，并在该虚拟平面卜建赢维图像坐标系，原点在光轴和该平面的交点，两坐标轴方向与相机坐标系x ，y 方向相同。以焦心为对称中心，把图像平面上的像点对称映射到该虚拟像平面上。虚拟平面上像点m 与三维空间点m 仍满足透视投影的变换关系。在以后的应用中，常常把虚拟平面作为圈像平面。在投影模型中，若把像点m 与三维空间点m 都用奇次坐标的形式表示：m 。= ( “。，u ，) ，m = ( 丑，；，互，1 ) ，则有川1 ：0ix ，i互1( 2 2 )上式中3 4 的矩阵用- p 表示，x ，= 生，y c = 生。上式可简记为：= p m c 。啦哗p 叫做投影矩阵( p r o j e c t i v em a t r i x ) 洲，表示从三维空间点m 到像点m 的变换关系。图2 - 2 使用虚拟图像平面的针孔相机模型f 追2 - 2p i n h o l ec a m e r am o d e lu s i n gv i r t u a li m a g ep l a n e2 1 2 相机内参数1 0 riii。j。iiitl，ljm 峭大连理工大学硕士学位论义在图像乎匿上，除了图像坐标系外，还髓引入另一种坐标窳来表示蒙素点的位置，该坐标系称为象索艇标系。通常情况下，以湖像平面上最左上角的象素点为起始位置，向在第i 列、a t 第，行的象素点的位置坐标记为( f l , j 一1 ) 。因此，图像平面中，象索坐标系。一“v 的淼点o 经于图像的左上角掰不是主赢c ，并艇象索块也不慧为矩形形状，虬v 两坐标轴之的夹角记为0 ，如图2 - 3 所示。设k ，t 是n ，v 轴上的单位在图像坐标系中的凌羹值，萁毽由实际设备的采样率确定。( ，v 0 ) 戆图像坐标系的繇点在蒙豢坐标系中的坐标。相机内参数( c a m e r ai n t r i n s i cp a r a m e t e r s ) 是指目，屯，颤，“五个参数。由上述可知，强蒙素坐桥系中，原点并不与主点熏合，硝矬标轴的攀位由实际设备的采样率确定，它钓并不一定相等，并且两嫩标轴也不一定为囊角。因此，为了处理这些问题，需建立象索坐标系和图像坐标系间的仿射变换关系。令 ；扛y ，辫，。= 叠vl 势剐为点州在图像艇标系和象素坐标系中的奇次坐标贝有： 屯屯c o t o m 肘= 肺喝w ，其中：h = 10k v s i n 0 i 。由式( 2 - 2 ) ，易知：ll1 00 州。p m , ，褒示在相差个非零常数因子意义下相等。由上述可知：嘏m = 赫h p x c ，记p = 积为三维空阕点至象絮坐标系下静象索点瞻授鼢l潮2 - 3 蚕缘平瑟上煞坐标交换f i g 2 - 3c o o r d i n a t et r a n s f o r m a t i o no nt h ei m a g ep l a n e罔像特征匹配及合成方法研究纠：，000 1 = f 瓜f kcotl90p0f000 s i n 0v o0 阵，= l以，l10010i | 0010 |记a u = 扼，d ，= 砖3 4 的矩阵p 。前三列构成的矩阵记为k ：a u 吼c o t b “。k = 10qi ，称为相机的内参数矩阵。l001j在实际应用中，为简化问题的处理，引入归一化坐标系，该坐标系可看作是定义在图像平面上的二维坐标系。三维空间点m ( 五、，k ，磊) 在图像平面上的像点埘在归一化坐标系下的坐标( h ，蜘) 为：h ：争，蜘= 争。若用归一化坐标系表示图像平面上的像点，则投影矩阵目具有非常简单的形式：晶：1 000l0o1o o | 。易知，象素坐标系0 l下的投影矩阵p + 与归一化坐标系下的投影矩阵日问存在如下关系p = k p 。( 2 3 )对于像点研，其在归一化坐标系中的坐标( h ，y 。) 和在象索坐标系中的坐标( “，v ) 之间的变换关系为：鼻vl r = k l 。y 。1 1 ( 2 4 )由上述可知，归一化坐标系下的像点的坐标与相机内参数无关。使用归一化坐标系实际是把相机的内、外参数分开来考虑。当关注于相机外参数变化情况时，不必考虑相机的内参数。2 1 3 相机外参数在实际应用中，相机的位越和方向不会总是同定不变的，为了表示相机的位置与方向，定义旋转矩阵r ，平移向量f 两个参数，尺和r 叫相机外参数( c a m e r ae x t r i n s i cp a r a m e t c r s ) ，也叫运动参数( m o t i o np a r a m e t e r s ) 。由于相机坐标系随着相机的位置和方向而变化，因此为了表示相机的位置和方向，需在场景中建立固定的世界坐标系1 2 火连理工大学硕士学位论文0 一x o r o 毛来表示三维空间点。相机外参数r 和f 分别表示相机在世界坐标系中的方向和位置。三维空间点材在世界坐标系中的坐标为m o = i k z o r ，在相机坐标系中的坐标为坂，= 阻r z ( r ，则点在两坐标系中的变换关系为 “= m 靠+ f ，把该式写成奇次坐标的形式；阮巧匆1 1 = 剐t x 乓z c l r其中o 。= 【o0o l 。( 2 5 )2 2 对极几何中的基本理论对极几何定义了同一个三维空问点在两个不同的图像平面上的投影点所遵守的约束关系。如图2 _ 4 所示，设c 为第个相机的投影中心，c 为第二个相机的投影中心，三，上分别为投影中心c ，c 。所在的图像平面，连接投影中心c 和c 的直线为基线( b a s e l i n e ) ，基线与图像平面，f 的交点为极点( e p i p o l e ) 。m 为三维空间中的一点，l ，m 。为该点在两图像平面上的投影点。点m 和投影中心c ，c 。所图2 - 4 对极几何2 4e p i p o l a rg e o m e t r y- 1 3 罔像特征匹配及合成方法研究确定的平面叫极平面( e p i p o l a rp l a n e ) ，极平面与图像平顽三，五。的交线称为极线( e p i p o l a rl i n e ) ，在图像平面中，所有的极线都交于极点。若基线c c 与一图像平面平行，则该图像平面的极点位于无穷远处、极线彼此平行。图2 4 中，p ，e 。分别为图像平面上和上的极点，卅，7 t 1 1 为两图像平面间的一对对应投影点，0 ，为对应极线。划应点m ，与点c ，c 四点共而，这称为共面约束。图2 4 中，由对极几何知识可知，三维空问点m 在图像平面三上的投影点i # i 在极线上，则点m 在另一图像平面_ 上的对应点m 。必然在与所对应的极线0 e ，这叫做对极几何约束。即点m 的对应点m 在与其所对应的极线，。卜。若已知点m 的位置，并根据共面约束，可确定刈应极线l ，。由于两相机的地位