（信号与信息处理专业论文）子空间投影技术在立体图像编码中的应用与优化.pdf

上海大学硕士学位论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 摘要 近年来，随着计算机和显示技术的高速发展，三维( 3 d ) 成像系统已经在 许多领域得到了广泛应用。3 d 图像和视频信号将成为未来多媒体通信中的一个 重要组成部分。在3 d 成像系统中，常用的显示方法是用“立体对”来表示3 d 图像，即从不同观察点获得的同一景物的一对图像。在立体对中，左右两幅图像 之间存在着大量的双目交叉冗余度。在带宽有限的信道中传输时，需要采用编码 压缩算法予以去除。本文主要对基于视差估计与补偿的立体图像编码进行研究， 实现并优化了立体图像编码中的子空间投影技术( s p t ) 。 本文首先对人眼的立体视觉特性和几何模型进行分析，并综述了现有的一些 传统立体图像编码方法和它们的优缺点，例如块尺寸固定的视差补偿算法 ( f s b m ) 。 为了克服传统立体图像编码方法的不足，本文采用了s p t 技术。s p t 是把 视差补偿( d c ) 和二维低阶近似相结合，可以根据立体对中的交叉相关性进行 局部自适应，最终提供比较理想的投影图像。但由于s p t 方法需要对投影系数 进行编码，因此，增加了立体图像的编码比特数。 为此，本文从提高立体图像视觉质量和降低立体图像码率两个方面对s p t 方法进行改进和优化，提出了优化的s p t 立体图像编码方法l d s w s p t 。 它把有限定向搜索( l d s ) 技术和小波变换( w t ) 编码引入s p t 方法，在提高 图像质量的同时又能降低码率。实验证明，l d s w s p t 在编码的率失真性能上 要优于f s b m 和一般的s p t 方法。 关键词：立体图像编码，视差估计与补偿，子空间投影技术，小波变换 第1 页 上海大学硕士学位论文 、一：， 里! 堕! g ! 型! ! 生旦竺! ! ! ! ! ! 塑! ! 业：! 业 一 a b s t r a c t d u et ot h ec o m p u t e ra n dd i s p l a yt e c h n o l o g yh a v eb e e np r o m o t e dg r e a t l yi nt h el a s ty e a r s ， t h r e e - d i m e n s i o n ( 3 d ) i m a g i n gs y s t e m sh a v eb e e na p p l i e di nm a n y f i e l d si nf u t u r e ，s t e r e oi m a g e a n dv i d e ow i l lb ei m p o r t a n tc o n t e n t so fm u l t i m e d i ac o m m u n i c a t i o n i n3 di m a g i n gs y s t e m s ，o n e i m a 百n gw a y i st ou s es t e r e op a i r s - - ap a i ro fi m a g e so ft h es a m es c e n ea c q u i r e df r o md i f f e r e n t p e r s p e c t i v e s s i n c et h e r ei s al a r g ea m o u n to f b i n o c u l a ra c r o s sr e d u n d a n c yi nas t e r e op a i r , c o d i n g c o m p r e s s i o na l g o r i t h m ss h o u l db ee m p l o y e dt or e d u c et h e me f f i c i e m l yw h e nt r a n s m i t t i n gs t e r e o p a i r si n c h a n n e lw i t hl i m i t e dw i d t h t h i sp a p e rm a i n l ys t u d i e ss t e r e oi m a g ec o d i n gb a s e do n d i s p a r i t ye s t i m a t i o na n dc o m p e n s a t i o n ，a p p l i e sa n do p t i m i z e st h es u b s p a c ep r o j e c t i o nt e c h n i q u e ( s l - r ) i ns t e r e oi m a g ec o d i n g a tf i r s t ，t h i sp a p e ra n a l y z e st h eo p t i c a ls t e r e oc h a r a c t e r i s t i c sa n dg e o m e t r i cm o d e l i ta l s o i n t r o d u c e ss o m et r a d i t i o n a ls t e r e oi m a g ec o d i n ga l g o r i t h m sw i t ht h e i rm e r i t sa n dd e f e c t s ，s u c ha s f i x e db l o c ks i z em a t c hs c h e m e ( f s b m ) i no r d e rt oi m p r o v et h ea p p r o a c h e s s p ti sa p p l i e di ns t e r e oi m a g ec o d i n g s p tc o m b i n e s d i s p a r i t yc o m p e n s a t i o n w i t ht w o d i m e n s i o n a ll o wo r d e ra p p r o x i m a t i o n i tc a nl o c a l l ya d a p tt ot h e c h a n g e si nt h ec r o s s - c o r r e l a t i o nc h a r a c t e r i s t i c so f t h es t e r e op a i r sa n dp r o v i d eb e a e rp r o j e c t i n g i m a g e s s p tr e q u i r e se n c o d i n gt h ep r o j e c t i o nc o e f f i c i e n t s ，s o i tr e s u l t si nu s i n gm o r eb i t st o r e p r e s e n t t h es t e r e op a i r s i nt h i sp a p e ls p ti so p t i m i z e da n d i m p r o v e db y t w oa p p r o a c h e s l d s - w - s p ti sp r o p o s e dt o i m p r o v e t h eq u a l i t yo f t h es t e r e o i m a g e s a n dr e d u c e t h e b i tr a t e l i m i t e dd i r e c t i o n a ls e a r c h ( l d s ) t e c h n o l o g ya n dw a v e l e tt r a n s f o r m ( w t ) i sa p p l i e di n s p t s i m u l a t i o nr e s u l t ss h o w st h a tt h e l d s w s p ta p p r o a c ho u t p e r f o r m sf s b ma n dt r a d i t i o n a ls p t i nt h er a t e d i s t o r t i o np e r f o r m a n c e - k e y w o r d s ：s t e r e oi m a g ec o d i n g ，d i s p a r i t ye s t i m a t i o na n dc o m p e n s a t i o n ， s u b s p a c ep r o j e c t i o nt e c h n i q u e ( s p t ) w a v e l e t t r a n s f o r m ( w t ) 上海大学硕j 。学位论文 ! 坐! ! 茎里型! ! 塑：堡竺! ! ! ! ! ! 型塑坐竺堡! 望 第一章前言 1 1 课题研究的意义 进入信息时代，计算机、通信和显示技术得到迅猛发展。同时，人们的感官 也有新的需求，例如，对三维( 3 d ) 立体成像的临场感。可以预计，数字电视 之后的下一代将是立体数字电视。传统显示技术己解决人们远距离感知和真实感 显示的问题，但是，它所依赖的依然是单镜头的摄像技术，显示的只是3 d 景物 在二维平面上的投影，并没充分包含3 d 世界的深度信息。尽管，人们总是利用 物体的透视、阴影、遮挡和明暗等关系来显示3 d 效果，但是这种方法所提供的 并不是景物真正的3 d 深度信息，景物更不可能随着人们观察角度的移动而改变 它的显示角度。因此，要想显示真正的3 d 世界，必须采用3 d 立体成像系统。 3 d 立体成像系统的基本原理是利用人眼在观察外部世界时，左右眼睛看到 的图像之间存在微小差异，这一差异在经过大脑处理之后，就能使人们感受到 3 d 的外部世界。人眼的这一能力就称为立体视觉能力。根据这个原理，3 d 成像 系统采用人工的方法来刺激人眼立体视觉的能力。在这立体系统中，包含了一个 “立体对”从不同观察点获得的同一景物的一对图像，以此提供给观察者， 并通过一定的方法使观察者的左眼看到左图像，右眼看到右图像。于是，观察者 通过大脑对两幅图像中景物相对位移的处理，就能感觉到景物的3 d 效果( 深度 信息) 。这里的相对位移就是指立体对的视差( d i s p a r i t y ) 。 9 0 年代以前，由于技术条件的限制，在3 d 成像系统中，观众观看立体图像 或视频时需要戴上一种特制的偏振光眼镜，才能获得3 d 效果。但这种立体眼镜 既不方便，技术也不成熟，大大阻碍了3 d 可视化技术的发展。随着科技的进步， 人们开发出了许多新的且简单易用的立体显示技术，并不需要带任何附带装置。 例如美国的d i t ( d i m e n s i o n a lt e c h n i c a li n c ) 公司开发的立体显示器。它是采用 垂直光栅的视差光栅监视器，由不同视角获得的二维图像组成柱面光栅屏图片， 人的双眼通过适当的光栅条纹观看相对应的图像，从而感觉到图像的3 d 效果， 得到一种身临其境的感觉。 第l 负 上海大学硕士学位论文 塑! ! ! ! 坚型! 坐里塑! ! ! ! ! 竺壁型型! ! ! ! ! 型。 3 d 成像系统已开始在众多领域中得到应用。例如电信、地球科学、机器人 科学、无人导航、医学图像、军事监测和娱乐等川“瑚“1 。因此，在多媒体通信中， 3 d 图像的应用将毫无疑问地成为个重要的发展方向。 由于表示3 d 图像( 立体对) 的比特数是表示单幅图像比特数的两倍。所以， 和其它网络通信技术一样，有限的网络信道带宽和存储设备成为了实现3 d 技术 的瓶颈，使得在传输和存储3 d 图像时，需要对立体对采用编码压缩算法，去除 立体对左右两幅图像之间大量的双目交叉冗余度，来减少表示立体对的比特数。 只有这样，才能在不降低图像视觉质量的基础上，解决高数据量与低信道容量、 低存贮容量之间的矛盾。 1 2 课题的研究内容 在立体图像编码的研究中，人们通常采用基于像块的视差估计与补偿方法， 类似于视频编码中的运动补偿。但是，在这种方法中会出现两个重要的问题： 遮挡区域和光照变化，使得在立体对图像中存在“块效应”现象，也就是所谓的 马赛克。为了改善编码图像的视觉质量，本文给出了子空间投影技术( s p t ) 的 立体图像编码方法。s p t 方法是一种改进的基于视差估计与补偿的立体图像编码 算法。它在编码过程中保留了一些像块间的相关信息，通过二维低阶近似来纠正 系统的亮度变化，并且可以随着立体数据交叉相关统计特性的局部变换自适应， 减少了解码图像中的块效应现象。但是，由于需要对像块的投影系数进行编码， 因此增加了立体图像的编码比特数。 为此，本文提出种优化的s p t 立体图像编码方法，称为l d s w s p t 方法。 它把基于有限定向搜索( l d s ) 的视差估计与补偿算法同s p t 相结合，提高了 像块的视差估计精度和补偿图像的视觉质量。同时把小波变换( w t ) 引入s p t ， 减少了立体图像的编码比特数，达到了数据压缩的目的。本文的实验结果表明， 在甚低比特率的情况下，l d s w s p t 的率失真性能要优于其它的一些立体图像 编码方法，例如块尺寸固定的视差补偿算法( f s b m ) 和一般的s p t 方法。 本文的研究是国家自然科学基金项目基于模型分析和小波变换的立体视频 编码的研究( 批准号6 9 9 7 2 0 7 ) 的一个组成部分。 第2 页 i - 海大学硕士学位论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 1 3 课题的仿真工具 本文中所有的仿真实验采用的编程工具是基于面向对象的v i s u a lc + + 6 o 7 】【8 1 和m a t l a b 5 t 9 】【1 0 1 软件。 1 ) v i s u a lc + + 6 0 是一个方便、快捷的w i n d o w s 应用程序开发工具。它使用了 m i c r o s o f tw i n d o w s 图形用户界面的许多先进特性和设计思想，采用了弹性的 可重用的面向对象c + + 程序语言，为编程人员提供了大量的编辑器、工具、 测试容器、类库和调试技术。它可以处理大多数的图像文件格式，进行多种 标准图像的处理，为本文的仿真实验提供了有力的技术支持。 2 ) m a t l a b 5 是美国m a t h w o r k s 公司自8 0 年代中期推出的数学软件，有着优秀的 数学计算能力和卓越的数据可视化能力。它在矩阵运算和数值计算方面具有 强大的功能，非常直观、简洁，且效率高、交互性好。而且，它几乎覆盖了 几乎所有的工程计算领域，例如数字信号处理、数字图像处理、小波分析、 神经网络等等，很方便地解决了图像处理中的一些复杂的问题。 1 4 论文的结构编排 本文的结构如下：第二章介绍了立体视觉的原理、平行光学轴的几何模型及 仿真实验所用到的立体图像及其特性。第三章对立体图像编码原理进行了描述， 包括了立体图像编码的依据、理论、概况和一般方法，以及立体图像与视频序列 之间的差别。第四章是对几种基于像块的视差估计与补偿方法进行阐述。第五章 描述了s p t 的基本算法和一般量化方法，以及s p t 在立体图像编码中的应用。 第六章提出了优化的s p t 方法l d s w s p t ，并给出了实验的仿真结果，在 甚低比特率的情况下，把它与其它一些立体图像编码方法在编码的率失真性能上 进行比较。第七章是对本文的总结和展望。 第3 页 上海大学硕士学位论文 旦! ! ! ! 坚型! ! 生：垡! 竺! ! ! ! 塑! ! ! 坐型! 塑堕 第二章立体视觉的原理和几何模型 2 1 立体视觉的原理 2 1 1 立体视觉的形成 人眼的视网膜是一个只有高和宽的二维平面，但是这个二维平面却能够使人 看到一个3 d 的立体视觉空间。其主要原因是由于人眼获得了物体的深度信息。 人眼的这一种能力称为立体视觉能力，它是人眼视觉的基本机能之一。图2 1 是 人眼立体视觉的示意图。图中，( a i ，b j ) 分别是视网膜前不同方向上的两组物体， 通过光的映射落到视网膜的不同区域( 如) ，人眼通过光的映射方向不同来判断 物体的位置。当物体( a 1 ，a 2 ，a 3 ) 或( b l ，b 2 ，b 3 ) 的映射光方向相同时，人眼 的立体视觉机能依靠机体的内部条件，通过大脑的整合得到物体的深度信息，判 断同一方向上的物体哪一个远些，哪一个近些。下面对人眼的立体视觉特性做一 个简单的介绍。 b a 2 1 2 a ， 左暖 右暇 图2 2 立体视觉 人的两只眼睛有一定的间隔，这就造成物体和眼睛的相对位置与视角不同， 使得物体的影像在两眼中有略有差异，大脑根据这种差异感觉到物体韵深度信 息，在视网膜上形成立体的景象( 见图2 2 ) 。 第4 贞 上海大学硕士学位论文 坠! ! ! ! ! 塑! ! 苎! 堡竺! ：! ! i ! 竺! ! ! 型! ! ! 堡! 堡 通常，左右眼睛的影像差异主要表现在位移上，这种相对位移就称为视差。 般，人的两只眼睛的焦点间距约为6 5 r a m 。左眼和右眼最小的图象位移是用视 觉深度阈值6 来表示的，如图2 3 所示： 6 = 8 。一8 ： ( 2 1 ) b 。和b 。分别为p 点与q 点至左、右眼之间的夹角。经实验测定6 = 1 0 ”2 0 ”。 6 值再小，人眼就失去视差感觉。因此，人们在看远景时，往往不易判断物体的 前后位置，缺乏立体感，也就是说人的立体视觉是有限的。从图2 3 中可得下式： 6 = 屈一卢：= a t - - a 2z 虽一五 面z 面a a r d ( 弧度) ( 2 2 ) 其中，a 为两只眼睛的焦点间距，d 为 a 与物体之间的垂直视距，d 为视距 深度的辨别阈。当6 = 2 0 ”，视觉间距 a = 6 5 m m 时，眼睛正前方有视差感觉的 距离约为o 6 7 公里。因此，一般在没 任何工具的情况下，人眼可看到立体物 体的最远距离不超过一公里。庄鼹 图2 3视觉深度阈值的确定 右瞩 通过实验可知，人的立体视觉能力还不是绝对靠视差。还可以通过光线明暗， 物体的相对尺寸、清晰程序、运动速度等等来进行判断的。或者可以通过把眼球 视线凝视于一点或- d , 区域后，利用眼睛上下左右转动来对物体上下、左右、前 后扫描观察，以便使物体能在眼球运动、肌肉做功过程中，获得多幅稍有差别的 物体图像信息。从而以长期积累的观察事物的经验来进行判断，来最终获得景物 的立体感。 销5 负 上海大学_ 颤士学位论文 婴! ! ! ! 坚型! 苎! 旦! ! ! ! ! ! ! 竺业型坐生! ! ! 业 2 2 立体视觉的几何模型 从立体视觉原理中知道，从不同观察点获得的同一景物的一对图像可以给人 立体感，这一对图像就被定义为“立体对”。这是一个非常广义的定义，它没有 对拍摄时两台摄像机的距离间隔或相对位置加以限制。一般把摄像机的距离间隔 和相对位置作为摄像机的几何特性。 为了近一步讨论摄像机的几何特性，在下文中建立了一个简单的几何模型。 2 2 1 平行光学轴的几何模型 立体对的左右图像可以通过一个平行光学轴的双视觉立体几何模型获得的。 模型中，两台摄像机同时拍摄到的左右两幅图像组成一个立体对。每个摄像机由 一个薄镜头和一个与镜头平行，且离镜头f 远的成像平面组成。f 是摄像机的焦 距。摄像机拍摄和记录的位置是成像平面上一个有限范围的矩形( 可以采用胶片， c c d s 或是其它一些技术) 。摄像机实际拍摄区域就是指成像区域。摄像机镜头 的中心是指摄像机聚焦的中心。这种摄像机的几何特性就称为平行光学轴的几何 特性。图2 4 是平行光学轴的的双视觉立体几何模型图。 f彳b： 、陟i 。 右图像 左图像 图2 4 平行光学轴的的双视觉立体几何模型 第6 贝 p ( x ，y ，z ) 上海大学硕士学位论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 2 2 2 模型的几何特性 平行光学轴的双视觉立体模型有以下一些几何特性 1 1 两个摄像机的光学轴平行，成像平面在同一水平高度，且在同一垂直面上。 从而确保了视差矢量的垂直分量为0 ，水平分量d = x 1 一x ，( 见图2 4 ) 。物体 深度f z 与d 成反比，且 f - z - - 争 ( 2 3 ) 其中f 是摄像机焦距，s 是摄像机中心点间距。z 对于景物来说总是负值。 2 ) 两个摄像机的成像平面平行，并且有相同 帧的】纵横比尺寸的投影面积，这个 平面的相对位移应该是纯可变换的。若矩形面与图像平面不平行，则会出现 透视失真( 帧的】纵横比出现尺寸变形) 。 3 1 两个摄像机有完全相同的光学特性。从而减少了光照变化，确保在立体对的 左右两幅图像中，相同景物的同一像块有相同灰度值。 以上的几何特性保证了景物可以用两台摄像机进行同时拍摄，并且左右摄像 机拍摄到的景物图像大小相等，位罱相同，并且光学特性也相同。 但是在实际系统中，平行光学轴的几何特性是不可能精确实现的。由于左右 摄像机不可能完全相同，使得在实际的应用中，会出现两个重要偏差。首先，很 难保证左右摄像机成像区域的底部边缘共线，甚至精确到一个像素都不差。第二， 经过数字化后，左右两幅图像像素灰度的均值和方差也不可能完全相等。这些都 需要通过压缩算法来加以弥补。 第7 页 上海大学硕士学位论文 t h ep o s t g r a d u a t e t h e s i s o f s h a n g h a i u n i v e r s i t y 2 3 实验立体对的视觉特性 本文中的仿真实验都采用的是“r o o m ”立体对( 图2 5 ) 和“f r u i t ”立体对 ( 图2 6 ) 。立体对的内容是室内景物，图像是2 5 6 2 5 6 大小的灰度图像，图像 格式是w i n d o w s 的位图文件b i t m a p ( b m p ) 格式，是非压缩图像格式。立体对 的左图像表示左眼看到的景物，右图像表示右眼看到的景物。“r o o m ”的每像素 比特数( b p p ) 为8 ，“f r u i t ”则为2 4b p p ，都是灰度图像的立体对。它们是通过 移动的摄像机在同一水平位置拍摄到的一对静止图像，采用多视角的摄像技术。 图像中存在一些遮挡区和纹理，有一定的光照变化。而且，“f r u i t ”立体对左右 图像的成像平面不在同一水平高度，在垂直方向上存在极小的视差。由此可见， 立体视觉的模型限制条件在实际中是不能严格做到的，需要在算法中加以弥补。 左图像 左图像 图2 5“r o o m ”立体对 图2 6“f m i t ”立体对 右图像 右图像 上海大学硕十学位论文 t h ep o s t g f a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 第三章立体图像编码 对于同一帧的图像数据量，立体图像对是单视觉图像的两倍，所以在传输和 存储时需要对立体图像进行编码压缩。本章描述立体图像编码的基本理论，共有 五个部分。首先阐述了混合分辨率编码理论在立体图像编码中的重要性。然后是 立体源数学模型的发展，并对模型的率失真特性进行描述。第三部分则是对常用 的一些立体图像编码技术进行概述。通过总结，在第四部分得到了立体图像编码 一般方法。最后，把立体对和视频序列作了比较。 1 3 1 立体图像编码的依据 由于立体图像的最终观察者是人，所以在编码压缩时，可以利用人眼的立体 视觉特性，实现既节约图像的比特数，又使图像的视觉质量在主观上可以接受。 下述的混合分辨率理论为立体图像编码方法提供了理论依据i 。 大量实验证明，当人的一只眼睛看高分辨率图像，一只眼睛看低分辨率图像 的时候，人在感觉上所看到的图像质量并没有受到严重的影响，有些观察者甚至 认为看到的立体图像其质量更趋近于高分辨率的图像，而不是低分辨率的图像。 因为，其中之一的低分辨率图像仍然可为观察者提供立体对的深度信息，使人脑 很容易把不同分辨率的图像相互融合。换言之，当立体对中的一幅图像经过低通 滤波之后，人脑所融合的立体图像在视觉效果上更接近于没有滤波的图像。 j u l e s z 通过随机点立体图像的测试，发现“立体视觉的混合是要求立体对的 左右两幅图像有相同的高低频谱”。如果两幅图像的高频或者低频相同( 或全部 相同) ，立体视觉的混合就能实现。心理物理学的大量实验也证明：一个高分辨 率图像和一个低分辨率图像组成的立体对与两个高分辨率图像组成的立体对所 提供的立体深度信息是相同的。 实际上，用混合分辨率编码的立体图像与用相同分辨率编码的立体图像还是 有差别的，只是人眼无法分辨而己。混合分辨率编码的立体图像质量实际是左右 图像的均值。因为它的亮度近似于左右图像的均值。它的对比度近似于左右图像 上海大学硕士学位论文 ! 竺! 堡! 塑! ! 堡翌! 坐! ! 塑! ! g ! ! ! 塑! 坐 的二次方根的和。只在一幅图像中出现的看得见的编码失真会被人的视觉系统所 减弱，尤其是由压缩而产生的对比度失真( 编码失真) 。如果两幅图像的对比度 差异不大，那么可见的编码失真大致可降低一半。编码的失真度降低，使得立体 图像的主观视觉质量提高。所以，只要不影响立体图像的深度信息，就可以利用 混合分辨率的理论，对立体对中的一幅图像用高压缩率方法，降低传输立体图像 的比特数，因为这并不明显影响观察者对立体图像的主观视觉质量。 3 2 立体图像编码的理论 本节描述的是立体图像相关源的编码理论1 1 】【”】。信道编码理论表明，信道 的容量是有限的，从而信道的最大信息传输速率也是有限的。为了使信道的传输 效率最大化，必须对立体对图像采用压缩编码算法。 在比特率限定的情况下，立体图像编码的一个重要问题就是立体对两幅图像 的比特数分配方法。混合分辨率的理论证明，人的眼睛在看不同分辨率的图像时， 人脑会把两幅图像相互融合。而且，立体视频可看作单视觉视频的选择性扩展。 因此，从率失真的性能考虑，允许立体对中的一幅图像存在一些较小的失真。 由于立体对图像之间存在大量的双目交叉冗余度，因此可以把立体对看作是 一个包含两个相关离散随机过程的矢量值( x ，y ) 。在立体对无损编码的情况下， 根据香农( s h a n n o ) 定理，如果对x ，y 同时编码，当编码率r 满足下列公式时 就能够以任意小的误差概率恢复立体对源。 r h ( x y ) h ( x y ) = h ( x ) + h ( y i x ) ( 3 1 ) 其中，h ( x ，y ) 是x ，y 联合熵，h ( x ) 是x 信源熵，h ( n i x ) 是条件熵。 一个最佳的无损编码方法就是对立体对图像进行条件编码( c o n c o d ) ，也就是 “先对第一幅图像( 参考图像) 编码，然后在第一幅编码图像的基础上对第二幅 图像( 目标图像) 进行编码”。此外，还可以用另一种最佳的编码方法，即采用 s l e p i a n w o l f 编码器对立体对的两幅图像进行独立编码，并用一个通用的解码器 进行解码。文献 1 3 给出了s l e p i a n w o l f 编码器原理的证明以及它的实际应用。 第1 0 负 上海大学硕士学位论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 在相关源的率失真性能中，设计一个最佳的编码器是个重要的问题。也就是 对立体源( x ，y ) 进行编码时，当x 的失真度为d x ，y 的失真度为d y ，编码器 所需要的最小比特数是多少? 一个解决方法就是采用c o n c o d 结构，它在一些 方面表现出了较好的率失真性能。还有一个方法就是采用s l e p i a n w o l f 编码器。 然而，s l e p i a n w o l f 编码器对于x 和y 存在着一些不可知的失真。因此研究 c o n c o d 结构的最佳编码器性能是很有用的。它可以表示为 月x ( d ) r ，r ( d ，d r ) r j ( d ) + r h t ( d y ) ( 3 2 ) 其中，r x ( d x ) 是x 的率失真函数，r x y ( d x ，d y ) 是x 和y ( 最佳编码器) 的联合率失真函数，r 瓜( d y ) 是x 和y ( 最佳条件编码器) 的条件率失真函数。 在实际应用中，只有很少的比特数会分配给目标图像。现在假设一种极端情况， 即分配给目标图像的比特数为零，那么目标图像的失真度d v 就达到它的最大值 d v 。，并且r r l , _ - ( d ，。、) = 0 。这种情况的条件编码器结构最佳，因为( 3 2 ) 式 的上下限相同。由于，率失真函数是连续的，对于任何的e 0 ，都存在一个6 。 如果| d y 。一d ys 1 6 ，则 l 【尺( d ) + r r l 2 ( d 坩) 一r x ( d x ) + r r i k ( d y 一) 户r r i 膏( d 坩) r x r ( d ，d r 衄。) = r j ( d x ) + r y 惜( d r 曲。) ( 3 4 ) 所以由( 3 2 ) ( 3 3 ) 和( 3 4 ) 三式得到下列不等式： i r z ( d ) + r n ( d ) 一r 并，r ( d ，d 坩) i 月膏( d ) 占 ( 3 5 ) 因此，当r r l 2 ( d ，) 很小时，条件编码器结构的方法接近于最佳的编码方法。 也就是说，在立体图像编码时，应该把大部分的比特数放在一幅图像上，另一幅 图像只需要很少的比特数。此外，立体对的条件编码器与单视觉图像编码系统也 相互兼容。 鹅i i 仇 上海大学硕士学位论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 3 3 立体图像编码的概况 对于立体图像数据压缩而言，一种最简单的编码方法就是用现有的压缩标准 ( 例如j p e g t l “，h 2 6 x ，m p e g i 2 1 5 】 1 6 1 等) 对立体对两幅图像进行独立编码 1 7 】， 但是，这种方法显然没有利用立体图像对间的相关性，不能有效去除立体对中的 双目交叉冗余度。为了有效地对立体图像进行编码压缩，许多立体图像编码方法 被相继提出。 1 ) 和一差方法 和差方法是人们最先想到的立体图像编码方法，它是对立体对两幅图像的 总量和差值进行编码。理论上，如果左右两幅图像有相同的一阶和二阶统计特性， 那么它们的总量和差值是不相关的，从而可以去除立体对的冗余度。立体图像的 三维离散余弦变换( d c t ) 编码就属于变换域中的和差方法。 2 ) 全局变换和相关性增强技术 实验证明，和差方法的性能会随着视差值的增大而降低。于是，有人就对 和差方法进行了修改，把其中一幅图像的像素作水平移动，使立体对图像间的 交叉相关性达到最大值( 平移值近似于景物的平均视差) 。然后，把经过平移后 的图像从另一幅图像中减去，从而去除了冗余度，并对差值进行编码。这种方法 称为全局变换方法，但前提是景物要有相似的视差值。由于景物的视差值一般不 同，所以这种方法也不是特别有效。另一种方法就是平移图像中的像块，而不是 整幅图像。变换的数量由交叉相关统计特性或像块中使用者感兴趣的特征决定， 这种方法称为相关性的增强技术。 3 ) 视差估计与补偿方法 全局变换方法和相关性增强技术是最简单的视差估计与补偿方法。视差补偿 是为了估计立体对中景物间的视差值，并利用这些估计值去除立体对的冗余度。 它的思想方法是利用一幅图像的视差末作为另一幅图像的预测。 由于视差信息 要被传输，所以在压缩立体对的应用中，需要计算一个稀疏视差域。 第l2 贝 上海大学硕士学位论文 ! 坚! ! ! ! 婴! ! 苎! 旦! 三! 三! ! ! ! 竺g ! ! ! 业：! ! ! 生 视差估计与补偿一般采用基于像块的方法。它是先对第一幅图像( 参考图像) 进行独立编码。然后把两幅图像分成尺寸相同或不同的像块。第二幅图像( 目标 图像) 的每个像块进行水平移动，与参考图像中的对应像块进行比较，通过一些 测量标准来决定像块之间的相似程度。最相似的像块作为目标图像的补偿预测， 对应的位移作为目标图像的像块视差。因此，在传输立体对时，只需要传输参考 图像和视差域，就能在解码端得到立体对的两幅图像。 对参考图像和视差域可以采用不同的编码方法。视差估计与补偿的像块尺寸 可以是固定的，也可以是变化的。采用尺寸变化的像块需要传输包含像块的附加 位置信息，增加了图像的传输比特数。但是，采用块尺寸固定的算法，如果像块 中存在复合物体或遮挡物体，就不能完全去除立体对的冗余度。解决这个问题的 方法就是减小像块的尺寸，提高视差域的比特率。另一个方法就是采用分段的 方法。四叉树分解为分段提供了一个相对经济且有效的技术。 此外，基于块的视差估计与补偿算法不能处理非线性变换，例如透视失真。 物体表面与照相机光轴不垂直时就会出现透视失真。常用的解决方法是用图像中 对应像块的变形来近似物体的变形。透视失真对于户外图像并不十分严重。 4 ) 基于对象法 在m p e g - 4 标准中，基于对象的编码方法1 1 9 的核心思想是：将用户感兴趣 的视频对象( v o ) 从场景中分割、提取出来，分配较多的比特数进行单独编码， 对其余不重要的部分给予较少的比特数，以显著提高编码效率。由于传输带宽的 限制，必须对压缩比特率进行控制，这就直接影响了图像质量。在甚低比特率的 情况下，整幅图像的主观视觉质量都受到影响，没灵活性可言。而采用基于对象 的编码方法，即使在低带宽的时候，也可利用码率分配方法，对于用户感兴趣的 对象多分配一些比特率，不感兴趣的对象少分配一些比特率，使图像的主观质量 得到保证。而且，和基于块的立体图像编码方法相比，基于对象的编码方法减少 了编码误差，对场景的表征更趋自然，便于操作和控制对象。但是这需要更复杂 的分析算法。在单通道图像与视频编码中，对象的提取和编码还没得到很好解决。 因此对于立体图象编码来说，基于对象的编码方法更是个新兴的研究课题。 t 海大学硕士学位论文 ! 坐! 竺型兰! 生塑竺! 堕兰! ! ! e ! ! ! 旦! ! 塑空 3 4 立体图像编码的一般方法 通过前面一些立体图像编码方法介绍，可以得出立体图像编码的一般方法。 由于立体对左右图像之间存在很强的相关性，所以一般采用视差估计与补偿方法 来去除图像之间的双目交叉冗余度。立体图像编码的一般过程如下： 将立体对中的左右图像分别定义为参考图像和目标图像。首先用已有的标准 对参考图像进行编码压缩。然后在参考图像和目标图像之间进行视差估计，根据 视差匹配得到的视差矢量，通过参考图像来预测目标图像，将预测得到的图像与 原图像相减，产生视差补偿差( d c d ) 或称为残差图像，最后采用合适的方式 编码视差场和残差图像。图3 1 为立体图像编码的一般框图。 图3 1 立体图像编码框图 图中，f l q 是解码后复元的参考图像。d v 是目标图像和参考图像间的视差 矢量。d c d 是视差补偿图像与原图像间的差值。r l 、r 2 、d l 、d 2 分别表示参考 图像及目标图像的编码率和失真。图中的实线为数据线，虚线为控制线。“码率 控制模块”是通过控制使量化器对不同的图像数据采用不同的量化步长，来控制 输出端的数据流量即传输速率。在这个系统中，f l q 、d v 和d c d 共用一组具有 不同量化步长的量化器，由码率控制模块来统一规定使用，按要求决定三者所用 的比特率之比，按信道速率和缓冲器的饱和程度决定比例的基数。 第1 4 负 上海大学硕士学位论文 办ep o n m d u a t et h e s i so f s h a h 曲a ju n i v e r s i t y 3 5 立体对与单视视频序列的比较 通过前面的描述可以看到，立体图像编码中的视差估计与补偿与单视视频序 列中的运动补偿非常相似，似乎视频编码的运动补偿算法应该完全可以用于立体 图像的编码，立体图像不过是单视觉系统的一种选择性扩展。然而，这两者之间 存在着重大的差别 2 0 】，主要有以下三个方面。 1 ) 立体对的视差值与单视视频序列的运动位移大小不同 一般的单视视频序列编码是采用低比特率的编码算法。背景物体通常在视频 的帧与帧之间不发生移动或发生很小移动。运动物体的位移作为纯变换模型通常 需要的像素不多。而立体对中的每个物体( 包括背景物体和前景物体) 都有视差 位移。视差是一个深度信息的函数( 见2 - 3 式) ，它的值要比视频序列中的运动 位移值大得多【2 ”。所以，立体图像的视差补偿性能比视频编码中相邻帧之间的 运动补偿性能要差，特别是在甚低比特率的情况下。另外，在立体图像编码中， 如果知道摄像机的结构，就可以确定视差矢量的方向，简化编码算法。 2 ) 立体对编码中存在光照变化的问题 立体对两幅图像问存在光照变化。它是由于光反射的空间变化特性造成的。 在基于块的图像或视频补偿算法中，一般都假设“像素沿着位移轨迹的灰度值是 不变的”。对单视视频序列而言，是指同一物体的同一像素在相邻帧中的亮度是 保持不变的。对立体对而言，是指左右图像中同一物体的同一像素灰度值是相同 的。但是这个假设一般只适用于视频序列，很少适用于立体对。因为景物的光 线强度取决于摄像机与景物之间的相对位置，这是光照变化的基本源，而且随着 噪声的出现和摄像机光学特性的不问，像素灰度也会出现其它变化。因此，在立 体对的两幅图像中，同一景物同一位置的像素会出现不同的灰度值。一般可采用 直方图修正( 2 2 j 的方法增强图像间的相关性，从而对立体对两幅巨f 像的不同亮 度特性进行补偿。然而，这种方法是全局性的，不能对局部的光照变化( 例如眩 目的强光) 进行补偿。 上海大学硕士学位论文 旦! ! ! ! ! ! 翌! ! 苎! 旦! ! ! ! ! ! ! ! ! g ! ! ! 坚! ! ：! ! ! ! 型 3 ) 立体对和单视视频序列的遮挡源不同 在单视视频序列中，遮挡是由于运动物体覆盖在背景上造成的。立体对中， 由于有限的视觉区域、镜头误差或是深度的不连续性，使得景物的某些部分只在 立体对的一幅图像中出现，从而造成遮挡区域( 见图3 2 ) 。在一些应用中，通过 对图像进行适当的水平处理，可以把遮挡效应降到最低，或者是对遮挡区域采用 独立的编码方法【3 6 】。 一个三维景物 有限的视觉区 域造成的遮挡 左图 由于深度信息 不连续造成的 遮挡面 右图 图3 2由于深度信息不连续和有限视觉区域造成的遮挡问题 第16 负 上海大学硕士学位论文 竺! _ = ! = ! ! 坚型! ! ! ! ! ! 型! ! ! ! ! ! ! 塑! ! ! ! 竖! ! 型 第四章基于块的视差估计与视差补偿 基于块的视差估计与补偿算法是立体图像编码中的一种常用方法。它的基本 思想( 见图4 1 ) 是先对立体对中的参考图像进行独立压缩编码。然后把立体对 的参考图像和目标图像分割成若干像块。把目标图像的每个像块进行水平移动， 与参考图像中的对应像块进行比较，通过一些逼真度的误差匹配标准【2 4 】来决定 像块间的相似程度。参考图像中最接近的像块作为目标图像的视差补偿预测块， 对应的像块位移d 就称为视差，由它构成的稀疏矩阵就称为视差矩阵或视差域。 预测图像和目标图像相减，得到残差图像。从而在传输立体对时，只需传输参考 图像、视差域和残差图像，就能在解码端得到立体对的两幅图像，达到了压缩数 据的目的。如果解码端对图像质量的要求不高，亦可不传输残差图像。 参考图像( 左图像) d 目标图像( 右图像) 4 1 视差估计和补偿算法示意图 图4 1 中，参考图像中的像块1 是目标图像中像块a 的预测( 匹配) 像块， 那么矢量d 就是像块a 的视差矢量。基于块的视差估计与补偿方法原理简单，算 法的运算量相对较少，技术比较成熟，硬件也容易实现，因此得到了广泛的应用。 箱17m 上海大学硕士学位论文 旦! ! ! ! 堕翌墅! 堡! ! ! ! ! 堕! ! ! 坚! 墅旦! ! ：! 翌! 堡 4 1 基于块的视差估计与补偿算法 立体图像编码中广泛采用了基于块的视差估计与补偿算法 2 ”，以此来去除 立体对中的双目交叉冗余度。下面讨论几种基于块的视差补偿算法。 4 1 1 块尺寸固定的匹配方法 块尺寸固定的匹配方法( f s b m ) 是把立体对的两幅图像分割成大小相等的 固定尺寸块，设定一个搜索步长，根据某一匹配误差准则，确定最佳的像块预测。 常用的误差匹配准则是平均绝对误差( m a e ) 、归一化均方误差( n m s e ) 以及 峰值归一化均方误差( p m s e ) 。本文以左图像作为参考图像，右图像作为目标 图像。左图像的像块用b 1 表示，右图像的像块用b ，表示，图像被分割成n n 大小的像块。m a e 、n m s e 和p m s e 分别被定义为： n n i t , ，( f ，j ) - b t ( i + k ，) 【 m a e ；上l 型一 ( 4 1 ) n n n n z t t , ，( i ，j ) 一b ，( f + 七，卯 n m s e = 旦点可可一 z t t ,