（电子科学与技术专业论文）基于h264的空域误码掩盖技术的研究.pdf

t h er e s e a r c ho ns p a t i a la r e ae r r o rc o n c e a lm e n tt e c h n o l o g y b a s e do nh 2 6 4 b y w a n gx i a o h u b e ( h u n a nb u s i n e s sc o l l e g e ) 2 0 0 3 at h e s i ss u b m i t t e di np a r t i a ls a t i s f a c t i o no ft h e r e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro fs c i e n c e c i r c u i ta n de n g i n e e r i n g i nt h e g r a d u a t es c h o o l o f h u n a nu n i v e r s i t y s u p e r v i s o r p r o f e s s o rl if u h a i n o v e m b e r ，2 0 1 0 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名： 抄缸 日期： 知l j 年3 月j e t 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1 、保密口，在一年解密后适用本授权书。 2 、不保密哦 ，( 请在以上相应方框内打“”) 作者签名：如1 、旁0 作者签名： ( ；一l 、历 ”v 别帷名膨雄磅 e t 期：山j1 年月y e i e t 翔：义国l f 年j 弱l je t 基于h 2 6 4 的窄域误码掩盖技术的研究 摘要 近年来，随着信息化社会的发展，视频通信在生活工作中的应用越来越广， 对视频传输的质量要求也越来越高。新一代视频编码国际标准h 2 6 4 a v c 由此 产生，该标准有着更高的压缩性能、更好的网络适应性和更强的抗误码能力。但 是由于信道本身的误码及延时特性，编码压缩的视频信号在传输过程中出现传输 差错是难以避免的，这种差错很容易在传输过程中出现扩散和蔓延，严重影响视 频信号的质量。因此，有必要提高视频传输中的抗误码能力。 本文首先简单介绍了h 2 6 4 a v c 视频编码标准的基本结构及关键技术。分 析了视频通信中误码产生原因和影响，研究了常用差错控制技术及h 2 6 4 a v c 中差错控制技术。在深入研究现有空域错误掩盖技术基础上，针对其不足之处和 适应环境，提出了一种改进的“多纹理方向空域错误掩盖算法，该算法首先在 丢失宏块的邻域内与丢失宏块相距d = 2 的像素边界上寻找边缘点：然后，对宏 块边界上边缘点的梯度方向和梯度强度进行统计；接着，采用一定的匹配准则将 各个边缘点连接成边缘直线，根据边缘直线的划分将丢失宏块分为若干区域；最 后，根据预先设定的阂值将区域分为平滑区域和纹理区域。对平滑区域采用中值 内插算法恢复；对纹理区域进一步分为单纹理和多纹理区域分别进行插值恢复。 通过实验结果表明，该算法提高了方向插值的精确性，避免了虚假边缘的产生， 测试序列误码隐藏效果图的视觉效果和信噪比( p s n r ) 值相对于加权像素值平 均插值算法和多纹理插值算法均有较大提高。 关键词：h 2 6 4 a v c ；误码掩盖；空域；纹理 硕士学位论文 ! = = = = g j = e = 9 1 2 = ! = ! = = = = = 2 1 1 = ! ! 自g = 自= = i i 目! ae 自a 自e = ! ! = = 自= = ! = = e 目= g g 自目e = = = 目自! e ! ! ! ! a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o ns o c i e t y ，v i d e oc o m m u n i c a t i o n s w i d e l ya p p l i e di no u rw o r ka n dl i r em o r ea n dm o r e ，a tt h es a m et i m e ，t h e r e q u e s t st o t h eq u a l i t yo fv i d e oc o m m u n i c a t i o ni sh i g h e r t h e r e f o r e ，an e w g e n e r a t i o n o ft h ev i d e oe n c o d e ri n t e r n a t i o n a ls t a n d a r d s h 2 6 4 a v cw a s c o n s t i t u t e d t h es t a n d a r dh a sh i g h e rc o m p r e s s i o nc a p a b i l i t i e s ，b e t t e rn e t w o r k a d a p t a b i l i t ya n ds t r o n g e re r r o rc o n c e a l m e n t b u t ，t h et r a n s m i s s i o ne r r o ro c c u r s f r e q u e n t l yd u r i n gt r a n s m i t t i n gt h ec o d e da n dc o m p r e s s e dv i d e oi n f o r m a t i o na s i n t e r r u p t i o na n dd e l a yh a p p e ni nc h a n n e l t h e r e f o r ei ti sn e c e s s a r yt oi m p r o v e t h ee r r o rc o n c e a l m e n ta n de r r o rr e s i l i e n c ec a p a b i l i t yd u r i n g t h ev i d e o t r a n s m i t t i n g f i r s t l y ，t h i st h e s i si n t r o d u c e dt h eb a s i cf r a m e w o r ka n dp i v o t a lt e c h n o l o g y o fv i d e oc o d i n gs t a n d a r dh 2 6 4 a v cb r i e f l y t h e nt h ec a u s a t i o no ft h ee r r o r o c c u r r i n gd u r i n g v i d e oc o m m u n i c a t i o na n di t se f f e c t t ot h ev i d e o c o m m u n i c a t i o nw a sa n a l y z e d t h ec o m m o ne r r o rc o n c e a l m e n ta n dr e s i l i e n c e t e c h n o l o g ya n di t sa p p l i c a t i o n i nh 2 6 4 a v cw e r es t u d i e d a ni m p r o v e d m u l t i t e x t u r ei n t e r p o l a t i o ne r r o rc o n c e a l m e n ta l g o r i t h mw a sp r o p o s e db a s e d o ni n d e p t hr e s e a r c ht h ee x i s t i n gs p a t i a la r e ae r r o rc o n c e a l m e n tt e c h n o l o g i e s a n dt h e i rd i s a d v a n t a g e s t h i sa l g o r i t h mf i r s tf i n dt h em a r g i n a lp o i n t so nt h e p i x e le d g e sw h i c ha r ea p a r tf r o mt h el o s tm a c r ob l o c kd = 2i n t h en e i g h b o r i n g b l o c k s ，t h e n ，i ts t a t i s t i c st h eg r a d i e n td i r e c t i o na n dg r a d i e n ts t r e n g t h o ft h e m a r g i n a lp o i n t sa tt h em a c r oe d g e s ，a n dt h e ni tm a t c ht h em a r g i n a lp o i n t si n t o m a r g i n a li i n e r sa c c o r d i n gt oc e r t a i ns t a n d a r d s ，t h e nt h el o s tm a c r oi sd i v i d e d i n t os e v e r a ld i f f e r e n tr e g i o n s f i n a l l y ，t h em a c r oi s d i v i d e di n t os m o o t h r e g i o n sa n dt e x t u r er e g i o n sa c c o r d i n g t oap r e d e t e r m i n e dt h r e s h o l d t h e s m o o t hr e g i o n sc o n c e a l e dw i t ht h em e a ni n t e r p o l a t i o na l g o r i t h m ，a n d t h e t e x t u r er e g i o n sf u r t h e rd i v i d e di n t os i n g l e - t e x t u r ea n dm u l t i - t e x t u r er e g i o n s ， a n dc o n c e a l e dr e s p e c t i v e l y t h ee x p e r i m e n t a lr e s u l t ss h o w e dt h a tt h ep r o p o s e d a l g o r i t h mc a na c h i e v eg o o dd i r e c t i o n a li n t e r p o l a t i o n ，a v o i df a k ee d g e s t h e t e s t i n gv i d e os e q u e n c e sa f t e re r r o rc o n c e a l m e n th a db e t t e rv i s i o ne f f e c ta n d h i g h e rps n rc o m p a r e dw i t hm e a ni n t e r p o l a t i o na l g o r i t h ma n dm u l t i - t e x t u r e i n t e r p o l a t i o na l g o r i t h m k e yw o r d s ：h 2 6 4 a v c ；e r r o rc o n c e a l m e n t ；s p a t i a la r e a ；t e x t u r e 基于h 2 6 4 的空域误码掩盖技术的研究 目录 学位论文原创性声明和学位论文版权使用授权书i 摘要i i a b s t r a c t i i i 插图索引v i 附表索引v i i i 第1 章绪论1 1 1 研究背景和意义1 1 2 国内外研究方向1 1 3 本文的研究目标与结构安排4 第2 章抗误码技术介绍6 2 1 视频压缩编码概述6 2 2 误码产生的原因及影响6 2 3 差错控制技术7 2 3 1 编码端的抗误码技术7 2 3 2 解码端的误码掩盖技术1 1 2 3 3 交互式错误隐藏技术1 1 2 4 本章小结1 2 第3 章h 2 6 4 标准及其差错控制技术分析1 3 3 1h 2 6 4 编解码器1 3 3 1 1h 2 6 4 编码器1 3 3 1 2h 2 6 4 解码器1 4 3 2h 2 6 4 结构1 4 3 2 1 档次和级别1 4 3 2 2 码流结构1 5 3 3h 2 6 4 标准的关键技术1 6 3 3 1 帧内预测16 3 3 2 帧间预测1 9 3 3 3 整数d c t 变换2 3 3 3 4 熵编码2 4 3 3 5 去方块滤波2 4 3 4h 2 6 4 标准下的差错控制技术2 6 i v 硕士学位论文 3 4 1 参数集2 6 3 4 2 灵活的宏块排序2 7 3 4 3 数据分割2 8 3 4 4 冗余片方法2 9 3 4 5 帧内编码3 0 3 5 本章小结3 0 第4 章多纹理方向空域误码掩盖技术的实现3 2 4 1 空域误码掩盖技术3 2 4 1 1 加权像素值平均插值算法3 2 4 1 2 纹理插值算法3 3 4 1 3 其他空域误码掩盖算法3 7 4 2 改进的多纹理插值算法3 7 4 2 1 算法基本步骤3 8 4 2 2 边缘检测3 8 4 2 3 插值方向的确定和区域的划分3 9 4 2 4 区域方向的插值及算法4 0 4 2 5 自适应切换4 3 4 2 6 实验与结果4 4 4 3 本章小结4 8 总结与展望4 9 参考文献5 1 致谢5 5 附录a 在学期间研究成果及发表的学术论文5 6 附录b 部分程序代码5 7 v 基于h 2 6 4 的空域误码掩盖技术的研究 插图索引 图2 1 视频编码系统框图6 图2 2 分层编码结构示意图8 图2 3 多描述编解码系统原理图9 图2 4 信源、信道联合编码器原理9 图2 5 可逆变长编码原理1 0 图3 1h 2 6 4 编码器功能结构图1 3 图3 2h 2 6 4 解码器功能结构图1 4 图3 3h 2 6 4 的基本档、主档次、扩展档划分示意图1 5 图3 4i n t r a 4 x 4 预测模式1 7 图3 54 x 4 块各像素点定义1 7 图3 6i n t r a 4 x 4 预测选项方向示意1 7 图3 7 亮度分量的1 6 1 6 块预测模式1 8 图3 8 树状结构的运动补偿2 0 图3 9 残差图像中所选择块的大小2 0 图3 1 0 亮度1 2 像素位置内插2 1 图3 1 1 亮度1 4 像素位置内插2 2 图3 1 2 亮度1 8 像素位置内插2 2 图3 1 3 多参考帧预测2 3 图3 1 44 x 4 块边界2 5 图3 15 边界强度选择流程2 5 图3 1 6 参数集的带外传输机制2 6 图3 17h 2 6 4 中的f m o 模式2 8 图3 1 8 数据分割示意图2 9 图4 1 加权像素值平均插值示意图3 3 图4 2 加权像素值平均插值法恢复效果3 3 图4 3 方向计数器3 4 图4 4 单纹理插值示意图3 5 图4 5 单纹理插值恢复效果3 5 图4 64 子块和8 子块虚拟图像恢复效果3 6 图4 74 子块和8 子块图像恢复效果3 6 图4 8 固定尺寸分块和可变尺寸分块图像恢复效果3 7 v i 硕士学位论文 图4 9 边缘检测与区域划分3 9 图4 10 插值方向选取流程图4 0 图4 1l 区域内方向插值4 1 图4 1 2 参考像素点选取算法流程图4 2 图4 13 自适应切换算法流程图4 4 图4 1 4c a r p h o n e y u v 序列空域算法仿真效果图4 5 图4 15f o r e m a n y u v 序列空域算法仿真效果图4 6 图4 16s a l e s m a n y u v 序列空域算法仿真效果图4 7 v 基于h 2 6 4 的空域误码掩盖技术的研究 附表索引 表4 1 错误隐藏方法信噪比比较4 8 v i 硕士学位论文 1 1 研究背景和意义 第1 章绪论 近十几年来，随着计算机技术、电子技术、通讯技术的发展，多媒体内容正 在飞速地增加，人们对传输视频和图像的要求也越来越高，因此，多种数字信号 处理技术和各类相关硬件技术以及视频图像压缩编码算法也不断的发展。在视频 图像压缩编码技术方面，i s o i e c 专家组制定了m p e g 1 、m p e g 一2 、m p e g 4 和i t u - t 专家组制定了h 2 6 l 、h 2 6 2 、h 2 6 3 到后来的增强版本h 2 6 3 + + ，新 的压缩标准被提出并不断改进。随着市场对视频传输需要的增加，如何在不同传 输特性的信道中传输成为人们关注的问题。为此由i t u t 视频编码专家组 v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 和i s o i e c 运动图像专家组m p e g ( m o v i n gp i c t u r e se x p e r t sg r o u p )在2 0 0 1 年成立了联合视频小组j v t ( j o i n tv i d e ot e a m ) ，致力于新的视频压缩标准的制定，并在2 0 0 3 年发布了 新标准的正式版本一一h 2 6 4 。 h 2 6 4 是一系列国际视频压缩标准的最新标准，较之早先开发的m p e g x 和h 2 6 x 标准，它有以下优点：压缩性能更高，减少了5 0 码率；对网络传输 具有更好的支持，能适应不同网络中的视频传输，进一步提高网络的“亲和 性 。因此它常被称为a v c ( a d v a n c ev i d e oc o d i n g ) 。 然而，由于信道噪声的存在和传输带宽的限制，信息在传输过程中容易发生 误码。而现有的视频编码技术为了获取高压缩比通常采用一些技术手段( 如运动 补偿、预测和变长编码等) 去掉视频序列中的大量时空相关性，使得编码后的视 频数据的抗误码能力十分脆弱；尤其预测编码技术的应用，一帧数据中的错误还 会向后扩散，即发生误码衍生现象，严重影响重建图像质量，甚至无法重建图 像。因此，在视频通信应用中，视频编码算法的容错性能非常重要，是一个非常 值得研究的课题【2 j 。 1 2 国内外研究方向 由于视频信息在信道中传输易出现误码，近年来国内外许多学者与专家都致 力于视频通信中差错控制技术研究。根据其实施部位不同，差错控制技术可分为 三类：抗误码技术e r ( e r r o rr e s i l i e n t ) 、误码掩盖技术e c ( e r r o rc o n c e a l m e n t ) 和交互式错误隐藏技术。 1 抗误码技术 基于h 2 6 4 的空域误码掩盖技术研究 抗误码技术采用的方法是首先在信源编码端或信道编码端添加一些特定的冗 余信息，然后根据这些冗余信息与有效数据之间的关系来实现误码的恢复或阻止 误码扩散，达到加强码流对传输的鲁棒性目的，其主要在编码端实现。当前的抗 误码技术主要有：鲁棒熵编码技术，该技术采用基于块的熵编码方案，以一种 确定方式对数据进行封装，解码端可以确切地知道每个块的起始位置，同步性能 好，数据重建效果较好；信源信道联合编码【3 l ，该技术在信源编码器和信道之 间建立一个反馈通道，联合最优比特分配，综合考虑两者编码设计方法；传 输层差错控制【4 1 ，该技术提供一个基本的q o s 级，在信息编码器、打包器复 用器和传输协议层进行差错控制；基于分层编码的不均等保护和数据分类技术 【钉，该技术将视频序列分为两个或两个以上的码流层，各码流层包含重要性不同 的视频信息：基本层包含视频最基本、最重要的信息，而增强层包含视频图像的 细节信息，各码流在不同优先级和保护措施的信道中传输。视频信息在解码端可 以根据网络状况和用户要求选取基本层和适当数量的增强层解码，以满足重建图 像质量需求；多描述编码技术【6 1 ，该技术将信源分解为两个或者两个以上具有 同等重要性的码流，在码流之间引入相关，形成信息冗余保护机制，各码流通过 相互独立信道进行传输，接受端收到的码流越多，重建图像质量越高。 ， 抗误码技术的优点在于：实现方法简单、同步性能好、差错控制效果好，对 误码的衍生、蔓延现象更容易克服；但是，该技术也面临一个技术难题：添加过 多冗余信息会影响信息的传输速率；而增加的冗余信息过少，则起不到有效的保 护作用，受损压缩视频的重建效果达不到视觉要求，因此，如何找到两者之间的 平衡点成为了该技术考虑的重要问题。 2 误码掩盖技术 主要在解码端实现，其不需要使用任何附加信息，只需通过对视频信号中空 间和时间相邻的采样点的相关性进行估计，并利用人类视觉系统特性对误码进行 掩盖。当前误码掩盖技术主要三种： ( 1 ) 时域误码掩盖技术 采用时域误码掩盖技术时，根据视频序列的相邻帧间的相关信息，通过对相 邻帧经过运动补偿后的正确图像数据来估计和恢复受损图像。传输差错对帧间图 像造成的错误主要发生在运动矢量和其他数据上：当前者正确传输而后者发生错 误时，可以通过直接使用运动补偿块代替受损块的方法重建视频图像；当前者被 破坏而后者正确传输时，可以通过运动矢量恢复技术将运动矢量估计出来重建视 频图像：当两者均被破坏时，可以先估计出运动矢量，然后直接利用错误的残差 数据进行解码或直接使用运动补偿块代替受损块来重建图像。运动矢量正确传输 的情况下发生数据错误造成的影响通常很小，因此，时域误码掩盖技术的关键在 硕士学位论文 于运动矢量被破坏时恢复算法，其恢复效果直接影响了视频图像重建质量。这种 技术主要处理发生错误的帧间p 帧和b 帧图像。 l a m 利用时域运动相关性提出了一种基于边界匹配的时域误码掩盖算法【7 】 ( b m a ，b o u n d a r ym a t c h i n ga l g o r i t h m ) ，该算法选取边界像素和丢失块周围 相邻的像素误差绝对值和( 或平方和) 最小的块来代替丢失块。b m a 利用了时 域运动的相关性和像素空域的相关性，图像重建效果较好，且实现简单，因此被 j v t 所采纳，成为h 2 6 4 的标准算法，但该算法对于一些运动剧烈的图像，算 法的恢复效果并不理想。文献 8 】将交迭运动补偿和b m a 结合起来，减弱了方 块效应。文献【9 】提出了一种两步多权值边框匹配算法( t m b m a ，t w os t e p m u t l i - w e i g h t e db o u n d a r ym a t c h i n ga l g r i t h m ) ，首先对受损p 帧的所有丢失 宏块进行预掩盖，然后进行多权值边框匹配，选出宏块最佳运动矢量。该算法充 分利用了丢失宏块的相邻宏块信息，相比b m a 进一步提高了运动向量预测的精 确性，但由于其还是只取了当前帧或相邻帧的某个宏块的运动矢量作为插值运动 矢量，没有充分利用不同宏块运动矢量不同的特点，所以其精确度有待进一步提 高。 时域误码掩盖技术恢复的效果强烈依赖与运动矢量的恢复，当视频图像序列 中不能得到运动矢量( 如序列i 帧) 或者运动复杂时( 如序列p 帧) ，则重建视 频图像效果不好。 ( 2 ) 空域误码掩盖技术 该技术根据自然图像在空间域上的相关性，利用同一帧中正确解码或已进行 错误掩盖的相临宏块进行空间域插值，以恢复丢失的或已发生错误的宏块信息。 该技术主要处理帧内图像出现错误的情况。 s a i g n 1 0 等人提出了双线性内插法，该方法比较简单，但对边缘恢复效果 不好。k w o k 和s u n 提出了一种方向性内插法【l l 】，该方法利用相邻块信息来判 断丢失块中边缘方向，并沿此方向内插，该方法检测边缘方向的精确度决定了恢 复效果。h s u n 1 2 】等人提出了凸集投影法p o c s ( p r o j e c t i o no n t oc o n v e x s e t s ) ，该方法利用丢失宏块周围信息形成一些凸集( 每个凸集包含丢失宏块的 某一方面信息) ，通过递归的方法经过空间域和频率域对凸集求解，来重构图 像，该方法效果较好，但复杂度高，不适合实时应用。s h i r a n i 1 3 】利用图像像素 点之间的相关性提出了一种基于马尔可夫随机场的错误掩盖技术，该方法对图像 边缘信息恢复效果较好。 由于空域隐藏算法利用自然图像在空间域上的相关性，因此，如果受损块和 相邻块处于同一亮度区域，则算法重建图像质量较好；否则，则会导致图像质量 的钝化。此外，算法的效果还依赖于周围区域图像数据能正确接收。 ( 3 ) 频域误码掩盖技术 基于h 2 6 4 的空域误码掩盖技术研究 该技术利用受损宏块周围临近块的d c 分量和其他部分低频系数进行插值 恢复，其他系数通常置为零。w a n gy a o 等人最初提出了最优平滑恢复原理i l 4 j 来恢复变换域d c t 系数，后来在次基础上改进到了二阶平滑【1 5 】。文献h 6 i 提出 了一种线性平滑约束方程描述受损宏块和周围临近块的相关性，并求出误码变换 系数最优解来恢复受损宏块。文献【1 7 】利用受损块与相邻块相关性，通过基于函 数的加权线性组合来描述受损块周围正确块，提出了一种基于频域选择外推的掩 盖方法来获得受损块的估计值。 由于频域误码掩盖方法将高频系数强制为零，损失了大量的a c 系数，因 此，当图像纹理复杂、高频部分较多的情况下，重建变得非常模糊。 3 交互式错误隐藏技术 该技术在源端编码器和解码器之间引入额外的反馈信道，以达到使编码器根 据解码器检测到的丢失情况进行调整操作，尽可能减小传输误码造成的影响的目 的。通常的方法包括：基于反馈信息的参考帧选择技术【l 引，编码器通过反馈 信道了解到前面编码帧的被破坏的部分，编码器可以跳过此帧选择更前面的帧作 为参考帧，这要求编解码器都有较大的存储空间，并且发送反馈信息的时间越 长，编码效率的损失就越大，不利于实时传输；基于反馈的误码跟踪技术 【1 9 】，该技术采取跟踪误码影响其他帧的解码像素，并采用相应的操作。 交互式错误隐藏技术要求反馈信道是可靠的，其信息传输是实时的，在实际 应用中噪声、干扰等因素限制了它的应用。 1 3 本文的研究目标与结构安排 在研究了大量当前国内外关于误码掩盖的资料和文献的基础上，通过分析了 各种算法的优缺点发现，抗误码技术由于加入了冗余信息增加了比特数，如何在 保证较高的压缩比的同时减小视频信息传输失真度，成了该技术要解决的重要问 题；同时，某些技术需要改变码流结构( 如分层编码等) ，使其实施过程十分困 难。交互式隐藏技术在编码端与解码端加入额外反馈信道，带来的额外延时是大 多数视频应用中所无法接受的；而且，其对软硬件都有较高要求，不利于实时应 用。相反，在解码端进行的误码掩盖技术更加简单、直接，相比较而言，其无需 加入冗余信息、改变码流结构，不带来额外延时，因此特别实时传输。 本文的研究目标以解码端实现的误码掩盖技术为重点，针对现有 h 2 6 4 a v c 标准中空、时域误码掩盖技术的不足之处，分别提出相应的改进算 法，并进行仿真测试，分析结果并得出结论。 论文的结构安排如下： 第1 章，主要介绍了研究课题的背景和研究意义，并对本文主要工作做了简 要概括； 硕士学位论文 第2 章，介绍了视频编码基本原理和误码产生的原因、影响及常用的抗误码 技术。 第3 章，分析了h 2 6 4 a v c 视频编码标准原理、结构及其关键技术，详细 研究了h 2 6 4 a v c 标准下的差错控制技术； 第4 章，分析研究了现有空域错误隐藏算法的优缺点和适应环境，提出了一 种改进的多纹理方向空域错误隐藏算法，通过实验仿真对算法进行了测试和分 析； 总结与展望。 基于h 2 6 4 的空域误码掩盖技术研究 第2 章抗误码技术介绍 2 1 视频压缩编码概述 一般情况下，原始的或未经压缩的数字视频比特数非常高，同时信道传输带 宽有限，所以在数字视频的存储和传输过程中压缩是非常必要的，而视频图像具 有很强的时空相关性，存在大量时间、空间冗余，这些冗余为视频压缩编码提供 了可能。视频数据压缩编码的核心是消除冗余，去除一些对图像质量影响不大的 信息。根据压缩对图像质量的影响，可分为无损压缩和有损压缩。无损压缩使得 解码后构图像与原图像质量完全一致，但其压缩的效率很低；有损压缩解码后图 像压缩比得到提高但其以图像质量下降为代价。视频编码系统的基本结构如图 2 1 所示。 编码器 解码器 图2 1 视频编码系统框图 2 2 误码产生的原因及影响 在h 。2 6 x 和m p e g x 等标准中，由于运动补偿、变换编码及熵编码的框架 采用，这些编码器为了最大限度地降低视频信号中存在的空间和时间冗余度，通 常采用运动估计、运动补偿、d c t 、量化以及变长编码等技术，这些技术的使 用伴随着比特跳转、比特插入和比特删除的比特错误的出现；同时由于视频信息 传输过程中信道带宽的限制和噪声的影响( 对于无线通信而言，更加严重) ，视 频传输不可避免地会出现误码。 一个比特出现错误或丢失，主要有两方面的影响：一方面，影响出错数据的 解码；另一方面，影响到其他与之相关的数据解码。这样的后果是，一个帧的错 硕士学位论文 误将衍生、扩散到后续帧。这样，随着错误的产生、衍生，解码视频的画面质量 急剧下降，或者很多比特无法解码，直到到达下一个同步点。因此，非常有必要 在传输压缩视频流时采用相应的差错控制技术，以尽可能减少错误的产生或使错 误的影响降到最小。 2 3 差错控制技术 差错控制技术根据其实施部位不同大体可以分为两类：第一类，抗误码技术 ( e r r o rr e s i l i e n t ，e r ) ；第二类，错误隐藏技术( e r r o rc o n c e a l m e n t ， e c ) 。e r 技术通常在编码端实现，通过在视频编码的过程中加入一定的冗余信 息，并利用它们与有效数据之间的关系来加强码流对传输的鲁棒性，减少传输错 误的目的，其具有灵活、多样的优点。但是，由于编码比特流中冗余信息的加 入，导致传输码率有所下降，传输带宽有所增加，同时，增加了编码复杂度。相 比，e c 技术通过空间和时间相邻的采样点的相关性进行估计，从而达到对误码 进行掩盖的目的。其不需要在编码器加入附加信息，不需要改变编码器，无需改 变视频码流结构，只是在解码端增加了一定的时延和计算复杂度，具有更好的适 应性。近年来其备受关注，是研究的热点。 抗误码技术包括信道抗误码和信源抗误码。这里只讨论信源抗误码，从编码 端的抗误码技术，解码端的错误隐藏技术，编解码交互的抗误码技术等三个方面 介绍了各种抗误码技术。 2 3 1 编码端的抗误码技术 编码端的抗误码技术从本质上讲，就是通过在信源编码端或信道编码端增加 一些可控的冗余信息，利用它们与有效数据之间的关系加强码流对传输的鲁棒 性，保证信源以可能的最大熵在信道中无错传输。编码端的抗误码技术有很多的 实现方法，下面就几种常见的抗误码技术作简单介绍。 2 3 1 1 分层编码 分层编码通常也称为分级编码或可伸缩编码( s e a l a b l ec o d i n g ) ，指的是 将视频信息划分为多个组或层。基本层中主要放置编码模式、运动矢量等最重要 的基本信息，可以独立解码；增强层主要放置一些可以得到一个更加高质量的视 频信号的细节数据。由于信道差错不可避免，分层编码在使用过程中必须联合不 等重保护机制，提高传送过程中基本层的错误保护等级。这样，由于信道原因一 旦增强层出错或丢失时，解码器可以根据基本层码流的基本视频信息得到粗糙的 视频画面，不至于造成场景丢失的情况出现。 由于基本层是必不可少的，为了加强对基本层信息的保护，通常可采用两种 方法：第一种，使用高优先级进行传输；第二种，使用纠错能力较强的纠错码对 基于h 2 6 4 的空域误码掩盖技术研究 其编码。而对于增强层，每一个附加的增强层可以递增地改善视频质量，可以根 据目前带宽状况和视频要求来选择传输多少层。图3 1 是一个3 层的分层编码 结构示意图，为了获得能够达到的最佳质量，视频信号在解码基本层后可以根据 需要选取增强层解码。 制嚣 基本层 解码 增强层1 编码 增强层1 解码 增强层2 编码 高优先 通道 中优先 通道 低优先 通道 基本层 解码 增强层1 解码 增强层2 解码 + 输出 图2 2 分层编码结构示恿图 2 3 1 2 多编码描述 分层编码在差错信道中能提供最好的容错性能。但是，当基本层信息在信道 中传输出错或丢失时，由于基本层放置编码模式、运动矢量等最重要基本信息， 它的一点损失都将导致解码的视频质量大幅度下降，甚至无法重构图像。这时可 采用多描述编码( m d c ，m u l t i p l ed e s c r i p t i o nc o d i n g ) 来解决这个问题。 m d c 将信源分解为两个或更多互补子码流，且每个码流独立解码。这些子 码流也称为描述。与分层描述不同的是这些描述具有相关性，并有着同样重要 性，各个描述通过相互独立的信道进行传输的同时能利用其间的相关性能形成信 息的相互增强保护机制。 描述的相关性在于所有的描述都必须共享某些信源的基本信息，这种相关性 就是多描述编码中源端冗余。当所有描述都被接收，中心解码器根据多描述重要 性获得最高质量的重建视频信息；当遇到信道的暂时中断或长突发误码，由于各 种描述是通过相互独立的信道进行传输，根据概率论，所有信道同时发生误码或 丢失信息的几率非常小，或多或少总有描述传送到接收端。而多描述编码描述的 相关性决定了解码器端只要接收到一部分描述的信息，就能从接收到的所携带的 冗余信息中恢复出丢失的部分信息。由于每个描述都含有其它描述所没有的信 息，所以接受到的描述越多，重建视频图像质量越高。 图2 3 给出了一个多描述编解码系统的原理图。信源通过m d c 编码端被编 码为两个描述s l 和s 2 ，分别通过相对独立的信道l 和信道2 传输。在m d c 接 硕士学位论文 收端分为3 个独立解码器分别解码：中心解码器可同时接收两个信道传输的信 号，解码器1 和解码器2 只接收相应信道传输的信号，也称为边缘解码器。从中 心解码器重建的视频图像最高，而由边缘解码器恢复的视频图像则一般。 。i蜘m 取1 i s l - | 信道， l l ”1 i m d c 编码器 中心解码器 c o- 信道2 l li 矗曩碰堡ol 一l ”。 i 一 l s l 解码信号 ( 一般质量) 两信源解码 ( 较高质量) s 2 解码信号 ( 一般质量) 图2 3 多描述编解码系统原理图 2 3 1 3 信源、信道联合编码 在前面所描述的分层编码和m d c 方案共同之处在于其信源编码器和信道编 码器的交互都发生在高层。在分层编码中，源编码器生成一个分层的码流，各码 流采取不等重保护机制联合对待：信道编解码器保证源数据中携带最重要信息的 基本层最高等级保护传输，而增强层则携带细节信息采用低优先级传输。在 m d c 方案中，所有的具有相关性的编码比特均被源编码器假设为平等对待，并 且都会受到差错影响。 信源信道联合编码技术通过底层交互的方式进行，该编码方法首先统计信道 莹 误码，然后根据信道反馈数据来设计量化器和熵编码器，合理分配信源、信道编 码器比特，最小化传输误码的影响。图3 3 为信源、信道联合编码的原理框图， 其编码可分为两个步骤：第一步，根据信道反馈确定信源、信道码率最优分配 点；第二步，根据该分配点分