（信号与信息处理专业论文）基于h264的自适应宏块分割时空域结合的误码掩盖.pdf

南京邮i u 人学顶l ：研究生学位论文摘要 摘要 新一代图像编码标准h 2 6 4 除了具有高效压缩性能，还引入了一些新工具用于提高视 频传输的抗误码能力。尽管有这些错误恢复工具，但是在误码率高的信道下，如无线信道、 i p 信道，图像恢复的效果还是不尽入意。h 2 6 4 编码视频流在因特网上传输时，易受错误的 影响，错误不但会影响当前帧还会连续扩散到以后的解码帧，从而导致图像质量的严重恶 化，目前消除错误影响的常用算法是空域掩盖和时域掩盖算法，但是单纯地使用空域算法 会造成图像的钝化，而时域算法则无法处理大运动和有场景切换的图像区域。 本文提出了一种自适应分割宏块时空域选择的误码掩盖方法。首先根据受损宏块周围 的邻居宏块编码模式来估计受损宏块的编码模式，进而确定对于受损宏块采取空域还是时 域方法进行掩盖。时域方面，根据受损宏块的邻居宏块的自适应进行宏块分割然后进行运 动估计。提高了运动矢量恢复的准确性。空域方面，采用了平均象素加权插值方法进行掩 盖。结果证明这种方法由于可以自适应选择空域与时域方法进行误码掩盖，可以很好适应 各种视频序列情况，比如场景切换，图像运动剧烈。算法的改进均基于解码端，不改变h 2 6 4 原有的码流结构，具有广泛的应用性，与现有的方法相比，进一步提高了恢复的图像质量。 关键字：h 2 6 4 ：误码掩盖：空域日, - t 域误码掩盖：宏块分割；灵活的宏块排序f m o a b s t r a c t t h el a t e s tv i d e oc o m p r e s s i o ns t a n d a r dh 2 6 4d o e sn o to n l yp r o v i d eo u t s t a n d i n g c o d i n ge f f i c i e n c y ，b u ta l s oe m b e d sn e wt o o l st oi m p r o v ee r r o rr e s i l i e n c eo fv i d e o t r a n s m i s s i o n a l t h o u g ht h o s ee r r o rr e s i l i e n c et o o l sg i v ep r o f o u n dr e s u l t ，y e tt h e q u a l i t i e so ft h ev i d e ow h i c ha r et r a n s m i t e di nh i g he r r o rr a t ec h a n n e l s ，s u c ha s w i r e l e s sc h a n n e l ，i pc h a n n e l ，a r en o tv e r ys a t i s f y i n g d u et ot h ec o d i n gs t r u c t u r e o fh 2 6 4v i d e oc o m p r e s s i o ns t a n d a r d ，t h ep a c k e tl o s sc a ni n f l u e n c en o to n l yt h e c u r r e n tf r a m eb u ta l s os u c c e s s i v ef r a m e s s ot h eq u a l i t yo ft h ev i d e ow i l l b e d e g r a d e d h o w e v e r ，t h es p a ti a le r r o rc o n c e a l m e n tw il lc a u s eb l u ro ft h ei m a g ew h i l e t e m p o r a lc o n c e a l m e n tw i l lm a k eo b v i o u sa r t i f a c t s i nt h i sp a p e r ，b a s e do nt h ec h a r a c t e r i s t i c so fh 2 6 4e r r o rc o n c e a l m e n t ，w e p r o p o s e dan e wm e t h o do fe r r o rc o n c e a l m e n t ，w h i c ha d a p t i v e l yd e t e r m i n et e m p o r a l o rs p a t i a lc o n c e a l m e n tf o rt h el o s tm a c r o b l o c kb ya n a l y z i n gi t sn e i g h b o rb l o c k s c o d i n gm o d e si no r d e rt oc o m b i n et h ea d v a n t a g e so ft e m p o r a la n ds p a ti a lc o n c e a l m e n t i na s p e c to ft e m p o r a lc o n c e a l m e n t ，w ea d o p tan e wm e t h o di nw h i c ht h el o s t m a c r o b l o c ki sa d a p t i v e l yd i v i d e di n t os u b b l o c k sa c c o r d i n gt oi t sn e i g h b o r m a c r o k b l o c ks i z e ss oa st oi m p r o v ea c c u r a c yo fm o t i o ne s t i m a t i o n i na s p e c to f s p a t i a lc o n c e a l m e n t ， m e t h o do fa v e r a g ew e i g h t e dp i x e lv a l u ei n t e r p o l a t i o ni su s e d t h er e s u l ts h o w st h a tt h ep r o p o s e dm e t h o dc o u l dp r o d u c tb e t t e rr e c o n s t r u c t e dv i d e o b ya d a p t i v e l yu s i n gt e m p o r a lo rs p a t i a lc o n c e a l m e n ti nv a r i a b l es i t u a t i o nw i t h d if f e r e n t1yf e a t u r e dv i d e os e q u e n c e s1i k ev i d e ow i t hl o t so fs c e n ec h a n g eo rh i g h m o t i o na c t i v i t i e s t h e r e f o r eb e t t e rr o b u s t n e s so fv i d e ot r a n s m i s s i o ni so b t a i n e d t h ea l g o r it h ma r ef o c u s e do nd e c o d e rs i d e ，w i t h o u ta n ys t r u c t u r ec h a n g e so nh 2 6 4 v i d e oe n c o d e ra n dt r a n s p o r tt e c h n o l o g y t h e yc a nb ew i d e l ye m p l o y e di nav a r i e t y o fv i d e od e v i c e s k e y w o r d ：h 2 6 4 ： e r r o rc o n c e a l m e n t ： t e m p o r a l s p a ti a le r r o rc o n c e a l m e n t ； m a c r o b l o c kd i v i d i n g ；f l e x i b l em a c r o b l o c ko r d e r i n g i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中1 r t 明确的说明并表示了谢意。 研究生签名：日期： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：导师签名：日期： 南京l f f ；f 【 人学顾f j 研究生学位论文 第一章绪论 第一章绪论 近年来，随着因特网在全球范围的日益普及，移动通信的迅猛发展，网络传输以及各 科t 新兴多媒体业务的出现，如视频会议、可视电话、高清晰度电视、视频点播、视频检索、 数字图书馆、远程医疗以及视频监控等，都向视频编解码技术提出了许多新的要求。视频 编解码的研究已从面向存储转为面向传输，除了传统的良好压缩性能与重建质量外，实现 多分辨率编码、嵌入式编码及抗误码传输，从而能在无线移动环境向用户提供个性化的服 务。视频编解码技术已经成为当今信息科学与技术的研究热点。 为此，i t u - t 和i s o 先后制定了h 2 6 l 、h 2 6 3 、h 2 6 3 + 、h ，2 6 3 + + 、m p e g 1 、m p e g 2 、 m p e g 一4 等系列视频压缩编码标准，基本上解决了中高码率信道上图像存储和传输的要 求。2 0 0 1 年i t u t 和i s o i e c 成立了联合视频工作组，共同制定了最新的国际视频压缩标 准h 2 6 4 ，同时也是l v l p e g 4v i s u a lp a n1 0 ，该标准有效地提高了视频压缩效率。 到目前为止，h 2 6 4 标准定义了四个档次，其中基本档次( b a s e l i n ep r o f i l e ) 的目标是 使编解码复杂度最小，在大部分网络环境和条件下可以提供高度的鲁棒性和灵活性，主要 应用于可视电话、视频会议和无线通信等。但是由于无线信道易错、时变、带限的特点， 以及因多径现象导致的慢衰落和快衰落现象，使得无线信道的误码率要比有线坏境大得 多。i 司t j , - l - 由于带宽的限制，视频信息在传输前必须进行高效的压缩编码，去掉了大量的时 问和空问相关性，也使视频码流对信道误码十分敏感。因此，在无线视频通信中，对视频 流必须采取各种抗误码和纠错技术，以保证恢复图像的视觉质量。 抗误码技术主要分为信源编码的抗误码，信道传输的差错控制技术，信源信道联合编 码技术，和视频接收端的抗误码技术。 1 1 信源编码的抗误码 视频图像编码的方法很多，其中应用最广的是基于运动补偿和离散余弦变换的混合编 码算法。它通过采用d c t 变换编码去除单帧图像的空间冗余 9 ，帧间预测编码方法去除 图像删的时间冗余，能够获得较大的压缩比，增强信源的抗误码性。也可以在视频码流中 引入冗余信息，提高鲁棒性。但是增加冗余信息的方法在增加了抗误码能力的同时，改变 南京| l | l ；l 乜人学硕一f ：研究生学位论文 第一章绪论 了原有的码流结构，同时也占用了一定的信道带宽，因此多数编码器并不采用这种方法。 1 2 信道传输的差错控制技术 信道传输的差错控制主要由纠错编码器来实现，其基本做法是：在发送端对要传输的 数掘信号按照一定规则，附加一些码元，这些码元与原信息码元之间是以某种确定的规则 约束在一起。在收端通过检查这些附加码元与原信息码元之间的关系，就可发现错误和纠 f 错误。差错控制技术 1 一般分为自动请求重发( a r q ) 和前向纠错( f e c ) 两种基本的 误码纠错技术，二者结合起来形成了混合纠错技术( h e c ) 。 1 3 信源信道联合编码技术 针对香农信息论在实际应用中存在的局限性，人们提出了信源信道联合编码 ( j s c c ，j o i n ts o u r c ec h a n n e lc o d i n g ) 技术，这是一种兼顾视频传输效率和质量的有效方法， 目标是将信道带宽在信源、信道码率之间进行最优分配，使得端到端的失真达到最小，从 而获得最优的端到端传输性能。根据码流的不同部分对于图像重建质量的作用的不同，采 用不等的保护机制，这是信源信道联合编码的一个主要应用。例如，视频包中的头信息是 最重要的部分，对它采取的保护最多，运动矢量信息采取低一级的保护，最后是对纹理信 息的保护。这样的保护机制能够在发生误码的情况下，尽可能地利用正确信，官、进行误码掩 盖而不会使图像质量有太多的下降。 1 4 视频接收端的抗误码 视频传输与数据传输处理误码最大区别在于，数据业务不允许出现任何差错，而视频 业务要求实时传输，只要信号失真在一定程度之内，可以容忍一定的误码。对于视频传输 误码，不必象数据传输那样追求分毫不差的恢复，而可以通过寻找一些相关数据来代替误 码数据- 实现误码隐藏( e r r o rc o n c e a l m e n t ) 。在以人眼为最终信宿的视频应用中，误码 隐藏技术利用人眼的差错遮蔽特性，以及视频信号的强相关性( 如空间域和时间域) ，可 以恢复出人i j t 曼n - i 接受的视频信号。换句话说，误码隐藏并不真正消除误码，而是尽可能弥 2 南京i i | i ；电人学硕- j 二研究生学位论文 第一章绪论 补误码带来视觉损伤。误码隐藏的前提是视频解码器必须首先检测出码流中是否存在误 码，并且要尽可能精确地确定出误码位置。 新一代图像编码标准h 2 6 4 采用了多种用于增强压缩视频流抗误码能力的编码技术 1 ，以保证恢复视频流的质量，比如参数集，灵活的宏块分组，数据分割等概念的提出。 如何进一步提高视频传输的抗误码性以及错误恢复能力成为近年来研究热点之一。 1 5 本文研究内容及结构安排 h 2 6 4 作为新一代视频压缩算法吸收了以往编码方案的优点，在视频压缩性能上得到了 很大的提高。当然，h 2 6 4 的最终目的还在于提高视频流在各种不同网络拓扑结构上具有误 码或丢包情况下的错误恢复能力。 本文的主要贡献是：针对视频序列的不同特点，基于j m 8 6 原有的时域空域误码掩盖 的方法，提出了改进的自适应分割宏块时空域结合的误码掩盖方法。通过对受损宏块的邻 居宏块的编码模式的分析，估计受损宏块的编码模式，从而得到适合受损宏块的误码掩盖 方法，也就是选择空域或时域范围进行掩盖。对于需要时域掩盖的情况，自适应的分割受 损宏块。根据受损宏块周围邻居宏块的大小划分模式，估计受损宏块的划分。进而得到子 受损宏块的运动矢量，进行更准确的运动矢量恢复。对于需要空域掩盖的情况执行平均加 权象素内插。实验结果证明，与文献 3 相比，本文的方法可以更精确的估计运动矢量， 自适应的选择空域时域的误码掩盖的方法，提高视视频恢复的质量，更好适应于各种情况 的视频序列。如，场景切换，运动剧烈的视频序列等。 论文结构安排如下： 第一章绪论 第二章介绍视频编码标准的发展历程。 第三章介绍新一代视频编码标准h 2 6 4 的特点及其关键技术。主要有编解码器的结构，帧 内帧间预测编码技术，整数变换和量化，基于上下文的熵编码技术( c a v l c 和 c a b a c ) ，h 2 6 4 中抗误码工具，包括参数集，数据分割，灵活的宏块排列次序 ( f m o ) ，冗余片技术等。 第四章介绍了提高视频抗误码性能中的基于数据恢复概念的误码掩盖技术。对几种主要的 误码掩盖技术进行分类阐述，分析，比较。 第五章提出一种新型高效的误码掩盖技术，即自适应时域空域结合的误码掩盖技术。首先 南京l i f j j 电人学硕j ：形f 究生学位论文第一章绪论 通过分析丢失宏块邻居宏块的编码方式( 帧内编码块帧间编码块) 来估计丢失宏 块的编码方式，进而选择对丢失宏块进行空域还是时域的误码掩盖。一旦选择采用 时域方法进行图像恢复，则采用对丢失宏块自适应分割大小，从而更精确的进行运 动估计。此方法大大提高了时域掩盖准确性并自适应的根据序列特点选择误码掩盖 方法，结合了空域时域掩盖特点，从而提高了解码器的误码恢复能力。 第六章总结本文研究成果，并给出结论，提出进一步研究方向。 4 南京i f i l ； l 大学硕一i ? 研究生学位论文 第二章视频编码技术的发展历程 第二章视频编码技术的发展历程 从1 9 8 4 年提出电视信号数字化以来，图像压缩编码技术已有5 0 多年的历史，不进在 理论研究上取得重大进步，而且实际应用中也获得很大成果。多个关于图像编码的国际标 准制定，即国际标准化组织i s o 和国际电工委员会i e c 关于静止图像编码标准 j p e g j p e g 2 0 0 0 ，关于活动图像编码标准m p e g 1 ，m p e g 2 ，m p e g 4 等，以及国际电信联盟 i t u 制定的视频编码标准h 2 6 x 系列。这些标准融合了各种性能优良的图像编码算法，代 表了目前图像编码技术的发展水平。 从h 2 6 1 视频编码建议 2 2 6 2 ，h 2 6 3 ，h 2 6 3 + ，以及m p e g - 1 ，m p e g 一2 ，m p e g - 4 等视频编 码标准都有一个共同的不断追求的目标，即在尽可能低的码率下获得尽可能好的图像质 量。而且随着市场对图像传输需求的增加，如何适应不同信道传输特性的问题同益显现出 来。为了解决这些问题，i s o i e c 和i t u 两大国际标准化组织联手制定了视频新标准 h 2 6 4 h 2 6 1 是最早出现的使用的视频编码建议，目的是规范i s d n 上的会议电视和可视电 话应用中的视频编码技术。它采用的算法结合了可减少时间冗余的帧问预测和减少空间冗 余的d c t 变换的混合编码方法，和i s d n 信道匹配，其输出码率是p 卡6 4 k b i t s ，p 值取较 小时，只能传清晰度不高的图像，适合于面对面的电视电话：p 值取较大时，可以清晰度 较好的会议电视图像。h 2 6 3 建议的时低码率图像压缩标准，但在技术上是h 2 6 3 + ，h 2 6 3 + + 已经发展成支持全码率应用的建议，从它支持众多的图像格式这点就可以可出它的广泛应 用。 标准的制定，并不意味着算法研究的终止，随着新的应用需求不断提出，原有的标准 会表现出某些不适应。由于h 2 6 3 标准还只是以象素块为基础的第一代编码技术标准，没 有在以显示器件为图像视频系统的最后缓解中考虑人眼视觉特性对编码图像的影响，因 此，第二代编码技术就提出了要充分利用人类视觉系统和心理特性以及信源各种性质的要 求，即是要基于内容的，去掉的是图像视频中的冗余部分，其中基于图像的方法成为中层 压缩编码的方法，基于语义的方法称为高层编码的方法，例如m p e g 4 视频编码标准。 m p e g - 1 标准的码率为1 2 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 * 2 8 8 象素) 质量的图像， 是为c d r o m 光盘视频存储和播放所制定的。m p e g 1 标准视频编码部分的基本算法和 h 2 6 1 ，h 2 6 3 相似，也采用运动补偿的帧间预测、二维d c t 、v l c 游程编码等措施。此外 还引入了帧内帧( i ) ，预测帧( p ) ，双向预测帧( b ) 和直流帧( d ) 等概念，进一步提高 s 南京| i i l i f 乜人学硕j l 研究生学位论文 第二章视频编码技术的发展历程 了编码效率。在m p e g 1 的基础上，m p e g 2 标准在提高象素分辨率，兼容数字电视方面 做了一些改进，例如它的运动矢量精度为半象素；在编码运算中( 如运动估计和d c t ) 区 分“帧”和“场”；引入了编码的可分级技术，如空间的可分级性，时间可分级性和信噪 比可分级性。m p e g 4 标准引入了基于视昕对象( a u d i o v i s u a lo b j e c t ，a v o ) 的编码，大大提 高了视频通信的交互能力和编码效率。m p e g 4 的基本视频编码器还是属于和h 2 6 3 相似 的一类混合编码器。 总之，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展，并将逐步在实际中取而代 之，主要应用通信方面，但h 2 6 3 众多的选项往往令使用者无所适从。m p e g 系列标准从 针对存储媒体的应用发展到适应传输媒体的应用，其核心视频编码的基本框架是和h 2 6 1 一致的，其中引人注目的m p e g 4 基于对象的编码部分由于尚有技术障碍，目前还难以普 遍应用。而因此基础上发展起来的信的视频编码建议h 2 6 4 克服了两者的弱点，在混合编 码的框架下引入了新的编码方式，提高了编码效率，面向实际应用。同时，它时两大国际 标准化组织共同制定的，其应用前景是不言而喻的。 h 2 6 2 相当于是m p e g 2 ，1 9 9 5 年由i t u 和s o i e c 联合开发，目前这个标准已经成 功应用在d v d ，标准清晰度电视s d t v ，高清晰度电视h d t v 等诸多领域。 h 2 6 4 是i t u 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像编码专家 组) 的联合视频组( j o i n tv i d e or a m ，j v t ) 开发的一个新的数字视频编码标准，它既是i t u 的h 2 6 4 ，又是i s o i e c 的m p e g 4 的第1 0 部分。1 9 9 8 年1 月开始草案征集，1 9 9 9 年9 月完成第一个草案，2 0 0 1 年5 月制定了其测试模式t m l 一8 ，2 0 0 2 年6 月的j v t 第5 次会 议通过了h 2 6 4 的f c d 版本。2 0 0 3 年3 月正式发布。 标准发布日内容 应用场合 期 h 2 6 l1 9 9 0 1 2v i d e oc o d e cf o ra u d i ov i s u a ls e r v i c e sa tpx6 4i s d n ( 综合业务数 k b i t s ( px6 4k b i t s 的音频业务的编解码 字网) 视频会议 j b i g 01 9 9 1 9 p r o g r e s s i v eb i l e v e li m a g ec o m p r e s s i o n ( 用于二传真等 值图像的累进压缩编码) j p e g 1 9 9 2 1 0 d i g i t a lc o m p r e s s i o nc o d i n g o f数字照相，图像 c o n t i n u o u s t o n e s t i l li m a g e ( 连续色调静态图像的视频编码等 6 南京邮电火学硕士研究生学位论文 第二章视频编码技术的发展历程 数字压缩编码) m p e g 1 9 9 2 1 l c o d i n go fm o v i n gp i c t u r e sa n da s s o c i a t e da u d i ov c d ，光盘存储，家 1f o rd i g i t a ls t o r a g em e d i au pt o1 5 m b i t s ( 面向数 用视频，视频监控 字存储的运动图像及其伴音的通用编码) 等 m p e g 1 9 9 4 1 1 g e n e r i cc o d i n go fm o v i n gp c i t u r e sa n da s s o c i a t e d 数字电视，d v d ， a u d i oi n f o r m a t i o n ( 运动图像及其伴音的通用编 高清晰度电视，卫 码) 星电视等 h 2 6 31 9 9 6 3 v i d e oc o d i n gf o rl o wb i tr a t ec o m m u n i c a t i o n s 桌面可视电话，移 h 2 6 3 +1 9 9 8 1 ( 低比特率通信的视频编码) 动视频等 m p e g 1 9 9 9 5 c o d i n go fa u d i ov i s u a lo b j e c t s ( 音频视频对象的i p 网，交互式视频， 4 通用编码)移动通信，专业视 频等 h 2 6 3 +2 0 0 0 1 lv i d e oc o d i n gf o rl o wb i tr a t ec o m m u n i c a t i o n ( 低 桌面可视电话，移 + 比特率视频编码)动视频等 j p e 2 0 02 0 0 0 1 2 j p e g 2 0 0 0i m a g ec o d i n gs y s t e m ( 下一代静态图 数字照相，i p 网， o 像编码标准)移动通信，传真， 电子商务等 h 2 6 42 0 0 3 3m p e g 4 - 1 0 a v c ( a d v a n c e dv i d e oc o d e c )数字视频存储以及 i p t v , 数字卫星广 播，手机电视等 表2 1 视频编码标准简介 h 2 6 4 跟以前的标准一样，也是d p c m 加变换编码的混合编码模式。但是它采用“回 归基本”的简洁设计 2 ，不用众多的选项，获得比h 2 6 3 + + 好的多的压缩性能；加强了对 各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理：应 用目标范围较宽，以满足不同速率不同解析度以及不同传输场合的需求；它的基本系 统是开放的，即无需使用版权。 在技术上，h 2 6 4 标准中有多个特点，如统一的v l c 符号编码，高精度，度模式的位 移估计，基于4x 4 块的整数变换等。这些措施使得h 2 6 4 算法具有很高得编码效率，在相 同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的比特率。h 。2 6 4 的码流结构对网络适 7 南京乜i ：学顶：研究生学位论文 第二章视频编码技术的发展历堡 应性强，增加了差错恢复能力，能够很好的适应i p 和无线网络的应用。 视频压缩编码标准的制定工作主要是由国际标准化组织( i s o i e c ) 并i 国际电信联盟i t u 完成的。到目前为止，由上述两个国际组织制定h 2 6 1 ，h 2 6 2 ，h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + ，h 2 6 4 和m p e g 1 ，m p e g 2 ，m p e g 3 ，m p e g 4 ，m p e g g 7 ，m p e g 2 1 等有关视频编码的国际标准， 其中m p e g 7 为图像检索标准，m p e g 2 1 为交互式多媒体通信框架，两者并非图像压缩标 准。 图2 1 视频编码标准发展历程 图2 1 表示了视频编码标准的发展历程，途中横粗线以上表示由i t u 制定的编码压缩 标准，横粗线以下表示由i s o i e c 制定的标准，压在横粗线上的方框表示由两个组织联合 制定的编码压缩标准。 表2 2i t u 标准与i s o i e c 标准对应关系 i s o i e cm p e g 1 m p e g 2 m p e g - 4 ( p a r t 2 ) m p e g - 4 ( p a r t l0 ) 1 1 uh 2 6 1h 2 6 2 h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + +h 2 6 4 8 南京l f f f ；f 乜人学硕i ：研究生学位论文 第三章h 2 6 4 标准的介绍及其关键技术 3 1 引言 第三章h 2 6 4 标准的介绍及其关键技术 h 2 6 4 标准是i t u - t 的v c e g ( 视频编码专家组) 和i s 0 i e c 的m p e g ( 活动图像专家组) 的联合视频组( j v t ，j o i n tv i d e ot e a m ) 开发的标准，也称为m p e g - 4p a r t1 0 ， “高级 视频编码”。在相同的重建图像质量下，h 。2 6 4l l h 2 6 3 节约5 0 左右的码率。因其更高 的压缩比、更好的i p 和无线网络信道的适应性，在数字视频通信和存储领域得到越来越 广泛的应用。同时也要注意，h 2 6 4 获得优越性能的代价是计算复杂度增加，据估计，编 码的计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度大约相当于h 2 6 3 的2 倍。 3 2h 2 6 4 标准的档次和级别 到目前为止，h 2 6 4 标准共定义了四个档次( p r o f i l e ) ：即基本档次( b a s e l i n ep r o f i l e ) ， 主档次( m a i np r o f i l e ) 、扩展档次( e x t e n d e dp r o f i l e ) 和高档次( h i g hp r o f i l e ) 。前三个档 次于2 0 0 3 年5 月推出，高档次则是2 0 0 4 年7 月新增补的。每一个档次支持一组特定的编 码功能，h 2 6 4 标准详细规定了每个档次所采用的编码工具。 基本档次的目标是使编码复杂度最小，在大部分网络环境和条件下可以提高高度的鲁 棒性和灵活性，主要应用于可视电话、视频会议和无线通信等：主要档次更多强调的是压 缩编码效率，可以应用于广播电视和视频存储；扩展档次则将基本档次的鲁棒性与高编码 效率、网络传输的鲁棒性等结合起来，为流媒体之类的应用提供了一些增强模式；而高档 次则可以应用于数字视频广播( d v b ：d i g i t a lv i d e ob r o a d c a s t ) 、h d d v d 等。尽管各个档 次有所差别，但实际上每个档次都非常灵活，可以支持很广泛的应用。 3 2 1 基本档次( b a s e1 n ep r o fi ie ) 基本档次支持帧内和帧间编码( 利用1 分片( s l i c e ) 和p 分片) ，熵编码采用c a v l c ( c o n t e x t a d a p t i v ev a r i a b l el e n g t hc o d i n g ) ，支持一些低时延容错工具，兼具一个低复杂 度有效编码工具子集。为了减少误码影响和增强误码恢复的能力，基本档次里支持灵活的 宏块组织顺序( f m o ) ，宏块可以灵活的划分为多个片组：片之间是相互独立的可以任意 的顺序( a s o ) 传输到解码端。而且在比特流中片可以使用冗余片方式( r s ) 传输，这在片 9 南京i j l i j 电大学硕士研究生学位论文 第三章h 2 6 4 标准的介绍及其关键技术 数据出错的情况下可用来进行恢复，增强了图象传输的鲁棒性。同时片间的相互独立性抑 制了错误的空间传播，因此提高了比特流的容错性。 基本档次的使用无需版权，不必交纳专利费。 3 2 2 主要档次( m a inp r o fiie ) 主要档次支持隔行视频，采用许多新的编码工具以尽可能提供编码效率，如b 帧和 c a b a c 熵编码，但它并不支持f m o 、a s o 及r s 等技术：而且首次将权值预测( w p ) 方法合并到视频编码标准中。在此框架内提出了适配块划分尺寸的变换( a b t ) 的概念。此 概念是针对帧间编码的，其主要思想是将对预测参差进行变换编码的块尺寸与用来进行运 动补偿的块尺寸联系起来。这样就尽可能的利用最大的信号长度进行变换编码。 3 2 3 扩展档次( e x t e n s i v ep r o f ii e ) 扩展档次不支持隔行视频和c a b a c ，但增强了可在码流间进行有效切换的模式以及 改进的误码恢复功能。其中采用的新的图片类型s p 帧用类似于p 帧运动补偿预测编码去 除时域冗余，与p 帧不同的是，s p 帧允许相似图片重建即使它们从不同参考帧预测而来。 s i 帧类似于i 帧，和s p 帧具有相同的特征。 3 2 4 高档次( g hp r o f i i e ) 高档次具有主档次的所有特征，但支持高于8 b i t s 样值位深( s a m p l eb i td e p t h ) ( 1 0 b i t s 样值位深和1 2 b i t s 样值位深) ，还增加了8 8 的整数变换、基于感知的量化缩放矩阵以及 在视频中指定区域的无损压缩等功能。与主档次相比，高档次可以获得更高效的压缩和更 高分辨率的重建质量，但实现复杂度不会显著增加，因此，高档次已经引起了包括美国 a t s c ( a d v a n c e dt e l e v i s i o ns y s t e mc o m m i t t e e ) 在内的产业界的极大兴趣，极有可能逐步 取代主档次。 图3 1 所示的是四个档次之间的关系，以及各个档次所支持的编码工具。从图中可以 很清楚地看出，基本档次是扩展档次的个子集，但不是主档次的子集，而主档次则是高 档次的一个子集。 1 0 南京| i j i f f 【1 人学硕 j 研究生学位论文 第三章h 2 6 4 标准的介绍及其关键技术 图3 1h 2 6 4 标准各档次采用算法技术 级别( l e v e l ) 定义了编解码器的性能，每一个级别都限制了一些参数的取值范围，这 些参数包括采样率、图像尺寸、编解码比特率以及内存要求等。 3 3h 2 6 4 的特点 h 2 6 4 具有较强的抗误码特性，可适应丢包率高、干扰严重的信道中的视频传输。 h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。 h 2 6 4 能适应于不同网络中的视频传输，网络亲和性好。 h 2 6 4 的基本系统无需使用版权，具有开放的性质，能很好地适应i p 和无线网络的使 用，这对目前的因特网传输多媒体信息、移动网中传输宽带信息等都具有重要的意义。 3 4h 2 6 4 的关键技术 h 2 6 4 标准分成三个框架( p r o f i l e ) ：b a s e l i n e 、m a i n 及x ，代表了针对不同应用的算 法集及技术限定。其中，b a s e l i n e 主要包含了低复杂度、低延时的技术特征；主要是针对 交互式的应用；考虑到了恶劣环境下的容错性，b a s e l i n e 的内容基本都被其它更高级别的 p r o f i l e 所包含。而m a i np r o f i l e 是针对更高编码效率的应用，如视频广播。x p r o f i l e 的设 计主要针对流媒体的应用，所有容错技术和对比特流的灵活访问及切换技术都将包括其 中。 h 2 6 4 在算法上分为两层 1 9 ：视频编码层( v l c ：v i d e oc o d i n gl a y e r ) 和网络提取 层州a l ：n e t w o r ka b s tr a c t i o nl a y e r ) 。视频编码层负责高效的视频内容处理：网络提取层 堕室塑皇奎堂堡主堑壅竺堂垡垒壅釜三垩坚：! 竺堡堡竺坌丝墨茎鲞堡垫查 负责网络的分段格式封装数据，包括组帧、逻辑信道的指令、定时信息的利用或序列结束 信号等。其码流结构的网络适应性强，容错性好，对误码和丢包处理能力强。v c l 和n a l 之间定义了基于分组方式的接口，高效编码和良好的网络适应性分别由v c l 和n a l 完 成。文章后面会有详细介绍。 h 2 6 4 标准的视频编解码的基本结构与早先的h 2 6 3 相似，采用图像预测和变换编码 相结合的编码结构。h 2 6 4 编码器和解码器的基本结构如图3 2 和图3 3 所示 图3 2h 2 6 4 编码器 帧间 u f 1 1 图3 3h 2 6 4 解码器 n a l _ 一 以编码为例简要叙述工作过程：对输入帧f n 编码时，实际上是对宏块( 由原始图像依 一定规则分割得到，1 6 1 6 像素) 编码。宏块编码分为帧内编码和帧间编码。帧内编码模 1 2 南京邮f i l 大学硕j ：研究生学位论文 第三章h 2 6 4 标准的介绍及其关键技术 式下，预测宏块p 由当前帧中的已编码的宏块经解码、重构后，通过一定预测方法获得。 帧间编码模式下，p 由一个或多个参考帧经运动补偿获得( 如图所示，参考帧由已编码的帧 f n 1 表示) 。p 与当前宏块相减获得残差宏块d n ，经块变换和量化得n x ( 一串量化过 的变换参数) 。x 通过重排序和熵编码后获得新的参数，该参数与解码宏块所需的说明组 成压缩后的流，送往n a l 层进行传递和存储。同时x 需要进行解码重构，为编码后续宏块 做准备。x 经反量化和逆变换产生宏块d n ( 由于量化误差d n 不同于d n ) ，p 与d n 加产生重构宏块uf 7 n 。滤波器( f i l t e r ) 用于降低块失真。通过组合一连串相应的宏块得 到重构的参考帧f 7 n 。解码器的工作过程请参见参考文献 1 】。 3 4 1 帧内预测编码 帧内编码用来缩减图像的空间冗余。为了提高h 2 6 4 帧内编码的效率，在给定帧中充 分利用相邻宏块的空间相关性，相邻宏块通常含有相似属性。因此，在对一给定宏块编码 时，首先可以根据周围的宏块预测( 典型的是根据左上角的宏块，因为此宏块已经被编码 处理) ，然后对预测值与实际值的差值进行编码。这样，相对于直接对该帧编码而言，可以 大大减小码率。简单地说，帧内预测编码就是用周围邻近的像素值来预测当前的像素值， 然后对预测误差进行编码。这种预测是基于块的，对于亮度分量( 1 u m a ) ，块的大小可以在 1 6 1 6 和4 x 4 之间选择，1 6 1 6 块有4 种预测模式如图3 4 。4 x 4 块有9 种预测模式如 图3 3 。对于色度分量( c h r o m a ) ，预测是对整个8 8 块进行的，有4 种预测模式。 mefg hijkl aab cd be f g h ci j ki dmn0 p 图3 4i n t r a _ 4 4 像素位置示意图 堕室! ! ! ! ! ! 垫叁兰堡：! 婴壅生兰竺笙壅 笙三垦旦墨坚尘翌塑竺生里丝苎茎燮 心彦。 刁r rl 、 - 7 1 亡 图3 5i n t r a _ 4 x 4 模式的8 个预测方向 1 ( 水平) m a l b p 车日gh ir _ j+ _ k l r _ l+ _ _ 2 ( d c )3 ( 下左对角线) m a 峥仁p 畸三qgh i _ jm e a r l _ k ( a d ， _ l i l ) 。 m a i bi ：p 车f 1gh i 缈 _ j _ k _ l 4 ( 下右对角线) 5 ( 右垂直)5 ( 下水平) 7 ( 左垂直) ma j bf = p 车f gh i 添 _ j _ k 。 l _ 一 8 ( 上水平) ma i b 上p 车f 1gh i 多 - j - k - l m a l bpp 车日g l hi i 淤 _ j _ k _ l m a i b p 车日g l h l 季 _ j _ k _ l - 图3 6 i n t r a 一4 4 帧内预测模式 1 4 m a 睁pp 车f 1gh i _ j - k _ l 南京l l f i ；电人学颀：l 研究生学位论文 第三章h 2 6 4 标准的介绍及其关键技术 表3 1i n t r a _ 4 x 4 帧内预测模式描述 模式描述 模式0( 垂直)由a ，b ，c ，d 垂直推出相应的象素值 模式l( 水平)由i ，j ，k ，l 水平推出相应的象素值 模式2 ( d c )由a - d ，i - l 平均推出所有的象素值 模式3( 下左对角线)由4 5 度方向象素内插得到相应象素值 模式4 ( 下右对角线)由4 5 度方向象素内插得到相应象素值 模式5( 右垂直)由2 6 6 度方向象素内插得到相应的象素值 模式6 ( 下水平)由2 6 6 度方向象素内插得到相应的象素值 模式7( 左垂直)由2 6 6 度方向象素内插得到相应的象素值 模式8 ( 上水平)由2 6 6 度方向象素内插得到相应的象素值 宏块的1 6 1 6 亮度成分可以整体预测，有4 种模式，如图3 7 。 0 ( 垂直) 2 ( d c ) l ( 水平) 3 ( 平面) 图3 一i n t r a 一1 6 x1 6 预测模式 1 5 南京i i i f ；i u