（通信与信息系统专业论文）无线视频通信中视频差错控制技术的研究.pdf

上海大学硕士学位论文无线视频通信中视频差错控制技术的研究 摘要 作为第三代( 3 g ) 移动通讯中的一个主体，图象、视频的编码和传输问题正 在成为新的研究热点。新的基于内容的视频编码方案m p e g 4 支持5 , - - 6 4 k b p s 之 间的移动信道或p s t n 视频应用和高达4 m b p s 电视电影应用，它具有h 2 6 3 所 不支持的功能：改进的编码效率、基于内容的延展性和在易受干扰环境下的健壮 性，因此，它将在未来第三代移动通讯的视频业务中得到广泛应用。 由于图象和视频业务的数据量大，必须进行去冗余压缩，因此对误比特率 b e r 要求高，一般误比特率要求小于1 0 。3 1 0 4 。无线通讯具有时变、易错、带限 的特点，因此信道的误比特率要比有线环境大得多可达l o 也，并且随着基站、 终端位景、方向的改变而变化很大。利用m p e g 4 本身提供的差错控制工具( e r r o r r e s i l i e n c et o o l s ) 可使误比特率要求小于1 0 ，但还是不能满足视频通讯要求。 由此可见，必须采用有效的差错控制技术，使m p e g 4 视频数据更具健壮性， 以适应未来无线视频通讯的需要。 鉴于差错控制在无线视频通信中的重要性，本文主要研究无线视频通信中的 差错控制方案。文中视频通信的框架基于3 g 3 2 4 m 建议，文中构架了基于i t u t 无线多媒体终端标准h 3 2 4 m 的无线视频通讯仿真平台，通过此平台可研究信 道误码对压缩视频的影响，以及评估m p e g - 4 视频编码技术的差错控制性能， 验证各种差错控制技术的实用性和可靠性。文中利用此平台测试了m p e g 4 编 码器差错控制工具编码参数的变化对解码端重建视频质量的影响，参数包括视频 包长( v i d e op a c k e t l e n g t h ) v p 、a i r ( a d a p t i v e i n t r ar e f r e s h ) 技术中涉及到的 宏块帧内刷新率( m a c r o b l o c ki n t r ar e f r e s h m e n tr a t e ) 坨p 。在此基础上，文中提 出了根据v o p ( v i d e oo b j e c tp l a n e ) 运动信息的大小调整坨* 和p p 的算法，通 过实验证明了它们能提供更健壮的视频码流，在解码端能得到更好的视频质量。 关键词：差错控制，3 g 3 2 4 m ，m p e g 4 ，自适应帧内刷新，视频包 上海大学硕士学位论文无线视频通信中视频差错控制技术的研究 a b s t r a c t w i t ht h ed e v e l o p m e n to fw i r e l e s st e c h n o l o g ya n dt h en e e d so fm a r k e t ，w i r e l e s s v i d e oc o m m u n i c a t i o na t t r a c t sm o r ea t t e n t i o ni nr e c e n ty e a r s m p e g 4i sa ni s o i e c s t a n d a r dd e v e l o p e db ym p e gi n1 9 9 8 ，w h i c hi sd e s i g n e dt op r o v i d eh i g hd e g r e eo f f l e x i b i l i t ya n de x t e n s i b i l i t yi no r d e rt ot a k e t h ea d v a n t a g eo ft h er a p i d l ye v o l v i n g t e c h n o l o g i e ss u c ha si nw i r e l e s sc o m m u n i c a t i o ns y s t e m s m o r e o v e rm p e g 一4v i d e o s u p p o r t s aw i d er a n g eo fb i t r a t e s ，a n di s t a r g e t e dt o b e5 - 6 4 k b p s f o rm o b i l e a p p l i c a t i o n sa n du p t o4 m b p s f o rt v a p p l i c a t i o n s i ti sd i f f i c u l tt or e a l i z ew i r e l e s sv i d e oc o m m u n i c a t i o nb e c a u s eo ft h eh i g he r r o r b i tr a t e ( b e r ) o fw i r e l e s se n v i r o n m e n ta n dt h es e n s i t i v i t yo f c o m p r e s s e dv i d e ot o c h a n n e le r r o r w i r e l e s sc h a n n e l s t y p i c a l l y h a v eah i g h e rb i te r r o rr a t e ( 1 0 之) t h a nt h e d e m a n d ( 1 0 - 31 0 4 )o fv i d e oc o m m u n i c a t i o n w i t ht h ee r r o rr e s i l i e n c et o o l s a n m p e g - 4v i d e os t r e a mc a nb ed e c o d e dw i t h a c c e p t a b l ev i d e oq u a l i t ya tab te r r o rr a t e o f1 0 。5o r l o w e r , b u t i ti sn o ts u f f i c i e n tt o s a t i s f yw i t h t h ed e m a n do fv i d e o c o m m u n i c a t i o n w em u s tf i n dn e we r r o rr e s i l i e n c em e t h o dt om a k et h eb i t s t r e a mm o r e r o b u s t e rt oa g a i n s tt h ee r r o n e o u st r a n s m i s s i o n i nt h i sp a p e rw ef o c u so nt h ee r r o rr e s i l i e n c ei n3 g - 3 2 4 m v i d e o p h o n e s t o a n a l y s e h o wt h ec h a n n e ln o i s ec a ne f f e c tt h eq u a l i t y o f c o m p r e s s e d v i d e oa n de v a l u a t e t h ee r r o rr e s i l i e n tf u n c t i o no f v i d e o c o d e c ，t h ea u t h o rc o n s t r u c taf r a m e w o r ko f w i r e l e s sv i d e oc o m m u n i c a t i o nb a s e do ni t u tw i r e l e s st e r m i n a lr e c o m m e n d a t i o n h 3 2 4 m u s i n gt h i sf r a m e w o r k ，t h ea u t h o r t e s tt h ei n f l u e n c eo f e r r o rr e s i l i e n c et o o l s c o d ep a r a m e t e r ( v i d e op a c k e tl e n g t h 阳，m a c r o b l o c ki n t r ar e f r e s h m e n tr a t en a l r 1 t ot h ev i d e o q u a l i t y a n di nt h i sp a p e r t h ea u t h o r p r e s e n t san e w s c h e m ef o ra l t e r i n g m p e g - 4 e n c o d i n gp a r a m e t e r s t oi n c r e a s et h ee r r o rr o b u s t n e s so f t h e o u t p u tb i t s t r e a m a c c o r d i n g t ot h em o t i o ni nt h ev o p k e y w o r d s ：e r r o rr e s i l i e n c e ，3 g 一3 2 4 m ，m p e g - 4 ，a d a p t i v ei n t r ar e f r e s h v i d e op a c k e t i i 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 1 1 背景n 2 3 第一章绪言 在过去的几十年中，移动通信和多媒体通信都得到了飞速的发展并在商业上 也取得了非凡的成功。正是由于在这两个领域取得的技术突破，使得一个人们很 早就有的梦想有实现的可能，那就是任何地点、任何时间及任何类型数据之间的 通信。如今，移动通信与多媒体通信正在融合。构建于先进网络体系结构、低功 耗集成电路、有效的信号处理与压缩算法之上的无线多媒体业务在未来的一二十 年中必定会得到广泛的应用，支持语音和数据业务的第二代蜂窝和无绳通信标准 正扩展成为能提供多媒体业务接入的第三代无线网络。 视频通信是多媒体服务必不可少的一种形式，最好的例证就是如今基于 i n t e m e t 的w o r dw i d ew e b 服务，继w e b 浏览之后。音频及视频流媒体服务是最 有前景的i n t e m e t 服务，w e b 浏览器自身马上会集成音频与视频流的解码器。实 时的音视频通信是未来第三代无线通信服务的重要组成部分，一个简单的手持设 备可以使用户与世界任何地方的其他用户通信，交换各种类型的数据，包括声音、 数据、图片及运动视频。 作为未来移动多媒体业务的重要部分，运动视频是最具挑战性的，因为其相 对较高的带宽要求，即使是采用最先进的压缩技术，电视质量的视频需要每秒几 个兆的数据带宽，可视电话采用的具有低分辨率、低运动成份的视频序列为了得 到相对满意的图片质量也要几十k b p s 的带宽。现在的蜂窝电话网，如移动通信 全球系统g s m ( g l o b a ls y s t e mf o rm o b i l ec o m m u n i c a t i o n s ) 提供1 0 1 5 k b p s 带 宽，适合压缩话音通信但对运动视频而言还是带宽太小。第三代移动通信标准 i m t - 2 0 0 0 也已制定，根据不同的环境可以提供大于1 4 4 k b p s s 到2 m b p s 的带宽， 在加上采用更高效的视频压缩技术，未来带运动视频功能的无线多媒体通信及基 于i n t e m e t 的视频服务接入完全可以成为可能p 】。 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 1 2m p e g 4 在无线多媒体中的前景4 】 在未来无线移动多媒体通信系统中，便携式终端通过各种网络实现可视电 话、视频监视和图像浏览等功能。把便携式终端和电视摄像装最获取的图像存储 在服务器中，并建立数据库，利用因特网进行信息分配，从而使其他便携式终端 用户也能够看到这些图像。图像传输是多媒体通信的核心，采用何种图像编码方 式是构筑多媒体网络的关键。 m p e g ( m o v i n g p i c t u r ee x p e r tg r o u p ) 运动图象专家组于1 9 9 9 年1 月正式公 布了基于内容的视频编码标准m p e g 4 ( i s o i e c1 4 4 9 6 ) v 1 0 版本，1 9 9 9 年 1 2 月又公布了m p e g 4 v 2 0 版本。m p e g 4 的制定初衷主要针对视频会议、可 视电话超低比特率压缩编码的需求，定制标准过程中，m p e g 组织认识到人们对 信息交互的要求，因此m p e g 4 不仅是针对一定比特率下的视频、音频编码， 而且更加注重多媒体系统的交互性和灵活性。 m p e g 一4 能为多媒体应用提供最佳解决方法和高速有效的压缩算法以及各个 数据流的管理和保护。m p e g 一4 提供从小于6 4 k b p s 的低速率到4 m b p s 的较高速 率多媒体通信。更重要的是，m p e g 4 支持差错控制( e r r o rr e s i l i e n c e ) 以便在 高误码率环境中获较高视频质量。m p e g 4 标准主要应用于视频电话( v i d e o p h o n e ) ，视频电子邮件( v i d e oe m a i l ) 和电子新闻( e l e c t r o n i cn e w s ) 等。 另一方面，i t u t 还推进模拟电话线路所用多媒体通信终端的标准方式 h 3 2 4 m 与无线，移动通信相对应，准备将之作为h _ 3 2 4a n n e x 加以标准化。具体 说来，就是对h 3 2 4 中所用h 2 2 3 ( 在一个分组内对声音和图像进行多路复用方 式) 的抗误差性进行分级强化，分别作为h2 2 3 a n n e x a 、b 、c 、d 进行标准化。 目前，就多媒体通信所必需的多路复用方式而言，除了m p e g 4 外，i s o 还能够 采用h 2 2 3 和m p e g2 t s ( 传输流) 等已有的多路复用方式。因此，为了在无线 移动环境中实现多媒体通信，有必要将具有抗误差性的i s o 标准m p e g 4 编码 方式与i 丁u t 标准h 2 2 3 a n n e x 多路复用方式结合起来。 1 3 视频通信中差错控制( e r r o rr e s i l i e n c e ) 睛，6 一个典型的视频通信系统包括五个部分，如图i - i 所示。视频首先由编码器 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 进行压缩编码以减小数据量得到压缩视频码流，传输前视频码流被分割成固定或 变长的视频包并与其他类型数据复用。假如传输网能保证无误码传输，复用后的 数据包直接可进入网络传输，否则，还必须经过信道编码部分以对抗信道的传输 误码，通常采用的信道编码技术是前向纠错f e c ( f o r w a r d e r r o rc o n t r 0 1 ) 。在接 收端接收到的复用包经过f e c 解码与解包过程后得到的码流送入视频解码器解 码得到原始视频。实际系统中，由于数据流量拥塞或物理信道引起的传输误码的 影响，数据包会丢失或被破坏，除非在信源与信宿之间有专有的通道用于保证服 务质量q o s ( q u a l i t yo f s e r v i c e ) 。因此，设计一个能对抗传输差错的编解码方案 就显得很重要。 o t l , e r d a t a o i h e r d 州a o d l , i n a v i d e o r c t x m s l r u c t e d v i d e o 图1 - 1 典型的视频通信系统框图 视频通信的差错控制非常困难主要有以下几个原因： 1 ) 对编解码器而言，由于采用预测编码和可变长编码v l c ( v a r i a b l el e n g t h c o d e ) 技术，压缩的视频码流易受传输差错的影响。v l c 可使一个简单 的差错比特会使解码器失去同步，造成随后接收到的正确码流无用。空 间和时间的预测技术使得某一帧视频中的差错在相邻的多帧中传播，造 成差错的扩散。 2 ) 视频源和信道都是时变的，所阻要在信源和网络的统计模型上得到一个 固定的最优化的方案是不可能的。 3 ) 视频源具有极高的数据率，因此编解码器操作不能太复杂，尤其是对实 时应用。 除了上述困难，移动无线视频传输还有更多的技术困难，第一，移动无线网 络的带宽有限。第二，移动无线网络不能提供服务质量保证，因为在无线信道衰 弱期间会出现很高的误比特率。移动无线信道的传输差错包括从单一的比特错误 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 到影响到多个码字的突发错误甚至是连接的间歇性中断，其误比特率要比有线环 境大得多，可达1 0 2 ，并且随着基站、终端位置、方向的改变而变化很大。 一般视频压缩标准在小于1 0 一1 0 4 误码率情况下能得到可以接收的视频质 量，利用m p e g 4 本身提供的差错控制工具可使误比特率要求小于1 0 4 f j ，但 还是不能满足视频通讯要求。由此可见，必须寻找更有效的差错控制方案，使 m p e g - 4 视频数据更具健壮性，以适应未来无线视频通讯的需要。 1 4 论文结构及所做工作 鉴于差错控制在无线视频通信中的重要性，本文主要研究无线视频通信中的 差错控制方案。本文以第一个适用于第三代移动通信系统( i m t - 2 0 0 0 ) 的多媒体 终端标准3 g 3 2 4 m 为框架，通过改进i n j t 提供的h 3 2 4 m 的无线视频通讯仿 真平台构建了适用于m p e g 4 差错控制研究的平台，通过此平台可研究信道误 码对m p e g - 4 压缩视频的影响，以及评估视频编码技术的差错控制性能，以验 证各种差错控制技术的实用性和可靠性。文中利用此平台测试了m p e g 4 编码 器差错控制工具编码参数的变化对解码端重建视频的质量的影响，参数包括视频 包长( v i d e op a c k e tl e n g t h ) v p 、a i r ( a d a p t i v e i n t r ar e f r e s h ) 技术中涉及到的 宏块帧内刷新率( m a e r o b l o c ki n t r ar e f r e s h m e n tr a t e ) m 十。此基础上，文中提出 了运动自适应的算法。即根据运动信息自适应的调整圯。和阡以提高m p e g 一4 码流差错控制性能，通过实验证明了运动自适应的有效性。 论文的主要结构安排如下： 第一章绪言部分介绍了无线视频的应用背景及差错控制技术在无线视频通 信中的重要性及困难。 第二章对差错控制技术作简单的介绍，包括差错技术的分类及常用差错控制 技术的简介，在此基础上着重对第三代移动通信系统( i m 一2 0 0 0 ) 的多媒体终端 标准3 g 3 2 4 m 的差错控制技术进行详细的说明，具体包括传输控制协议h 3 2 4 m 的差错控制扩展和应用层视频编码标准m p e g - 4 差错控制工具。 第三章以第三代移动通信系统( i m t - 2 0 0 0 ) 多媒体终端标准3 g 3 2 4 m 为框 架构架了无线视频通讯的仿真平台，主要包括i t u t 提供的h 3 2 4 m 的无线视 频通讯仿真平台的介绍，及在此平台上的改迸使其适用于m p e g 4 码流，同时 圭塑查堂堡主堂垡丝壅 垂垡望塑望堕堡丝茎堕垄! ! 塾查塑! ! ! l 利用此平台进行了不同信道差错保护实验并进行了分析。 第四章在第三章构建的基于h 3 2 4 l v l 无线视频通信仿真平台上对i v 伊e g - 4 差错控制工具参数进行测试，以研究其对视频质量的影响。在此基础上提出差错 控制工具参数阡和_ o 运动自适应调整算法，并通过实验验证了该算法的有效 性。 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 第二章低码率视频通信中的差错控制技术 低码率的视频传输必然要求对视频信号进行高效压缩，而高效压缩后的视频 数据码流对传输中产生的误码非常敏感。一旦传输中出现了误码，不仅影响该误 码数据的恢复，还会影响与之相关的其他数据的恢复，造成“误码扩散”，显然 提高视频编码算法的抗误码能力是保证视频传输鲁棒性( r o b u s t n e s s ) 的一个重 要方面。 差错控制技术【6 ，钔( e r r o rr e s i l i e n c e ) ，又称抗误码技术，其实质在于无论何时 何处检测到误码，都使因此而丢弃的数据量为最小，或者使误码造成的伤害影响 为最小，从而得到满意的视频质量。 2 1 信道误码对视频质量的影响 用图2 - 1 来说明信道误码对视频的质量影响。图2 - 1 是从m p e g 一4 编码“a k i y o ” 视频序列得到的重建帧，该序列编码速率为6 4 k b p s ，每秒1 5 帧。图( a ) 、( b ) 、 ( c ) 分别为信道误比特率b e r ( b i te r r o rr a t e ) 为l o 一、1 0 一、1 0 3 情况下得 到的重建帧。从图可知，在b e r 为1 0 _ 5 情况下视频质量已产生严重失真。 ( a ) b e r l 0 6( b ) b e r1 0 5 ( c ) b e r1 0 4 圈2 - 1 信道误码对重建视频影响示意 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 2 2 低码率视频通信差错控制技术简介 2 2 1 视频通信系统简介 在介绍差错控制技术之前，有必要对视频通信系统的各部分做简单的介绍。 o u t p u tv i d e o 图2 - 2 视频通信系统功自e 模块 图2 2 为视频通信系统的功能模块图，信源编码器( s o u r c ec o d e r ) 对输入视 频进行去冗余压缩处理，形成期望的码率。 信源编码端又可以分成两个部分。波形编码器( w a v e f o r mc o d e r ) 和熵编码 器( e n t r o p yc o d e r ) 。波形编码器是一个有损部件，它通过变量的某种转换形式 及采用量化来减少原始视频的数据量，典型的波形编码器如离散余弦变换 ( d c t ) 、小波变换及矢量量化。熵编码器是一个无损部件，它只是根据被编码 数据的统计特性将波形编码器的输出映射成二进制码字，典型的熵编码如哈夫曼 编码、算术编码。尽管波形编码器可以使用多种形式的视频编码方法，但d c t 与运动估计补偿方式( m o t i o nc o m p e n s a t e dp r e d i c t i o n ) g j o 是已被证明为最有效 的且使用最广泛的视频压缩方法，也是现在所有视频压缩的基础。 传输编码器( t r a n s p o r tc o d e r ) 是指用于信道编码、打包或调制及传输层协 议总和，传输编码器将从信源编码器输出的比特流转换成适合于传输的单元，在 接收端执行相反的操作即可得到重建的视频信号用于显示。实际系统中，从解码 端到编码端还可以有一条反馈信道用于系统控制和差错控制。传输编码器可以因 为不同的应用场合而有所不同，如用于h 3 2 0 中的h 2 2 1 协议，h 3 2 4 中的h 2 2 3 协议及h 3 2 3 中的h 2 2 5 协议j 。 上海大学硕士学位论文无线视频通信中视频差错控制技术的研究 2 2 2 视频通信差错控制技术分类 差错控制技术的实质是增加视频的冗余信息使有助于解码端错误检测和隐 蔽，该冗余信息称为为隐蔽冗余( c o n c e a l m e n tr e d u n d a n c y ) 。冗余信息可以在视 频通信系统的波形编码、熵编码、传输编码各级加入。 具体根据编解码器在差错控制中的作用的不同，可以大致将差错控制技术归 为一下几类【1 2 】： 前向差错隐蔽：隐蔽冗余加在编码器端，编码端起主要作用。在这类技术中， 信源编码算法和传输控制方案具有的差错控制能力可以使解码端无需其他的差 错隐蔽功能，或者使得解码端的差错隐蔽功能非常有效。前向差错隐蔽技术包括 f e c 、信源和信道联合编码、分层编码等。 后期处理差错隐蔽：差错控制技术主要由解码端实现。这类技术通过空域或 时域的估计和插值来隐蔽丢失的数据而不需要来自编码端的额外信息。空域和时 域上的平滑、插值和滤波都可归为此类技术。 交互式差错控制：编码端和解码端相互合作以减小传输差错的影响。a r q ( a u t o m a t i cr e t r a n s m i s s i o nr e q u e s t ) 和基于反馈的选择性预测编码属于此类技 术。 2 3 前向差错隐蔽技术 本文将侧重于研究信道传输及编码端的差错控制技术，因此以下对几种前向 差错隐蔽技术做介绍。 2 3 1 分层编码与分级编码 迄今为止，视频传输系统中最为实用的一种差错控制技术是分层编码与分级 传输策略的结合 1 3 1 。在分层编码中，视频信号被分层两层以上的结构，即基本 层和增强层。基本层只有一个，增强层可以有很多个。基本层包含视频信号的基 本信息，通过它可以恢复出一定质量的视频信号。增强层包含视频信号的细节信 息，它可以提高视频的恢复质量。为了抵抗信道干扰，分层码流结合分级传输可 以保障基本层码流受损程度低甚至不受损，从而保证接收端总可以得到一定质 圭塑查堂堡主堂堡垒塞 垂垡塑塑望堡! 望塑茎堕墼! ! 茎查塑翌! l 量的视频信号。 娜 图2 3 分层编码示意 分层编码可以有多种实现机制【1 4 】。时间域分层，意味着基本层码流具有较低 的帧频。而增强层码流具有提高帧频的作用。空间域分层，意味着基本层码流是 原始视频信号的低分辨率部分，增强层码流则包含提高分辨率所需要的附加信 息。空间域分层还可以这样实现：基本层码流利用较粗糙的量化器得到增强层 则包含提高量化精度后的额外信息。把前两种技术称为时间空间域分辨率修正， 第三种技术称为幅度分辨率修正。 在基于运动补偿预测的编码器中，由于编码模式和运动矢量等信息非常重 要，它们常常归入基本层码流。m p e g 4 最近采用了一种称为精细的可分级编码 方法f g s ( f i n eg r a n u l a r i t ys c a l a b l e ) 1 5 1 来提高其抗差错能力。 2 3 2 信源信道联合编码“町 根据香农信息理论，信源编码和信道编码可以分别设计，而且能使系统整体 性能最优。这一重要结论的假设前提包括：其一，无论对于信源编码还是对信道 编码，都是需要假定可以容忍有限长的时延，即编码长有限。其二，必须掌握传 输信道的统计特性。显然，上述两个假设在实际视频通信系统设计中往往得不到 满足，因此信源和信道的联合编码具有很大的优化潜力 从广义角度讲，分层编码是信源信道联合编码的实现。但是，这种联合是在 较高层次上完成的。从信源和信道编码在更低层次上的联合优化是这样完成的： 以一定信道误码统计特征为条件，通过设计量化器和熵编码器最小化传输差错的 影响。对基于p c m 的信源编码器。当信道噪声非常严重时，相对粗糙的量化器 可以得到更好的恢复效果。在深入研究量化器优化问题的基础上，人们探索了针 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 对信道误码特征的码字分配方法【。 。 上述研究是针对一般信源的，对于图象信号，m o d e s t i n o 掣1 2 1 首先考虑了在 d p c m 信号编码器后面使用卷积码来对抗信道误码，他们的方法后来被扩展到了 基于d c t 的变换编码器中。v a i s h a m p a y a n 等旧针对特定信道误码特征研究了自 适应的d c t 系数的比特分配方法，采用定长编码方案。 2 3 3 鲁棒编码 传统的信源编码器设计目标是在保证一定重建质量的前提下最大程度的去 除信号的统计冗余和视觉冗余，以得到最好的压缩比。如果以此为信源编码器设 计的唯一目标，势必造成解码器端的误码恢复十分困难。解决这一问题的一个有 效方法是，在信源编码过程中保留一定的冗余信息，这些冗余信息将可以有效抵 抗传输中的差错。把这类技术统称为鲁棒性编码技术( r o b u s tc o d i n g ) 。 1 ) 波形编码中增加辅助信息 在波形编码中增加辅助信息的基本思路是配合解码端进行差错隐蔽，为其增 加一些必要的信息。如在m p e g - 2 中，即使是帧内模式编码的图象块也可以传 输它的运动矢量，这样，当图像块在传输中受损时，可以利用它的运动矢量由前 一帧图象估计受损图象块。c h a n g s uk i m 等【18 】把图象序列分为误码恢复组e r g ( e r r o r r e c o v e r y g r o u p ) ，类似m p e g 中的g o p ，每组图象中的最后一帧都要附 加传送d c 系数的奇偶校验数据1 1 9 l 。 2 ) 限定预测区域 对于基于运动预测与补偿的视频编码算法来说，运动预测与补偿大大提高了 视频信号的压缩比，但它也造成误码扩散的一个重要的原因。把图象分为几个区 域，这些区域之间互不重叠，图象块的运动预测的范围限制在其所在区域【2 0 1 。 这种方法以牺牲部分运动预测精度为代价，换取了定抑止误码扩散的能力。如， h 2 6 3 标准允许把图象分为多个“条”，当启用h 2 6 3 的端独立解码模式时，运 动预测的范围就被限定在“条”的范围内。 3 ) 自同步的熵编码 使用可变长编码时，一个比特的误码就可能导致解码器端失去同步，解码器 可能根本就不知道发生了误码，或者无法确定误码发生的位置，导致整段码流不 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 可用。解决这一问题的办法是，在熵编码过程中插入特殊的同步码字。例如 m p e g 一4 中，同步码字包含了两个同步码字闻的距离信息【2 ”。同步码字如果太短， 当码流中发生误码时，就容易检测出假同步码字：同步码字如果太长，会影响编 码的效率。 数据分割技术( d a t ap a r t i t i o n i n g ) 1 2 1 1 在添加自同步码字的同时，还根据一定 原则对码流进行分割，这样即可以对其中较为重要的信息作出特别的保护，也利 于检测误码是否发生。数据分割技术己被广泛应用在m p e g 一4 以及h 2 6 3 + + 等编 码标准中。 4 ) 可逆变长编码r v l c ( r e v e r s i b l e v a r i a b l el e n g t hc o d i n g ) 熵编码过程中插入适当同步标志后，可以把误码的扩散控制在两个同步标志 之间。采用普通的变长编码方法，从误码发生的位置开始，一直到下一个同步标 志的码流都被丢失，几十后面码流被正确接收。为此，人们设计了可逆变长编码 方法f 2 2 】。使用这种方法得到的码流可以从正反两可方向同时解码。这种方案的 好处不仅在于可以更多的利用正确码流，同时也是一种误码检测的方法。如果正 反两个方向的解码结果不一样，就可以断定此段码流中发生了误码。m p e g 4 1 2 1 i 和h 2 6 3 中均定义了可逆变长编码方案。 2 3 4 传输层控制 前向误码纠错不仅可以用于视频编码器中，而且可以在传输层实现，例如， 在基于包交换的网络上，信源编码器输出的码流需要打成一个个数据包，如果数 据包包含的是连续信息，那么该数据包一旦丢失，将会在图象的某个位置造成严 重影响，不易恢复，对打包过程经过设计就可以增强系统的抗误码能力。打包前， 如果将相邻几个图象块的信息进行适当交织，解码端将可以比较容易的恢复出原 始视频信号【2 3 j 。 2 43 g 3 2 4 m 建议及其差错控制增强 2 4 13 g - 3 2 4 m 建议 3 g 3 2 4 m 是3 g p p 建议的第一个适用于第三代移动通信系统( i m t 2 0 0 0 ) 的 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 多媒体终端标准【2 4 ；6 】。3 g 3 2 4 m 支持实时多媒体宽带无线通信，其构建于电路 交换网络之上而非i p 网络，因此其具有电路交换网络的固定延时、低复用开销、 实时性等优点，适合实时多媒体通信。作为未来无线多媒体终端标准，差错控制 功能是必须考虑的重点。 对于传输复用协议，i t u t 的h 3 2 4 m 2 5 】作为3 g 一3 2 4 m 标准的基础被采用。 h 3 2 4 m 是h 3 2 4 在无线应用环境下的扩展形式，在h 3 2 4 m 中提高了原有h 3 2 4 中复用协议的差错控制能力，并对应用于控制信道的差错控制协议做了改进，以 减少在易错信道中的连接时间。3 g 3 2 4 m 定义了复用协议h 2 2 3 附录作为复用 标准，h 2 4 5 第五版作为控制协议。 视频编解码器方面，3 g - 3 2 4 m 规定i t u th 2 6 3 必须采用，m p e g 4 作为最 颏的视频压缩标准具有良好的差错控制性能，被作为推荐的可选项。语音编解码 必须采用g s m - a m r 。图2 3 是3 g 3 2 4 m 移动可视电话终端的模块图。 图2 33 g - 3 2 4 建议框图 2 4 2h 3 2 4 m 差错控制功能扩展啪1 h 3 2 4 m 是h 3 2 4 在无线应用环境下的扩展形式。h 3 2 4 中复用协议h 2 2 3 适用于公用电话网环境，其误码率一般在l o _ 6 以下，要将h 2 2 3 应用到误码率 达到1 0 - 3 以上的无线环境，必须扩展h 2 2 3 差错控制性能。这部分工作由i t u t 工作组a h g ( a dh o eg r o u p ) 在1 9 9 5 1 9 9 7 年期间完成，a h g 定制了一系列 圭塑查堂塑主兰垡堡塞 墨垡塑塑望笪堡塑茎堡丝! ! 垫查些里塞 h 2 2 3 附录( a d ) 作为高误码环境下h 2 2 3 的扩展，经过扩展的h 2 2 3 协议提 供了一个多层次的复用结构，可以使被传输数据的健壮性和包头及运算复杂性两 方面具有选择性。 图2 4 为h 2 2 3 协议的示意图。 图2 - 4h 2 2 3 协议示惫图 自适应层( a d a p t a t i o nl a y e r ) 主要功能是c r c 和序列号检测，a l 3 还提供 重传功能。h 2 2 3 提供3 种不同a l ，a l l 、a l 2 、a l 3 分别用于传输数据、语音、 视频。由于视频易受误码影响，a l 3 提供1 6 b i t c r c 误码检测，其他将提供 8 b i t c r c 。 对于复用层，h 2 2 3 由不同等级的差错控制而分为多个等级。 ( c ) 等级2 图2 - 5h 2 2 3 复用等级示意 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 最简单的缺省的复用层等级0 相当于原有适用于v 3 4 m o d e m 的建议，包长 是可变的，且由一个8 比特的同步标志限定，紧跟着就是复用头和数据负载，通 常负载是多个信息源信息的某种组合，下个包的同步标志标识包的结束。两个同 步标志间的数据将进行比特填充操作，以避免标志混淆。图2 5 ( a ) 说明了h 2 2 3 复用等级0 的包结构。 等级1 ( h 2 2 3a n n e xa ) 与等级0 相差不多，如图2 5 ( b ) ，比特填充将不 再使用，使用一个更长的1 6 比特同步标志，以增加数据包的同步性能。同步标 志可能会和数据混淆，但这种混淆的几率极小可以忽略。 等级2 ( h 2 2 3a n n e xb ) 中，如图2 - 5 ( c ) ，它在复用头中增加了复用负载 长度( m p l ) ，用来描述负载的长度，该附加的冗余信息可使接收端知道下一个 同步标志的位置信息，更加提高了数据包的同步性能和差错控制。还有它提供的 可选性复用头( o p t i o n a lh e a d e r ) 项可以包含前一帧的m c p m h e c 信息，因此 更增加了差错控制功能。 2 5m p e g 4 的无线多媒体中的应用 2 5 1 框架( p r o f i l e ) 和级( l e v e l ) m p e g 4 视频压缩标准。它包括了自然场景( n a t u r a lv i d e o ) 和合成场景 ( s y n t h e t i cv i d e o ) 两部分的压缩标准。根据不同应用，m p e g 4 可分为不同的框 架( p r o f i l e ) 和级( l e v e l ) 1 2 8 , 3 i i 。其中自然视觉对象框架包括s i m p l e v i s u a l p r o f i l e ， s i m p l es c a l a b l e v i s u a lp r o f i l e ，c o r ev i s u a lp r o f i l e ，m a i nv i s u a lp r o f i l e ，n b i tv i s u a l p r o f i l e ，每个框架下还可分不同的级。 一般应用于无线环境的框架包括s i m p l e 和c o r e 框架。简单视觉框架s i m p l e v i s u a lp r o f i l e 提供高效的矩形视频对象压缩算法，且包含多种差错控制机制，特 别适合于无线视频通信，其压缩算法还是基于d c t 的预测补偿技术，对于形状信 息而言为矩形，本文以后的研究都基于该框架。 欧洲工程a c t s - m o m u s y s 提供m p e g 4 视频编解码器的源码其采用c 语 言，可在v c + + 6 0 平台编译，本文以后采用的编码器都为此编码器。编码器框图 如2 6 。 l4 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 囝2 - 6 基于v o p ( v i d e oo b j e c tp i a n e ) 的m p e g - 4 编码器结构 2 5 2m p e g 一4 中的差错控制工具“5 ，2 毗。 压缩的视频码流易受传输差错的影响是由于采用可变长编码v l c 技术及空 间和时间的预测技术造成的。v l c 可使一个简单的差错比特会使解码器失去同 步，造成随后接收到的正确码流无用。空间和时间的预测技术使得某一帧视频中 的差错在相邻的多帧中传播，造成差错的扩散。一般解决这两个问题采用的技术 是采用重同步( r e s y n c h r o n i z a t i o n ) 和帧内编码( i n t r ac o d e ) 。重同步可使误差 限制在一定范围内，帧内编码可消除差错的传播，m p e g 4 中的一些差错控制技 术也是基于此两种技术。 1 ) 重同步( r e s y n c h r o n i z a t i o n ) 由于采用了可变长码字v l c ，压缩后的视频比特流对信道误码尤其敏感。 般，当解码器检测到视频流的错误时它将设置标记并进入错误处理过程，由于视 频压缩算法的固有性质，解码器检测到的比特错误的位置若不是真正误码的位 置，一旦解码器检测到错误，将失去与编码器的同步，造成视频质量的大幅度下 降，为了解决这一问题可以采用重同步方法。 重同步方法是在编码之后的比特流的不同位置插人重同步标识，当解码器 检测到错误时，它将查找这些标志，从而重新获得同步。在以往的视频编码标准 ( 如h 2 6 3 ) 中也采用了重同步方案，不同的是h 2 6 3 的重同步标识位于每个块 组g o b ( g r o u p so fb l o c k s ) 的前端，如图2 7 ( b ) 所示。m p e g 4 提供的重同 15 上海大学硕士学位论文 无线视频通信中视频差错控制技术的研究 步标识有一个显著的不同，它的重同步标识并不是在每个宏块组的开始，它将图 像分成视频包( v i d e op a c k e t ) ，每个视频包由整数个顺序相连的块组成，在每隔 固定的视频包长v p 个比特处插入一个重同步标识，如图2 7 ( c ) 所示，因此， 在有明显变化的图像部分，对应的宏块将产生更多的t e 特，从而在这些地方的重 同步标识就会多，这种情况下，即使有较短的突发误码，解码器也能在高活动区 中的较少宏块中查到误码的位置，保证这部分区域的图像质量。 iiil 上i f i 卜 ili | | 9 jl i卜 。辱 ik鼾夕 ir fi ( a ) ( b ) ( c ) i h 2 6 3 重同步标志位位置 目 m p e g 一4 重同步标志位位置 圈2 - 7h 2 6 3 和m p e g - 4 重同步示惹图 除了在每个视频包的开始插入重同步标识外，编码器还需减少分属两个视频 包中的数据的相关性。这是因为，即使当前图像的一个视频包由于误码而舍弃掉， 其余包仍可以由解码器使用和解码。为了消除这个相关性，在编码的每个视频包 的头部除重同步标识外，再插入两个额外的信息，如图2 - 8 所示，它们是： ( 1 ) 在视频包中相对于第一个宏块的绝对宏块数m b n o ( 2 ) 量化参数q p ( 它指明视频包中用来进行d c t 变换的量比参数) 。 图2 - 8 采用m b n o 和q p 后的数据包结构 采用重同步工具后，每个同步单元