（信号与信息处理专业论文）基于h264视频编码的qos研究.pdf

摘要 摘要 随着i n t e m c t 的高速发展，对多媒体通信技术地研究正如火如荼地展开。视频 通信技术作为多媒体通信的核心内容，其q o s ( q u a n l i t yo f s e r v i c e ) 技术对于视频 编码效率，传输鲁棒性以及解码质量都发挥着举足轻重的作用。视频流q o s 参数 主要包括延迟、延迟抖动、丢包率和带宽等。除此之外多方因素都可以导致视频 流延迟，如传输距离、网络节点的处理能力、网关设备的过滤能力以及路由器的 调度能力等等。由于视频流对带宽要求很高，而网络提供的带宽是变化的，因此 必须采用一定策略使视频流适应网络带宽的变化，在不同状况下保证视频流的实 时q o s 要求。视频流在网络中传输的q o s 问题的有效解决，需要整个视频流传输 系统的全面q o s 支持，也就是说需要从视频编解码、终端的拥塞和差错控制以及 口网络的q o s 支持等不同层次共同进行控制。 本文从视频流q o s 的几个方面出发，对视频码率控制技术、传输层差错控制 技术、解码错误隐藏技术以及编码视频服务器的多码流切换技术等做了深入研究， 取得了以下成果： 1 提出了一种空域可分级的视频码率控制方法，该方法对跳帧及前后若干帧 作下采样编码处理，可明显改善编码主观质量。传统码流控制方法根据编码缓冲 器的剩余量判断是否作跳帧处理，跳帧时该帧不编码，若对场景转换帧较多的视 频编码时，跳帧将非常频繁，必将导致信息丢失严重，视频主观质量下降。 2 提出了一种基于s c t p ( s t r e a m c o n t r o l t r a n s p o r t p r o t o c 0 1 ) 协议的视频传输 框架r t p s c 咖及其相应的码流传输方法，试验表明相对于传统的传输结构 r t p l i d p i p ，本文方法对视频传输质量的提高较为明显。s c t p 协议是m t f ( ( i n t e r a c te n g i n e e r i n gt a s kf o l o e ) 为了改进t c p 协议的缺陷提出的一种新的面向 连接的传输层协议。论文方法利用s c t p 协议的多流特性，将可分级的h 2 6 4 码流中 基本层数据及增强层数据分成相应的逻辑子流进行传输，根据各个子流的重要性 及带宽变化选择相应的保护力度，提出了基于网络带宽预测的码流传输方法。 3 提出了一种基双域插值的错误隐藏方法。首先建立时域和空域的插值模型 得到相应的错误隐藏运动矢量，其次建立插值系数表及相应的双域插值模型，最 后通过最优插值运动矢量的判断，得到最佳的错误隐藏运动矢量，试验表明双域 插值方法由于充分利用了码流中的冗余信息，因此视频质量比单域插值方法有较 大改善。本文分别使用拉格朗日插值方法和牛顿插值方法作双域插值，试验结果 西安电子科技大学博士论文 摘要 表明拉格朗日插值效果更为明显，但数学模型复杂且计算量大不利于实时处理， 而牛顿插值模型简单，计算量小更适合实时应用场合及硬件实现。 4 提出了一种基于不等带宽划分的可分级码流无缝切换方法。建立了可分级 码流的不等分带宽划分模型，并且在其基础上，按照对网络拥塞影响不同，将视 频服务器的向上切换和向下切换分别处理，同时结合网络带宽的平均变化特性和 瞬时变化特性，调节码流切换点的位置并判断码流切换方式。试验表明该方法能 够更好的适应网络带宽变化，降低网络拥塞。 对以上提出的四种算法，论文都通过软件仿真、测试及与相关算法的比较来 验证其有效性和先进性。 关键词：码率控制错误隐藏s c t p 可分级编码无缝切换h 2 6 4 a v c 西安电子科技大学博士论文 a b s t r a c t l l b s t r a e t w i t ht h ef a s td e v e l o p m e n to fi n t e m e t n o w a d a y s ，t h er e s e a r c h e st om u l t i m e d i a e o m m u n i e a t i o ma r eg o i n ga l o n gl i k ear a n gf i r e v i d e oc o m m u n i c a t i o nt e c h n o l o g yi s t h ek e yc o n t e n to f m u l t i m e d i ac o m m u n i c a t i o n s a m o n gt h e m , t h ec o n t r o lt e c h n o l o g yo f q u a l i t yo fs e r v i e e ( q o s ) p l a y sm o s ti m p o r t 趾tr o l e i nv i d e o c o d i n ge f f i c i e n c y , l r a n s m i s s i o nr o b u s ta n dd e c o d i n gq u a l i t y a sar e s u l t , i th a sb e e ni n v e s t i g a t e dd e e p l y a n dw i d e l y t h ep a r a m e t e r so f v i d e oq o sm a i n l yi n c l u d ed e l a y , d e l a y 岫- n b l i n g ，p a c k e t l o s sr a t ea n db a n d w i d t he t c t h e r ea 托l o t so ff a c t o r sw h i c hc a l lr e s u l ti nd e l a yo fv i d e o s t r e a m i n g ，s u c ha si r a m m i s s i o nd i s t a n c e ，t h ep r o c e s s i n ga b i l i t yo fn e t w o r kr l o d e ，t h e f i l t e r i n ga b i l i t yo f g a t e w a y d e v i c e sa n dt h et m m f e ra b i l i t yo f r o u t e re r e v i d e os t r e a m i n g i sv e r ys l x i e t 、i t hb a n d w i d t h , a n dn e t w o r kb a n d w i d t hi sa l s ov a r i a b l e t h e r e f o r e , s o m e p r o p e rs l r a t e g i e sm u s tb et a k e nt om a k ev i d e os t r e a m i n ga d a p t e dt ot h ef l u c t u a t i o no f n e t w o r kb a n d w i d t h , a n dt og u a r a n t e et h er e a l - t i m eq o so fv i d e os t r e a m i n gu n d e r d i f f e r e n tc o n d i t i o n s 1 1 1 ee f f i c i e n ts o l u t i o no f t h eq o sp r o b l e m so fv i d e os t r e a m i n go v e r n e t w o r kn e e d st h es u p p o r t so fw h o l ev i d e os t r e a m i n gw a n s m i s s i o ns y s t e m , w h i c h m e a n si tn e e d st h ec o n t r o lf r o md i f f e r e n tl a y e r ss u c ha sv i d e oc o d i n ga n dd e c o d i n g , c o n g e s t i o na n da 槲c o n t r o la tr e c e i v e rf i d ea n dq o ss u p p o r to f l pn e t w o r ke t c t h i sd i s s e r t a t i o ni n v e s t i g a t e ss e v e r a lk e y p r o b l e m so fq o s ，s u c ha st h er a t ec o n t r o l o fv i d e os t r e a m i n g ，t h ee ：i t o rc o n t r o lf r o mi r a m m i s s i o nl a y e r , e r r o rc o n c e a l m e n ta t d e c o d i n gs i d ea n dm u l t i - s t r e a m i n gs w i t c h i n ga tv i d e oc o d i n gs e r v e r , a n do b t a i n sm a n y r e s u l t sa sf o l l o w s , 1 an e wr a t ec o n t r o la l g o r i t h mw i t hs p a t i a ls e a l a b i l i t yf o rv i d e oc o d i n gi sp r o p o s e d t h co r i g i n a ls k i p p e df r a m ea n ds o m ef l a m e so ff r o n to rb a c ka r ca d a p t i v e l y s u b s a m p l e da tt h ee n e o d e r i nt h i sm e t h o d s i m u l a t i o nr e s u l t ss h o wt h a tt h em e t h o dc a l l h i g h l yi m p r o v e t h es u b j e c t i v eq u a l i t yo fs k i p p i n gf l a n l e t r a d i t i o n a lr a t ec o n t r o lm e t h o d e s t i m a t et oa d o p tf l a m es k i p p i n go rn o ta c c o r d i n gt or e s i d u a ld a t ao fc o d i n gb u f f e r i t w i l ln o te n c o d ei nc 黜o fs k i p p i n g , w h i c hw i l lr e s u l ti ns e c r ei n f o r m a t i o nl o s sa n d d l a s ；t ：i cd e g r a d a t i o no fq u a l i t ye s p e c i a l l ys i i b j e c tq u a l i t yw h e ns k i p p i n gt o o kp l a c ev e r y f x e q u e n t l yi nv i d e os t r e a m i n gt h a ti n c l u d el a r g es c e l l l ：c h a n g ef i a m e s 2 an e wv i d e os t r e a m i n gt r a n s m i s s i o nf r a m e w o r ko fr t p s c t p i _ pi sp r o p o s e d b a s e d0 1 1s c n ：a n dt h ec o r r e s p o n d i n gs t r e a m i n gt r a n s m i s s i o nm e t h o di sa l s op r o p o s e d 西安电子科技大学博士论文 a b s t r a c t s i m u l a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e dm e t , h o dc a no b v i o u s l yi m p r o v et h ev i d e o t r a n s m i s s i o nq u a l i t yc o m p a r e dt oc o n v e n t i o n a lt r a n s m i s s i o n $ t r u c t eo fr t p u d p i p s t r e a m i n gc o n t r o lt r a n s m i s s i o np r o t o c o l ( s c t p ) i san e wc o u n e c t i o n - o r i e n t e dp r o t o c o l o n 也a n s m i s s i o nl a y e rp r o p o s e db yi e t ft oc o m b a tt h ed i s a d v a n t a g e so ft c pp r o t o c 0 1 b yu s i n gm u l t i s t r e a m i n gc h 啪c c e fo fs c t p , t h eb a s el a y e ra n de n h a n c e m e n tl a y e rd a t a o fb i ts t r e a mo fh 2 6 4a r ep a n i t i o n e di n t ol o g i cs u b - s t r e a ma n dt r a n s m i t t e d p r o t e c t i o n d e g r e ea r es e l e c t e da c c o r d i n gt od i f f e r e n ti m p o r t a n c eo fs u b - s t r e a ma n db a n d w i d t h v a r i a t i o n t h es t r e a m i n gt r a n s m i s s i o nm e t h o db a s e do ni m m e d i a t ep r e d i c t i o no f n e t w o r kb a n d w i d t hi sp r o p o s e d 3 。a nf i r r o rc o n c e a l m e n tm e t h o db a s e do nt w of i e l d si n t e r p o l a t i o ni sp r o p o s e d f i r s t l y 们1 ei m e r p o l a t i o nm o d e l so fs p a t i a la n dt e m p o r a lf i e l da r ef o u n d e da n d c o r r e s p o n d i n g e r r o rc o n c e a l m e n tv e c t o ra r eo b t a i n e d r e s p e c t i v e l y s e c o n d l y , i n t e r p o l a t i o nc o e f f i c i e n t st a b l ea n d 嬲p o n d i 】唱t w of i e l d si n t c 印o l a t i n nm o d e la r es e t u pa c c o r d i n gt ot h ef e a t u r e so fi n t e r p o l a t i n gr e f e r e n c em o t i o nv e c t o r f i n a l l y , e r r o r c o n c e a l m e n tv e c t o r sa r co b t a i n e dt h r o u g ht h er e s u l t so fo p t i m i z e di n m r p o l a t e am o t i o n v e c t o r s i m u l a t i o nr e s u l t ss h o wt h a tt h et w of i e l d si n t e r p o l a t i o nm e t h o dc a ni m p r o v et h e p e r f o r m a n c ec o m p a r e dt os p a t i a li n t e r p o l a t i o nm e t h o df o ri t ss u 伍c i e n tu t i l i z a t i o no f r e d u n d a n c yi n f o r m a t i o no f b i ts t r e a m l a g r a n g ea n dn e w t o ni n t e r p o l a t i o nm e t h o d sa r e u s e d 嚣t w of i e l d si n t e r p o l a t i o ni np r o p o s e dm e t h o d 1 1 1 ei n t e r p o l a t i o ne f f e c to f l a g r a n g em e t h o di sm o r eo b v i o u s ，b u ti t sm a t h e m a t i cm o d e li st o oc o m p l i c a t ef o rr e a l t i m ep r o c e s s i n g n e w t o nm e t h o dh a ss i m p l ei n t e r p o l a t i o nm o d e la n ds m a l l e rc a l c u l a t i o n q u a n t i t y i t sm o r e s u i t a b l ef o rr e a lt i m ea p p l i c a t i o na n dh a r dw a r ei m p l e m e n t a t i o n 4 as e a m l e s ss w i t c h i n gm e t h o do fs c a l a b l ev i d e ob a s e do nu n e q u a lb a n d w i d t h p a r t i t i o ni sp r o p o s e d a nu n e q u a lb a n d w i d t hp a r t i t i o nm o d e li s s e tu p ，a n dt h e nt h e m e t h o dd e a lw i t hu p - s w i t c h i n ga n dd o w n - s w i t c h i n go fs e r v e rr e s p e c t i v e l ya c c o r d i n gt o t h e i rd i f f e r e mi m p a c t so nn e t w o r kc o n g e s t i o n , a tt h es a m et i m e ，t h em e t h o da d j u s t st h e s w i t c h i n gp o i n to f b i ts t r e a ma n dj u d g e si t ss w i t c h i n gp a t t e r na o e o r d i n gt ot h ea v e r a g e a n di n s t a n t a n e o u sv a r i a 埴o nf e a t u r e so f n e t w o r kb a n d w i d l h s i m l n a t i o nr e s u l t ss h o wt h a t t h em e t h o dc a nb em o r ea d a p t e dt ot h en e t w o r kb a n d w i d t hv a r i a t i o na n dc a nf u r t h e r d e c r e a s et h ep o s s i b i l i t yo f n e t w o r kc o n g e s t i o n f o u ro ft h ep r o p o s e dm e t h o d si nt h i st h e s i sa r es i m u l a t e da n dc o m p a r e dw i t h r e l a t e ds c h e m e si no r d e rt op r o v et h e i rv a l i d i t i e sa n da d v a n t a g e s k e y w o r d s ：r a t ec o n t r o l ，e r r o rc o n c e a l m e n t ，s c t p , s c a l a b l ev i d e oc o d i n g , s e a m l e s s s w i t c h i n g ，h 2 6 4 a v c 西安电子科技大学博士论文 独创性( 或创新性) 声明 本人声明所里交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中傲了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：鳓日期垫z ! ：生 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容。可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论 文在解密后遵守此规定) 本人签名：越 导师签名： 日期丝三丝 e t 期二芝z ：星：z 查 ， 第一章绪论 第一章绪论 摘要：介绍了本文的研究背景和视频压缩技术发展，详细介绍了视频应用层q o s 控制技术，主要涉及码率控制、传输层差错控制及解码错误隐藏的技术发展动态。 同时介绍了h - 2 6 4 的q o s 技术所涉及的工具及方法，最后提出了本文的研究内容 和组织结构。 1 1 研究背景及视频压缩技术发展 随着计算机技术和微电子技术的不断进步，视频处理技术与应用技术有了很 大发展。而通信网的巨大发展，也为视频技术的高速发展带来了机遇。在通讯网 中，无论是有线技术还是无线技术都在朝着宽带化和口化方向发展，而宽带化发 展的最重要特征就是能够充分地支持多媒体业务，主要就是支持不同质量、不同 速率的视频业务。而通信协议p 化的发展，也对实时性要求较高的视频业务提出 了新的要求。目前使用最为广泛和具有发展前景的视频业务主要是会议电视、远 程教学、远程医疗以及视频电话等业务，实现这一系列业务的核心就是多媒体会 议体系，目前主要的几个协议组包括h 3 2 0 1 1 、h 3 2 3 n 、h 3 2 4 3 1 ，它们采用了相 同的系统框架，其对应的各部分内容也基本相同，主要区别在于为了适应不同的 网络而设计的包优化和网络接口的定义。其中h 3 2 0 是面向i s d n 应用的视频会议 系统，h 3 2 4 是面向p s t n 的视频会议系统，h 3 2 3 则是面向口分组网的视频会议 系统。 这一系列多媒体业务的核心技术之一就是视频压缩技术。视频压缩技术经历 了十年左右的发展，取得了巨大的进步。在目前已经大量应用的压缩标准中 m p e g 1 n 和m p e g - 2 n 是面向广播级或准广播级应用的。m p e g - 1 标准主要是为了 视频存贮媒体如v c d 而制定，该标准能够适应变码流的处理，主要目的是在1 1 5 m 的情况下，提供3 0 帧c i f ( 3 5 2 x 2 8 8 ) s 的质量图像。m p e g - 1 的实时编 码通常需要硬件才能完成，解码可以用软件来完成。m p e g - l 不能提供分级图像编 码，也不能在丢包率高的情况下应用。m p e g - 2 标准扩展了m p e g - 1 标准，能够 支持高分辩率图像和声音。目标码率是在3 1 5 m b i d s 传输速率条件下提供广播级 的图像，而且能够提供s n r 、时间、空间三种分级编码。该标准应用于卫星广播 西安电子科技大学博士论文 2 基于h 2 6 4 视频编码的q o s 研究 时，在当前的一个模拟信道中，不牺牲质量的情况下能提供7 路数字的编码节目。 h 2 6 1 n 、h 2 6 3 q 标准主要面向低码率的视频应用，如可视电话和会议电视。h 2 6 1 是最早出现的视频编码标准，它的输出码率是6 4 k b i t s 的倍数，它主要是为了i s d n 的会议电视和可视电话的应用，其所需要的计算量能够显著下降。h 2 6 1 的输出速 率是恒定的，而不是恒定的图像质量。h 2 6 3 是为了支持低速率的通信而制定的标 准，但希望能够适应较大的动态范围，而不仅限于低码率，而且能取代h 2 6 1 ， h 2 6 3 能适应误码率高的信道，具备容错的能力。m p e g - 4 8 】标准既能够支持码率 低于6 4 b i t s 的视频应用，也能够支持广播级的视频应用。与其他压缩标准相比， m p e g - 4 标准在d c t 的基础上引入了图像模型的概念，从而具有更高的压缩效率。 h 2 6 4 1 9 是建立在块匹配混合编码的基础上，采取一系列高效压缩编码技术的开放 式标准。其亮点在于：基于宏块层率失真优化( r a t ed i s t o r t i o no p t i m i z a t i o n ，r d 0 1 理 论，用小尺寸、多模式预测提高空域和时域压缩率，用整数变换量化提高频域压 缩率，用增强的熵编码高效压缩符号冗余，详细规定了新标准内涵，又提供了灵 活算法，以便根据不同的应用背景调整相应的算法和编码参数，力求在各种开放 环境下实现最小失真的最佳熵编码，达到高压缩率、低时延、容错性好、编解码 复杂度可分级、对口网和移动网适应性强等主要功能的设计目标。 国内关于视频通信的研究近些年来迅速发展起来。2 0 0 2 年，中国信息产业部 成立的音视频技术标准( a v s ) 工作组宣布准备针对移动多媒体、广播、d v d 等 应用编写一份国家标准。该视频标准称为a v s 1 0 1 卯，由两个相关部分组成：针对 移动视频应用的a v s m 和针对广播与d v d 的a v s l 0 。a v s 是基于我国创新技术 和部分公开技术的自主标准，编码效率比m p e g - 2 高2 3 倍，与a v c 相当，而且 技术方案简洁，芯片实现复杂度低，达到了第二代标准的最高水平；在获得高编 码效率的同时，a v s 视频标准尽可能保持了低的计算实现复杂度。当编码高清视 频信号时，a v s 视频获得了与先进视频编码标准a v c h 2 6 4 主要档次( m a i np r o f i l e ) 相当的编码效率，但解码器的实现复杂度只有其6 0 7 0 。在专利许可方面， a v s 通过简洁的一站式许可政策，解决了a v c h 2 6 4 被专利许可问题缠身难以产 业化的弊端，并且专利许可费用大大低于国际同类标准，可以预见a v s 的制定和 标准化将对我国的信息产业产生巨大的推动作用。 西安电子科技大学博士论文 第一章绪论 联e 视额组 q v t ) 标准 h 2 6 4 ，j h2 6 ”2 1 fh e o 标准 lm m 1 1 9 8 4 1 9 9 61 9 9 91 9 9 01 9 9 2 t 9 9 4 1 9 9 6l ，蚪。啪2 0 0 22 0 0 4 围1 1 是视频编码国际标准的发展时间表 1 2 视频码流应用层q o s 技术发展 实现多媒体业务的另一个核心技术就是q o s ( 服务质量) 控制技术【1 6 l 。随着 多媒体网络的发展，在传输视频码流的过程中，一方面要尽可能地传输足够多的 对用户有用的数据；另一方面，所传送的数据必须在某个限定的时间范围内到达， 因此实时视频传输对网络的带宽、迟延、数据包丢失率、异构性问题提出了一些 新的要求和挑战。为了防止网络用塞，提高网络的服务质量，必须采取q o s 控制 机制。应用层q o s 控制技术包括拥塞机制和差错控制，其中拥塞控制分为码率控 制和码率整形两种机制，而差错控制则包括传输层差错控制、编码器差错复员编 码、解码器错误隐藏和编码器解码器交互的差错控制。 1 2 1 码率控制技术的研究进展 编码端的码率控制 i t i 研可以描述为：满足一定的输出码率的条件下，使得视 频质量失真最小，也就是经典的率失真模型。如果结合传输信道则要考虑输出的 视频流码率尽量与可用网络带宽相匹配，力求将网络拥塞和丢包数目降至最低。 码率控制分为两种：恒定比特率( c b r ，c o n s t a n t b i t r a t e ) 控制和可变比特率( w r ， v a r i a b l eb i t r a t e ) 控制。c b r 码率控制的特点是保持输出比特率的恒定，同时尽 最大可能保证图像的主观质量。v b r 控制允许比特率在一定范围内波动，因而能 够获得近似恒定的视频服务质量。 1 2 1 1c b r 码率控制技术 c b r 码率控制问题可描述为：给定目标码率和具有一定复杂度的视频序列， 如何在各编码单位之间进行最佳码率分配，以确保获得最优的视频质量。这是一 西安电子科技大学博士论文 4 基于h 2 “视频编码的q o s 研究 个在给定编码限额下的率失真问题。解决该问题的一个很自然的途径便是估计出 编码器的率失真模型，根据率失真模型进行相应的码率分配，再选择适当的量化 步长来满足目标码率，从而获得该码率下的最佳图像质量。文献【9 1 给出一种综合 考虑图像内容和缓存器状态来自适应调控帧率的码率控制算法，该算法根据率失 真理论推导出用来描述码率、失真以及量化步长关系的视频信源模型，根据该模 型对图像码率和质量进行预测，从而决定跳帧数。文献【2 0 】给出一种可变帧率的码 率控制策略，其基本思想为：对运动剧烈的视频子图像组( s u b - c r o p ) 给予较大的 帧率，对运动平缓的则予以较小的帧率。该算法首先规定不同的帧率对应着原始 视频序列中不同位置编号的图像序列( 如分成奇数帧编码或偶数帧编码等) ，而 后由当前子图像组的r - d 曲线( 其r - d 特性由帧差直方图度量) 来预测下一子图 像组的帧率。文献 2 1 搬定信源服从拉普拉斯分布，给出一种二次r - q 模型，用此 模型为不同类型的图像帧( i 、p 或b ) 进行目标码率预测文献瞄】贝0 根据量化系 数的经验熵( e m p i r i c a le n t r o p y ) 模型，推导出宏块的目标码率预测公式，再结合 经典的率失真模型，由拉格朗日最佳化，求出在m s e 准则下的宏块层最佳量化步 长。该算法预测较为准确，计算效率也较高，通常称之为t m n 8 。文献圆对t m 5 中的自适应视觉量化因子计算方法进行改进，以块为基础分析宏块的局部视觉活 动特性，对宏块中各块的视觉活动特性进行综合评价，由此确定自适应视觉量化 因子。改进算法可进一步减少图像平坦区的块效应，降低平坦区强边缘的失真。 文献口】研究了m p e g - 4f g s 码流在可变比特率信道上的传输效率，对f g s 码率分 配问题进行了分析和建模，将其描述为一个多码率限制条件下的优化问题。分析 了f g s 码流率失真函数的特性，设计了一种迭代等d 优化算法。文献【2 5 】根据 h 2 6 4 ，a v c 编码标准的特性及其h r d 部分对码率控制的要求，提出了一种新的适 合h 2 6 4 a v c 的码率控制算法，该算法实现了率失真优化与码率控制的结合，使 得在达到码率控制的同时也能保证较高的编码效率，同时在码率控制的过程中根 据h r d 缓冲区状态进行位分配调整，保证了编解码缓冲区既不上溢又不下溢。文 献 2 6 吨7 l 贝0 着重研究了可分级码流的控制技术，从而更加丰富了编码端和信道传输 的q o s 控制技术。 1 2 1 2v b r 码率控制技术 随着网络和移动通信的日益普及，视频通信技术也得到了迅猛发展，利用压缩 码流的v b r 特性进行短延时、高增益的视频网络传输，已逐渐成为新的研究热点。 文献伫8 】给出一种信源与信道联合码率控制算法，该算法将信源码率控制分为瞬时 码率控制和持续码率控制两种类型，在当前图像帧编码前，首先预测其目标码率， 再选择适当的信道码率，而后根据目标码率和信道码率进行瞬时码率控制或持续 码率控制。在系统约束条件上限被打破时采用瞬时码率控制，通过调整量化步长 西安电子科技大学博士论文 第一章绪 论 5 强制码流满足约束条件：其它情况下则采用持续码率控制。根据视频码流的统计 特性变化情况，在一个较长周期内逐步调整量化步长，以确保整个视频序列质量 的一致性。该算法在图像统计特性变化缓慢时效果较好，对于场景变化剧烈的图 像，视频通信质量则明显下降。文献四给出一种采用1 d ( t r a f f i cd e s c r i p t o r ) 与网 络实时协商的联合码率控制算法，可根据图像场景变化进行网络带宽的动态调配。 在基于f e c 的无线信道视频传输中，文献 3 0 1 采用基于小波变换的多分辨率运动补 偿编码器，用一种与码率兼容的卷积码r c p c ( r a t e c o m p a t i b l ep u n c t u r e d c o n v o l u t i o n a lc o d e s ) 对信息包进行时变的不均等保护，并根据信道状况动态调整 信源与信道之间的码率分配，但该算法实现起来比较复杂。文献m 】贝以广泛使用 的r s 码为例，通过对误差扩散、误码隐藏和信道解码的统计分析，给出一种用于 估测信道失真的理论模型。该信道模型结合视频压缩编码原理，充分考虑了由运 动补偿渠道所造成的误码扩散。在基于a r q 的无线信道视频传输中，文献【3 2 j 给出 一种码率控制算法，该算法用一个a 先验两态马尔科夫( t w o - s t a t em a r k o v ) 模型 来预测信道状态，根据由误码包的平均长度和出错概率表征的信道统计特性来计 算模型状态转换概率，根据转换概率矩阵和给定的初始状态，便可预测信道的未 来吞吐量。算法根据当前信道状态对图像帧进行目标码率预测，在宏块层控制时， 借鉴t m n 8 的最佳量化步长确定方法，并综合考虑信道状态，以尽量减少跳帧数。 为进一步提高视频质量，算法还可以在d c t 系数层进行调控。文献1 3 3 3 4 】提出了一 种用于v b r 视频通信量预测的自适应神经网络模型，网络训练采用离线与在线相 结合的方式，同时通过删除不重要的权重，以优化网络的拓扑结构，提高网络的 推广能力，降低网络在线学习的计算复杂度。文献脚j 在小波域多重分形基础上， 研究了基于b 分布、点集( p m ) 分布的多重分形小波模型( m w m ) 的性能，并提出 了一种具有更好的逼近性能的混合p m 8 分布形式；同时，针对v b r 视频流的i ，p ， b 帧周期分布特性，充分利用异种帧相关性，建立了考虑帧间相关性的混合多重 分形小波v b r 视频流量模型c m w m ( c o m p o s i t em w m ) 。文献 3 6 1 提出了一种新的基 于场景的v b rm p e g 压缩视频源统计模型，该模型不仅计算简便，能快速产生符 合要求的视频流样本，还能同时拟合原始视频业务数据的概率分布情况、自相关 函数和自相似特性。 1 2 2 视频差错控制技术研究进展 应用层的差错控制包括从视频压缩角度考虑的抗丢包能力以及客户端的丢包 检测与恢复，传输层的差错控制包括打包算法的设计以及正向纠错编码( f e c ) 等。 1 2 2 1 基于编码器的差错控制研究进展 基于编码端差错控制的主要做法是以添加适当的冗余信息来防止错误的扩 西安电子科技大学博士论文 6基于h 2 6 4 视频编码的q o s 研究 散，减小错误造成的影响范围。但这会降低编码的效率，而在遇到传输错误时却 能使解码端获得较好的视频质量。文献 3 7 1 把数据分割成不同的部分，以便于在网 络上进行不同优先级的传输。使用数据分割使得运动向量信息的数据对传输错误 的鲁棒性得以加强，同时由于运动边界标记( m a m ) 的插入，在数据丢失时不必丢 弃所有的运动向量信息，试验表明在b e r ( b i te r r o rr a t e ) 为1 0 e 3 时，采取数据分 割后视频的平均p s n r 值有近2 d b 的提高。文献 3 8 1 研究了选择帧内编码的宏块个 数的策略，其思想是根据网络的反馈信息动态决定何时插入帧内编码的宏块，通 过周期性地插入帧内编码的帧或宏块，防止错误扩散并且具有很强的灵活性。文 献叨表明，采用率失真优化策略来决定插入帧内编码宏块的个数及位置可以获得 非常好的效果。分层编码( l c ) 将编码数据分割为一个基本层和若干增强层 4 0 l ， 每层对应于分辨率从低到高的不同信息。基本层提供了视频序列的基本信息，增 强层提供了视频序列更高的分辨率和细节；基本层可以单独传输和解码，而增强 层则必须与基本层一起传输和解码。但每个增强层可依次使视频质量更高。分层 编码作为一种灵活的编码方式，可以比较有效地解决带宽受限时的视频传输问题， 但会大大增加系统的复杂度，结合不等保护( u 1 强) 等传输方法才能发挥出优势。 u e p 的思想是对基本层和增强层视频流采用不同优先级的传输控制策略。文献【4 i 】 提出了一种使用u e p 的基于率失真优化的分层编码方案，对基本层采用基于前向 纠错技术( f e e ) 来保证相对较高的可靠性。与分层编码类似，多描述编码( m d c ) 也 是生成多股码流，每一股为一个描述，但生成的每个描述都是相关的并且具有同 等的重要性。每一个描述都能独立解码并可获得基本的重建图像，多个描述一起 则可使视频质量更好。但从另一个角度说，每个描述的相关性也决定了其冗余性。 多路径传输( m p t ) 作为m d c 的传输方案，得到了网络传输研究者的关注 4 2 - - 4 3 。文 献】提出了一种联合设计m d c 与m p t 的方案以在提高视频流容错性的同时还能 保证端到端的可用带宽。与l c 相比，m d c 的优势是不需要网络专门提供一个可 靠的反馈信道来获得接收端的反馈信息。综合比较，l c 采用分层的、不相关的分 解方法，而m d c 采用非层次结构的、相关的分解。 1 2 2 2 传输层差错控制研究发展 传统的传输协议其设计初衷是用来传输非实时数据的，如电子邮件与文件传 输等，这导致在目前的“尽力而为”的网络上，传统协议不能很好地处理视频的 传输。基于传输层的差错控制技术主要有自动重传( a r q ) 、f e c 及r t p r t c p 协议等。文献【4 5 】在无线环境下传输h 2 6 3 码流时，提出了种基于r s 及r c p c 纠 错的混合a r q 的错误控制方法，每一个传输或者重传的数据包都具有一定的纠错 能力，在纠错能力之内的传输重传包都具有独立的信息恢复的能力。当前使用的 传输层协议为传输控制协议，用户数据报协议( t c p u d p ) 。t c p 是面向连接的协 西安电子科技大学博士论文 第一章绪论 议，被用于在各种网络上提供有序可靠数据传输的虚电路服务，它的重传机制和 拥塞控制机制都不适用于实时视音频传输。文献【锎分析m p e g 2 视频流的自相似特 性，提出了一种确定固定时长的控制间隔的方法。此外，在接入设备具有较大缓 存的网络中，拥塞将首先表现为时延的增加，而不是丢包的出现。针对这种变化， 提出了基于接收端速率检测的t c p - f r i e n d l y 控制算法。文献1 4 7 】介绍了利用u d p 协 议进行视频网络传输的优点和不足。然后，根据视频网络传输的要求扩