（计算机应用技术专业论文）h264编码算法研究及嵌入式应用.pdf

江苏大学硕士学位论文 摘要 h 2 6 4 是由i s o ( 国际标准化组织) 与i t u ( 国际电信标准化部门) 为了获得更 好的压缩和传输性能而联合制定的新一代视频编码标准。h 2 6 4 引入了当前视频 编码的新技术，包括多种宏块大小模式、4 4 整数变换、帧内预测、去块效应 滤波、统一的熵编码等。与现有的其它视频编码标准相比，这些新技术使得h 2 “ 在相同的情况下可以得到更高的压缩比和更好的图像质量，这就使它具有很好的 应用前景。随着嵌入式系统的广泛应用，在嵌入式系统中实现视频的编解码已经 成为h 2 “研究的重点和难点之一。本文在详细分析了h 2 6 4 编码原理的基础上， 研究了复杂度很高的运动估计和模式选择的相关算法，然后在嵌入式平台 p 地5 5 上面实现基于h 2 6 4 的实时视频采集编码系统。 首先，在熟悉视频编码相关理论的前提下，介绍了h 2 6 4 编码器结构和档次 划分，并且详细分析了h 2 6 4 使用的关键技术以及h 2 6 4 的编码性能。从主观和 客观两个方面比较了h 2 6 4 与m p e g 2 、m p e g 4 和h 2 6 3 的编码性能，从测试的 结果可以看出不论从主观还是客观方面h 2 6 4 都具有更好的编码性能。 其次，详细分析了运动估计中的搜索算法，并且比较了几种搜索算法的性能。 实验结果显示，全搜索具有最好的搜索性能，但是搜索的复杂度很高，不适合在 实际中应用。而三步搜索、菱形搜索、六边形搜索算法和混合的非对称多六边形 搜索算法等快速算法在不严重改变搜索性能的情况下可以很大程度提高搜索速 度。 再次，重点研究了基于l a 酗酒a n 率失真优化算法的模式选择，并对率失真 优化算法进行相应的改进，以提高模式选择的速度。实验结果显示，改进后的模 式选择算法可以很大程度的节约时间，而且不会对编码性能有大的影响。 最后，将h 2 6 4 编码算法应用在嵌入式平台p 墟5 5 上实现基于嵌入式l i n l l ) 【 的视频采集编码系统。将h 2 6 4 编码软件x 2 6 4 移植到p 墟5 5 上，实现对采集 到的视频进行压缩，并且对编码软件进行优化。实验结果表明，优化后的编码软 件基本可以对采集到的视频进行实时编码。 关键词：h 2 “，运动估计，模式选择，嵌入式l i n u ) 【，代码优化 江苏大学硕士学位论文 a b s t r a c t i s o ( i l l t 锄a t i o n a lo r g a i l i z a t i o nf o rs t 卸d a r d i z a t i o n )a j l di t u ( i n t e n l a t i o n a l t b l e c o m m u n j c a t i o nu n i o n ) w o r kt o g e t h e rt o 、r ko u tan e wv i d e 0c o d i n gs t a l l d a r d h 2 6 4 ，i no r d e rt oo b t a i nb e t t e rc o m p r e s s i o n 龇l d 胁s m i s s i o np e r f o 册a n c e t h eh 2 6 4 s t 砒l d a r di i l 仃o d u c t i o nm en e wt e 6 t l i l o l o 西e so fc i l r r e ：r l tv i d e 0e n c 0 d i n 岛i n c l u d m g m u l t i s l i c es i z em o d e l ，4 4i n t e 酉a l 仃 m s f o 肌a t i o i l i i l t mp r e d i c t i o n ，m ee f r e c to f f i l t e r i n gt 0b l o c l 【，仃o p yc o d i n go fm e r e l 嘶6 c a t i o n 锄ds 0o n c 0 m p a r e dw i mo t l l e r 讥d e oc o d i n gs t 锄d a r do fe x i s t i n g ，t h en e wt e c l l i l o l o g ya l l o w sh 2 6 4c o d i n gs t 锄d a r d c 缸g 就al l i 曲e rc o m p r e s s i o nr a t i o 觚d b e t t e r i i l l a g eq u a l i t y i i lt l l es 锄e c i r c l l i n s t a j l c e s s o ，i th 嬲9 0 0 d 印p l i c a t i o np r o s p e c t w i t h ab r o a d 印p l i c a t i o no f 锄b e d d e ds v s t e n l s ，i r r l p l e n l e n t a t i o nm ev i d e 0c o d e ci i lt h e 伽b e d d e d 町，s t e n l sh a s b c c o m et h ef o c u sa n dd i 伍c u l to n eo fh 2 6 4s n i d y i l ln l i sp a p e r ，o nt l l cb a s i so f d e t a i l e da n a l y s i so fh 2 6 4c o d i n gm e 0 s t u d ym ec 锄p a i 印e s t i m a t e s 锄dc h o o s em e m o d eo fa l g o r i t so fah i 曲d e g r e eo fc o m p l e x 时，a 1 1 dt h 朗a c c o m p l i s h m e n t r e a l - t i m ev i d e 0c a p t u r ee i l c o d i n gs y s t 锄b a s e do nh 2 6 4i i lt l l ep 屹5 5o fe m b e d d e d p l a t f 0 咖 f i r s t l y ，u n d e rf - 锄i l i a rt h et h e 0 巧o fv i d e 0e 1 1 c o d i n gp r e m i s e ， i n 仃0 d u c et h e s 仃u 曲l r ea i l dl e v e lo ft h eh 2 6 4e n c o d e r ，a i l dm u l t i a n a l y s j st h ek e yt e c h n o l o 星；ya i l d e i l c o d i n gp e r f o m 肌c eo fh 2 6 4 c o m p 撕s o no fh 2 6 4 、m p e g 2 、m p e g 4a i l dh 2 6 3 e n c o d i n gp e r f o n l l a l l c ef r o m 铆。嬲p e c t so fs u b j e c t i v e 锄do b j e c t i v e f r o mt h et e s t r e 蚰l t s ，h 2 6 4h 勰b e t t e rc 0 d i n gp 晌肌锄c eb o t ht h ea s p e c to fs u b j e c t i v e0 r o b j e c t i v e s e c o n d l y d e t a i l e da n a l v s i so fs e a r c ha 19 1 d t l l i i lo ft l l em o t i o ne s t i m a t i o n ，m l d c o m p 棚t l l ep 柏m 锄c eo fs e v e r 2 l ls e a r c ha l ；y o r i t h m t h er e s u l t ss h o wt h a tt h e w r h o l es e 卸c hh 嬲t l l eb e s ts e a r c hp e r f o 姗a n c e ，b u tah i 曲d e 伊e eo fc o m p l e x i 吼s o ，n o t 嘶t a b l ef o ra p p l i c a t i o ni np r a c t i c e b u t ，t l l e 缸ta l 鲥t 1 1 mo f 廿l r c e - s t 印s e 砌、 d i 锄o n ds e 烈h、h e x a 霉r o n a ls e 铘c h a 1 霉r o r i t h n l 锄dm i x e d嬲y n l m 矧c a l i n u l t i - h e x a g o n a ls e a r c ha l g o r i t i l mc a n 铲e a t l yi m p r o v es e a r c hs p e e dw i t h o u tas 甜。吣 c h 锄g e 加s e 卸c hp e 而册锄c c t h i r d l y 锄叩h a t i cs t u d ym o d es e l e c t i o no fr a t ed i s t o r t i o no p t i i n 讫a t i o na 1 9 0 r i 廿l m b 嬲e do nl a 鲫1 百a l l ，龇l di n c r e 嬲es p e e do fm o d es e l e c t i o nb yi i n p r o v 锄e n tm er a t e d i s t o r t i o no p t i m 协t i o na 1 9 0 r i l m t h er e s u l t ss h o wt l l a t 廿l ei i i l p r o v 近m o d e la l g o t l l m 锄s 孙，ct 岫e1 a 唱ed e g r e e ，m o r e 0 v 盯w i t h o u ti i i l p tt l l ec o d i n gp e r f 砷a n c em 旬0 r f i n a l i y h 2 “伽c o d i n ga 1 9 0 栅瑚a p p l i c a t i o no np 心5 5o fe m b e d d c dp l a t f b 他 t oa c c o m p l i s h m a l tr e a l t 岫ev i d e oc a p t u r e 铋c o d i n gs y s t lb 嬲e do n 锄b e d d e dl i l l u x x 2 6 4o fh 2 6 4 伽c o d i n g 胁a 他w i l lb e 仃觚s p l 锄t e dt 0p 心5 5t 0a c h i e v e l e c o l l c c t i o no fv i d c o m p 他s s i o 玛a n do p t i i i l i z e 廿l e c o d i n gs o 脚a 他e x p 渤锄t a l r e s u l t ss h o w 廿l a tt l l ee n c o d i n gs o f t w a r eo fo p t i 皿i i z a t i o nc 锄c o m p l i s l l i i l e n to ft i 心 b a s i cr e a l t i m ev i d c o d i n gf o rc o l l e c t i o n “d k e y w o r d s ： h 2 6 4 ，m o t i o ne s t i m a t i o 玛m o d es e l e c t i o n ， 锄b e d ( 1 e d l i n u x ，c o d e o p t i m i z a t i o n 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口在年解密后适用本授权书。 不保密曰 学位论文作者签名：嚆叹 签字日期：勿口弹月7f 日 导师签名：豸啄 签字日期：加嘭年 月日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容以外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作亨签名：晦k 日期：妒o j 酷白月lf 日 、 江苏大学硕士学位论文 第一章引言 1 1 课题研究的背景和意义 h 2 6 4 是由i s o ( 国际标准化组织) i e c ( 国际电工协会) 和i t u ( 国际电信标 准化部门) 合作制定的新一代视频编码标准【l 】。从h 2 6 1 、h 2 6 2 到h 2 6 3 ，从 m p e g l 、m p e g 2 到m p e g 4 都有一个共同的目标，即在尽可能低的码率( 或存 储容量) 下获得尽可能好的图象质量。另外，随着市场对图象传输需求的增加， 如何适应不同信道传输特性的问题也日益显现出来，这就是h 2 6 4 试图解决的问 题1 2 j 。但是，随着编码效率的提高，编码的复杂度越来越大，需要研究h 2 6 4 视 频编码算法以提高编码效率和编码速度。 近几年来，随着网络和多媒体技术的发展，越来越多的数字视频业务不断涌 现，h 2 6 4 标准的制订正是为适应各种业务增长对于运动图像压缩率的更高要求， 并使得编码后的视频数据能够在各种网络环境下传输。在技术上，h 2 6 4 标准引 入了当前视频编码的新技术，包括运动搜索中的宏块大小可变、整数变换、帧内 预测、去块效应滤波、熵编码等。总之，h 2 6 4 是数字视频编解码算法未来的标 准。h 2 6 4 标准面向从高质量到低比特率，从有线到无线的各种应用。与现有的 其它视频编码标准相比，具有明显的优势，其编码技术先进实用，具有更强的网 络适应性并且它的基本层是公开的，不收取专利费，这就使它在多个领域具有广 泛的应用前景【3 】。可以预见，h 2 “将成为最具影响的视频编码标准之一。 随着集成电路技术和计算机技术的发展，嵌入式系统的功能越来越强大体积 越来越小，价格越来越低，所以嵌入式系统已经广泛的应用于消费类电子产品【4 】。 为了满足人们对视频信息的需求，需要研究视频编解码系统在嵌入式系统中的应 用。 自从2 0 0 3 年3 月通过最终稿以来，围绕h 2 6 4 的应用研究正在广泛展开。 因此研究h 2 6 4 标准的编码算法，并结合基于p x a 2 5 5 的嵌入式平台进行应用研 究具有重要意义。 1 2 国内外的研究现状 h 2 6 4 标准比以前视频编码标准有了大大的改进，编码效率得到了很大的提 高。h 2 6 4 标准是接受了多家大公司的1 0 0 多项建议，它是公共的、开放的标准， 兼容性更好，这将极大地推动h 2 6 4 在视频编解码领域的应用。国内外众多厂家 江苏大学硕士学位论文 已经完成了h 2 6 4 编解码器的软件实现，并生产出了编解码芯片。另外，许多厂 商已经或者正在研发并生产各种面向用户的基于h 2 6 4 的产品。 1 2 1 理论上的研究现状 目前，对h 2 6 4 的理论研究主要集中在如何进一步优化算法结构、降低处理 时延、提高实时性和进一步提高图像质量上。在算法上，由于在整个编码的过程 中，帧间预测的运动估计、运动补偿和模式选择占了整个编码时间的一大部分， 复杂性较高。所以现在主要是针对帧间预测的运动估计、运动补偿和模式选择部 分的研究，并且出现了一大批有效的运动估计快速算法和快速模式选择算法，针 对不同的应用可以选择不同的算法。但是，仍然无法满足某些需要实时性很强的 场合。所以还需要继续研究h 2 6 4 中的复杂度高、耗时长的算法。对于变换量化、 熵编码和滤波等部分算法基本上固定，主要是寻求有效的编程实现方法【5 1 。 现有的h - 2 6 4 编码软件主要有j m 、) ( 2 6 4 和t 2 6 4 三种，其中j m 【6 】是h 2 6 4 的官方编解码器，由德国h h i ( h e i l l r i c hh e n z1 1 1 s t i t u t e ) 负责实现，实现了h 2 6 4 的所有特性，无优化。x 2 6 4 【6 l 是由法国巴黎中心学校( e c o l ec 即仃a lp 撕s ，e c p ) 的中心研究所( c e l l t i 证r e s e a r c h ) 的一帮学生于2 0 0 4 年6 月发起的的一个开源项 目，后来吸引了大批热爱视频编码的成员共同完成这个项目。t 2 6 4 【6 】是我国的 编程爱好者建立的一个开源工程，它吸收了j m ，x 2 6 4 ，x v i d 三者的精华，但 效果不尽如人意。编码器编码输出标准的2 6 4 码流，解码器只能解t 2 6 4 编码器 生成的码流。 1 2 2 应用研究现状 h 2 6 4 的优异的压缩性能使得它在视频通信领域、数字广播电视领域、网络 视频流媒体传递以及视频存储播放领域等各个方面发挥重要作用。 1 在视频通信领域中的应用 由于h 2 “是在h 2 6 l 的已有成果基础上由j v t 【6 】完成标准最后制定的，而 h 2 6 l 首先就是针对视频实时通信应用的，例如，会议电视、可视电话等应用， 因此，h 2 6 4 在视频实时通信领域首先得到了应用，到2 0 0 4 年2 月为止，国外 声称已经可以提供基于h 2 6 4 的会议电视产品的公司有p o l y c o m 、 t f d b e r g 、v c o n 、s o n y 等。 2 在数字广播电视领域中的应用 目前m p e g 4 已经完成了基于m p e g 2 系统兼容h 2 “码流内容的标准 l e n d m 饥t3 ：t r 锄s p o r to fa v cv i d e 0d a t ao v e rn u tr e c h 2 2 2 0 i i s o i e c 1 3 8 1 8 1s 骶锄s ”的制定，这就为h 2 6 4 标准在数字广播电视领域和视频存储播放 2 江苏大学硕士学位论文 领域中的应用打下了基础。据数字视频广播( d v b ) 标准组a v 编码组主席k e nm c c a 彻说，欧洲已经考虑修订当前的数字视频广播标准，将m p e g 4 音频和h 2 6 4 视频同时列为基于m 视频传输的候选选项，而专注于数字电视的独立技术咨询 公司z e t a c a s t 公司董事m c c 黝指出，d v b 的a v 编码组已经考虑用于d v b 广 播应用的h 2 6 4 实施指南问题。可以预计，随着h 2 6 4 将来在数字广播特别是高 清电视领域中的应用，用户可以看到更高质量的视频图像节目、可以选择更多的 电视节目频道。 3 在网络视频流媒体中的应用 h 2 6 4 不仅具有优异的压缩性能，而且具有良好的网络亲和性，这对网络视 频流媒体是十分重要的。众所周知，应用流媒体技术的电视点播( v o d ) 最近 有了迅速发展，韩国的宽带上网的应用中v 0 d 占据了第二位。我国宽带上网用 户今年已达1 0 0 0 万户以上，而且还在继续发展，v o d 的迅速发展也是可以期待 的。 4 在视频存储播放领域中的应用 在2 0 0 3 年1 1 月1 9 日于日本千叶县幕张m e s s e 会展中心开幕的“2 0 0 3 年国 际广播电视设备展( i i l t e r b e e2 0 0 3 ) ”上，不少公司利用h 2 6 4 编解码器进行了 录像播放演示，编解码器的形态各种各样，从f p g a 等芯片到电脑软件应有尽有。 在d v d 等视频存储播放领域应用中，h 2 6 4 将是最好的选择，并且对于高清晰 度d v d ( h dd v d ) 应用来说，更加需要具有高压缩效率的视频压缩标准。 随着嵌入式技术的发展，嵌入式系统的功能不断完善，价格不断下降，嵌入 式系统将更加广泛的应用在消费类电子产品中，为了满足人们对视频信息的需 求，h 2 6 4 将更加广泛的应用在嵌入式系统中，将会出现更多的h 2 6 4 嵌入式视 频产品。 1 3 论文的主要工作 1 分析h 2 6 4 编码标准的关键技术及编码性能，并且就编码性能和其它视 频编码标准作比较。 2 研究h 2 6 4 视频编码中最消耗时间的运动估计搜索算法，详细分析现有 的搜索算法的原理，并比较几种搜索算法的性能，最后确定最佳的搜索算法。 3 研究h 2 6 4 视频编码中的基于l a 伊a n g e 率失真优化的模式选择，介绍率 失真的基本理论和率失真算法的思想，分析基于l 孵柚g e 率失真模式选择的性 能，并对标准的率失真优化算法进行改进。 4 将h 2 6 4 编码算法应用在嵌入式系统上，实现基于嵌入式l i n u x 的视频采 集编码系统。构建嵌入式l i n u 】【开发环境，实现基于u s b 摄像头的视频采集，移 3 江苏大学硕士学位论文 植并优化编码软件x 2 6 4 ，最后在嵌入式平台p x a 2 5 5 上面实现基于h 2 6 4 的实 时视频采集编码系统。 1 4 本章小结 本章为论文的引言部分，首先介绍了课题的研究背景和意义，然后分别从理 论上和应用上详细阐述了h 2 6 4 视频编码标准的研究现状，最后介绍了论文的主 要工作。 4 江苏大学硕士学位论文 第二章视频编码概述及标准的发展 压缩是降低数据流比特数的过程，而视频压缩( 视频编码) 是降低数字视频序 列比特数的过程。一般情况下，原始未经压缩的数字视频比特率相当高，压缩前 的电视效果大约需要2 1 6 m b i s 的传输带宽，现有绝大多数网络的带宽都无法承 载如此大的数据传输速率。视频数据进行压缩后，不但容易处理，而且可大大减 少传输和存储的开销。所以，在数字视频的存储和传输过程中，压缩是必不可少 的。 2 1 视频颜色空间与格式 2 。1 。1 视频颜色空间 大多数数字视频程序都依赖于彩色视频的显示，这样的话，就需要一个捕捉 并表示颜色空间的表示方法。一个单色的图像只需要一个在空间内表示一个像素 点的亮度或流明度的值就可以了。但对于颜色图像来说，对于一个像素点至少需 要三个数来把颜色信息准确地表示出来。用来表示亮度和颜色的方法叫做颜色空 间。 1 r g b 色度空间 在r g b 颜色空间中，一个带颜色的图象采样是用三个值来表示一个象素点 的相对的红，绿和蓝色比( 三种光线的主样构成颜色) 。任何颜色都可以通过把红、 绿、蓝按照不同的比例相混得到。r g b 颜色空间更加适合于捕捉并显示颜色图 像。捕捉r g b 图像包括过滤出红，绿和蓝色的构成比率，并用一个单独的传感 器数组来捕捉。 阴极色线管显示器( c i 玎) 和液晶显示器( l c d ) 通过分别对每个像素点的红、 绿、蓝值进行显示来得到各种颜色。从一个通常的观察距离来看，不同的构成部 分可以达到颜色上的真实感。 2 y c b c r 色度空间 人类视觉系统( h v s ) 相比亮度来说对于颜色不是那么敏感的。在r g b 颜色 空间中，三种颜色被平等地看待，并用相同的分辨率存放起来。但是通过把亮度 与颜色信息分离，并对亮度值取更高的分辨率可以更有效地表示一个颜色图像。 y 凸c r 颜色空间和它的变换( 通常写为y u v ) 是一种流行而高效的表示一个 图像颜色的方法。y 是亮度值( h 吼a ) ，由r ，g ，b 的加权平均可以得到，色度 信息表示为色差( c l d m a ) ，是用c b 和c r 来表示，如公式( 2 1 ) ，其中k f 、k g 和 k 是加权因子。对于一个颜色图像的完整的描述由给定亮度和色差来表示。 江苏大学硕士学位论文 f 】，= i 足+ 砖g + 屯曰 c 6 卸 【d = 尺 ( 2 1 ) 在y c b c r 空间中，只有y 和c b ，c r 值被传输和存储，而且c b 和c r 的分辨 率可以比y 低，因为人类视觉系统对于亮度更加敏感。这就减少了表示图像的 数据量。通常的观察情况下，r g b 和y c b c r 表示的图像看上去没有什么不同。 对于色度采用比亮度低的分辨率进行采样是一种简单而有效的压缩办法。一个 r g b 图像可以在捕捉之后转换为y c b c r 格式用来减少存储和传输负担，在显示 图像之前，通常还要再转换成r g b 格式。公式( 2 2 ) 和( 2 3 ) 给出了转换和逆转换 的公式。 。 l 2 k r k + k p + k b b 啦兰c 肛即 。= 兰( m ) 灭：y + ! 二生d g ：y 一兰鱼! ! 二鱼2 一兰笠! ! 二笠2c ， gk s 召：】，+ 上蔓c 6 ( 2 2 ) ( 2 3 ) n u - r ( 国际电信联盟) 的b t 6 0 l ( 演播室数字电视编码参数) 决议定义了l 【b = o 1 1 4 ，k 尸o 2 9 9 ，又因为k r + l ( g + h = 1 ，所以，k g = 0 5 8 7 ，那么代换参数就有了 如下等式： f 】，= o 2 9 9 月+ 0 5 8 7 g + o 1 1 4 曰 c 6 = o 5 6 4 ( 雪一y ) 【c 厂= o 7 1 3 ( 尺一y ) ( 2 4 ) f 足= 】厂+ 1 4 0 2 c r 厂 g = 】，一o 3 3 4 c 6 0 7 1 4 c ， 【曰= y + 1 7 7 2 劬 ( 2 5 ) 3 y c b c r 采样格式 图2 - l 显示了h 2 “支持的y c b c r 的三种不同的采样格式，分别为4 ：4 ：4 ， 4 ：2 ：2 和4 ：2 ：o 。 6 江苏大学硕士学位论文 暑。吕。暑o q o q o 嗡q 嗡q o oooo o q o q o q 嗡q q 虽三虽三；三 嗡。q o 嗡嗡嗡嗡 三三三三三三三兰：兰 q ：取q o oooo o q o 呤。 饿书q 耿仟 99 9 4 ：2 ：2 取样 ooo o o o 通常视频在压缩和传输之前，需要转换成特定的格式。常用的视频格式如表 2 1 所示。帧分辨率的选择取决于应用程序，可使用的存储量以及传输带宽。比 如说4 c i f 对于标准定义的电视和d v d 视频来说是合适的，c i f 和q c 在视频会 议中是常被使用的格式。q c i f 和s q c i f 对于移动设备的多媒体程序来说是合适 的，在这样的情况下，显示分辨率和码率都是有限的。 表2 1 视频帧格式 视频格式 量度分辨率( 水平垂直)每帧比特数( 4 ：2 ：0 ，每样点8 个比特数) s u b q c i f 1 2 8 9 6 1 4 7 4 5 6 ( m a n e rc i f ( q c i f ) 1 7 6 1 4 43 0 4 1 2 8 c i f 3 5 2 2 8 8 1 2 1 6 5 1 2 4 c i f 7 0 4 5 7 64 8 6 6 0 4 8 7 江苏大学硕士学位论文 2 2 视频编码的性能评价标准 2 2 1 主观质量的评定 由于个人的视觉系统( h v s ) 不尽相同，对视频内容的熟悉程度也不一样。 为了减少主观随意性，在对视频图像主观评定前，选若干名专家和“非专家”作为 评分委员，共同利用五项或七项评分法对同一种视频图像进行压缩编码构图像评 定。最后按加权平均法则对该压缩后的图像质量进行主观评定，如表2 2 所示。 表2 2 主观评价分数标准 c c 瓜五级评分等级评分等级高清晰度采用七级评分等级评价 7 不能觉察任何图像损伤特别好 6 刚能觉察有图像损伤相当好 优 5 不同科度的觉察，轻度损伤很好 好 4 有损伤，但不令人讨厌 好 稍差 3 有令人讨厌损伤稍差 很差 2 损伤令人讨厌。但尚可忍受 很著 劣 l 非常令人讨厌损伤，无法观看劣 测试方法可用随机次序请评委观察比较原始图像和压缩编码的图像。国际上 称为d s c o s 的测试系统如图2 2 所示。其中a 为原始图像，b 为编码解码后的 图像，以任意的a 、b 次序让评委打分评定。 2 2 2 客观质量的评定 图2 2 d s c q s 测试系统 视频编码器的性能可以认为是质量、压缩比特率和计算开销三个变量之间的 相互平衡。率失真性能描述了编码器在视觉质量和比特率之间的平衡关系，分别 以比特率( b i 仃砒e ) 和峰值信噪比( p s n r ) 作为横纵坐标可以作出率失真特征曲线， 如图2 3 所示。如果降低比特率，视觉质量会加速降低。 编码器的率失真曲线是一种被广泛认可的比较编码器性能的方法。好的率失 真性能表现在图中是曲线向左上方移动。当评价视频压缩性能时，通常综合考虑 b i t r t a t e 和p s n r 这两方面因素，通过表格或者r _ d 曲线进行分析。而计算开销 用来衡量编码器的复杂度。如果需要实时编码，那么编码器的计算开销必须低到 能确保每秒压缩至少n 帧( n 是期望所要达到的每秒帧数) 。如果是离线压缩，即 8 江苏大学硕士学位论文 不要求实时压缩，那么每帧的计算开销决定总的编码时间。 p s n r 编码比特率 图2 3 率失真曲线图 码率( b i t r a t e ) 是指每秒钟编码器传输的码流位数，即b i t 数，单位是b p s ( b i t sp e r s e c o n d ) 。当编码速率固定后，b i 蚴e 由编码后的码流决定。 峰值性噪比p s n r 是一种衡量图像失真度的参数标准，是原图像与处理图像 之间均方误差相对于( 2 “1 ) 2 的对数值( n 是每个采样值的比特数) ，见公式( 2 6 ) ， 单位是。它是目前衡量图像失真度时常用的指标之一。m s e 为图像的均方误差， 假设图像的尺寸为m n ，则图像的均方误差m s e 如公式( 2 7 ) 所示，其中绣j 为处理后的恢复图像与原图像对应像素的差值。 妣圳l o g 。譬 脚= 由蟛，x 磁。， 由公式( 2 6 ) 可得， ( 2 6 ) ( 2 7 ) 脚：缮 1 01 0 ( 2 8 ) 由公式( 2 8 ) 可知，对于图像的量度分量y 、色度分量u 、色度分量v 的均方误差 m s e 分别如公式( 2 9 ) 、( 2 1 0 ) 、( 2 1 1 ) 所示。 m s e y - j 譬要 1 0 1 0 ( 2 9 ) m s e u ：巴芸 1 0 。1 。 ( 2 1 0 ) m s e y ：氅荽 l o 1 0 ( 2 1 1 ) 9 江苏大学硕士学位论文 而：! 兰墼墼墼： 三个分量的平均均方误差为： 6 丽：l o l 瞩型 所以，图像的平均信噪比为： ”彪距 在论文的后面中，p s n r 表示的均为图像的平均信噪比。 2 3 视频编码系统的基本结构 ( 2 1 2 ) ( 2 1 3 ) 视频编码方法与采用的信源模型有关，图2 - 4 所示为视频编码系统的基本结 构。如果采用“一幅图像由许多像素构成 的信源模型，这种模型的参数就是每 个象素的亮度和色度的幅度值。对这些参数进行压缩编码的技术称为基于波形的 编码。如果采用”一个分量有几个物体构成”的信源模型，这种模型的参数就是各 个物体的形状、纹理和运动。对这些参数进行压缩编码的技术称为基于内容的编 码。基于波形的编码和基于内容的编码利用不同的压缩编码方法得到相应的量化 前的参数，再用二进制表示参数的量化值对这些参数进行量化，最后进行无损熵 编码进一步压缩码率。解码为编码的逆过程。 r 一- 。一。一。一。- - 。一 ii ； 编码器有损的无损； j 解码器 ： l 一一二! 图2 4 视频编码系统结构 2 4 视频编码的基本原理 视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息 可分为空域冗余信息和时域冗余信息。视频编码就是将数据中的冗余信息去掉， 也就是去除数据之间的相关性。目前视频编码通常采用预测编码、变换编码和熵 编码对视频图像数据进行压缩编码。 l o 江苏大学硕士学位论文 2 4 1 预测编码 预测编码是最简单和实用的视频压缩编码方法，它不是对一个像素直接编 码，而是同一帧或相邻帧中的像素值进行预测，然后对预测残差进行量化和编 码。同一幅图像中的邻近像素之间、当前帧和与之相邻的几帧图像之间以及图 像中同一位置附近的像素点之间都存在有很强的相似性。可以利用这些性质通过 预测编码的方法减少冗余，达到压缩视频的目的。预测编码通常包括帧内预测和 帧问预测两种预测方式。 冈 l 宏块pi i j 网 i 宏块i i pi i 一j ， 图2 - 5 运动估计与运动补偿 1 帧内预测：是在当前图像内已经编码过的像素点中寻找待编码像素的预 测值，然后用实际值减去预测值得到差值，最后再对这个残差值进行编码。 2 帧间预测：是将当前待编码帧的前一帧或前几帧已经编码的图像作为参 考帧，然后将当前帧减去参考帧得到残差帧，最后再对残差帧进行编码。目前常 用的帧间编码的方法是基于块的运动估计和运动补偿，即将一帧图像分成矩形块 ( 宏块) ，然后对每个宏块进行运动补偿和运动估计。图2 5 表示了一宏块运动估 计和运动补偿的过程，编码器根据一定的标准通过运动估计得到当前宏块p 的最 佳匹配宏块p 后，用p 减去p 得到残差宏块p ，描述匹配块位置的运动矢量和 残差宏块一起被编码和传输。在编码器内部，残差块同时被编码和解码，解码后 的残差块与匹配块相加得到参考宏块，用于之后的运动补偿预测，这种方法保证 了编码器和解码器使用相同的运动补偿参考帧。 2 4 2 变换编码 在绝大部分图像中，平坦区域和内容缓慢变化区域占据一幅图像的大部分， 而细节区域和内容突变区域则占小部分。也可以说，图像中直流和低频区占大部 分，高频区占小部分。这样，如果将空间域的图像变换到频域或所谓的变换域， 就会产生相关性很小的一些变换系数，通过对其进行量化和编码可以达到压缩视 频的目的。目前常见的变换方法有k l 变换、离散余弦变换( d c t ) 和离散小波变 换( d w t ) 等等。其中，编码性能以k l 变换最理想，但缺乏快速算法，且变换矩 江苏大学硕士学位论文 阵随图像而异，不同图像需要计算不同的变换矩阵，因而只用来作参考比较。 d c t 编码性能最接近于k l 变换，略次而已，但它具有快速算法，广泛应用于 图像编码。d 、t 变换性能最差。 2 4 3 熵编码 熵编码是无损编码。它对变换、量化后得到的系数和运动信息，进行进一步 的压缩。熵编码也叫统计编码，它是利用信源的统计特性进行码率压缩的编码方 式。常见的熵编码有变长编码( 也口q 哈夫曼编码) 和算术编码。 1 变长编码：该编码方法对出现概率大的符号分配短字长的二进制码，对 出现概率小的符号分配长字长的二进制码，得到符号平均码长最短的码。该方法 为最佳熵编码方法。 2 算术编码：该编码方法与哈夫曼编码不同，它不是采用一个码字代表一 个输入信息符号的办法，而采用一个浮点数。经算术编码后输出一个小与l ，大 于o 的浮点数，在解码端再进行正确、唯一的解码，恢复原符号序列。 3 游程编码：又叫运行长度编码或行程编码，该编码用一个符号值或串长 代替具有相同值的连续符号，连续符号构成了一段连续的“行程”，使符号长度少 于原始数据的长度。 2 5 视频编码标准的发展 数字视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、 可视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。 图2 6 就是主要视频编码的发展历程。i t u - t 与i s o i e c 是目前制定视频编码标 准的两大组织【7 j 。玎u t 的标准包括h t 2 6 1 、h 2 6 3 、h 2 6 4 ，主要应用于实时视 频通信领域，如会议电视；m p e g 系列标准是由i s o i e c 制定的，主要应用于视 频存储( d v d ) 、广播电视、因特网或无线网上的流媒体等。两个组织也共同制定 了一些标准，h 2 6 2 标准等同于m p e g 2 的视频编码标准，而最新的h 2 6 4 标准 则被纳入m p e g 4 的第1 0 部分。 视频编码标准的提出最早是源于对可视电话的研究。到1 9 9 8 年，c c i t t ( 国 际电报电话咨询委员会) 通过了视频编码标准h 2 6 1 建议，成为可视电话的国际 标准，也是第一个实用视频编码标准。 1 2 江苏大学硕士学位论文 i l t u - th 2 6 lh 2 6 3h 2 6 3 +h 2 6 3 l + + i 盟 m p e g 到h h 2 “ 2 6 2 圈e ， lc h i n aa v s l 1 9 8 4 1 9 8 81 9 9 2 1 9 9 62 0 0 0 2 0 0 42 0 0 8 图2 _ 6 主要视频编码的发展历程 1 9 8 6 年，i s 0 和c c n t 成立了联合图像专家组( j p e g ，j o n i tp h o t o 酉a p h i c e x p 瞰s u p ) ，研究连续色调静止图像压缩算法国际标准并于1 9 9 2 年7 月通过 了j p e g 标准。 1 9 8 8 年i s o i e c 信息技术联合委员会成立了活动图像专家组( m p e g ， m o v i n gp i c t i 】l 。ee x p 鲥g r o u p ) 。19 9 1 年公布了m p e g l 视频编码标准，码率为 1 5 i t s ，主要应用于家用v c d 的视频压缩。 1 9 9 4 年1 1 月公布了m p e g 2 标准，用于数字视频广播( d v b ) 、家用d v d 的视频压缩及高清晰度电视( h d l 、，) 。 1 9 9 5 年，i t u - t 推出了h 2 6 3 标准，用于低于6 4 k b i t s 的低码率视频传输。 随后又陆续推出了h 2 6 3 + 和h 2 6 3 + + 标准。 1 9 9 9 年1 2 月份，i s 科i e c 通过了“视听对象的编码标准m p e g 4 ，它除 了定义视频压缩编码标准外，还强调了多媒体通信的交互性和灵活性。 2 0 0 3 年3 月，1 1 r u - t 和i s o i e c 正式公布了h 2 6 4 视频编码标准，不仅显著 提高了压缩比，而且具有良好的网络亲和性，加强了对口网、移动网的误码和 丢包的处理。也有人将h 2 6 4 成为新一代的视频编码标准。同年，我国公布了具 有自主知识产权的一a v s 。a v s 采用了和h 2 6 4 相似的技术，具有h 2 6 4 相似的 优点。a 、厂s 的视频部分已经与2 0 0 6 年3 月1 日开始作为国家推荐标准施行。 2 6 主要视频编码标准简介 2 6 1h 2 6 x 系列标准 1 h 。2 6 1 h 2 6 1 【8 1 是i t u t 第1 5 研究组于1 9 8 4 1 9 8 9 年制定的针对可视电话和视频 会议等业务的视频编码标准，目的是在窄带i s d n 上实现速率p 6 4 k b p s 的双向声 江苏大学硕士学位论文 像业务，其中p = 1 3 0 。h 2 6 1 只支持c i f ( 3 5 2 2 8 8 像素) 和q c i f ( 1 7 6 1 4 4 像 素) 两种图像格式。h 2 6 l 标准是视频编码的一个里程碑，是第一个被广泛应用的 成功标准。从此，r r u t 、i s o 和a v s 工作组等公布的一系列视频编码标准的编码 方法都是基于h 2 6 l 中的混合编码方法和编码结构。h 2 6 l 中主要采取了1 6 1 6 微块的运动补偿、8 8d c t 、标量量化、z z 扫描、游程编码和变长编码的编码 结构。h 2 6 1 是在硬件和软件处理器性能有限的时候被发展起来的，因此有低复杂 度的特点。然而，它的缺点是低压缩比性能和缺乏灵活性。 2 h 2 6 3 h 2 6 3 p j 标准是i t u t 于1 9 9 5 年针对低比特率视频应用制定的，是在h 2 6 1 基础上发展起来的，目标是在许多方面上通过视频编码算法和处理性能的提高， 从而比h 2 6 1 较大地提高编码性能。其标准输入图像格式可以是s q c i f 、q c i f 、 c i f 、4 c i f 或者1 6 c i f 的彩色4 ：2 ：o 亚取样图像。h 2 6 3 与h 2 6 1 相比采用了 半象素的运动补偿，并增加了4 种有效的压缩编码模式。无限制的运动矢量模式 允许运动矢量指向图像以外的区域