（信号与信息处理专业论文）基于以太网的视频监控系统中视频传输模块的研究.pdf

摘要 在银行、公共场所、企事业等场所安全监控中需要大量视频监控系统。目前， 所使用的视频监控系统主要是单独建立的监控系统，需要大量的设备费、线路费、 维护和维修费，并且具有很多布线，给维修带来不便，对环境也造成影响。局域 计算机网络的传输速率可达1 0 0 0 m b i t s ，其丰富的带宽资源没有得到充分利用， 造成其资源的浪费。因此，研究一种基于以太网的视频监控系统是十分必要的。 本文提出了基于以太网的视频传输系统的设计研究方案，研制了基于以太网 的视频监控系统中的视频传输模块；分析了视频压缩编码算法，开发h 2 6 4 视频 压缩编码协议，并对其进行优化；采用t m s 3 2 0 d m 6 4 2d s p 芯片设计了视频传输 模块的硬件；采用c 语言编写了视频传输模块的软件，实现了视频信号h 2 6 4 编 解码和t c p i p 协议的视频信号的网络传输，并进行了实验。实验结果表明，所研 制的视频传输模块能够实现视频信号的采集、压缩、传输和显示等功能，具有压 缩效率高、图像质量好，满足实时监控系统的要求。 利用该视频传输模块可以组成基于以太网的视频监控系统，节省大量设备 费、线路费、维护维修费和工程费等费用，缩短安装工程周期，提高计算机网络 资源的利用率，适合我国国情，在银行、企事业、电业和公安等行业安全监控中 具有广泛的应用前景。 关键词：数字视频监控；h 2 6 4 视频压缩标准；以太网；视频传输 i a b s 仃a c t v i s u a ls u r v e i l l a n c es y s t e m sa r ea d o p t e di nm a n yp l a c e ss u c ha sb a n k ，p u b l i c ， e n t e r p r i s ef o rs c u r i t ym o n i t o r i n g s of a r , m o s to ft h ev i s u a ls u r v e i l l a n c es y s t e m sa le i n d e p e n d e n ts y s t e m s ，w h i c hs p e n th u g ea m o u n to fm o n e y i ne q u i p m e n t s ，c a b l el a y e r , r e p a i ra n dm a i n t e n a n c e ，a n dt h ec a b l el a y e ri ss oc o m p l e xt h a ti t c a nr e s u l ti nm a n y t r o u b l e sn o to n l yi nm a i n t e n a n c eb u ta l s oi ne n v i r o n m e n t s t h el o c a la r e an e t w o r k t r a n s m i t t i n gs p e e dc a nr e a c ht o10 0 0 m b i t s i t sa b u n d a n tr e s o u r c e sh a v en o tb e e n u s e de f f i c i e n t l y , w h i c hr e s u l ti ns i g n i f i c a n tw a s t e s oi ti sv e r yn e c e s s a r yt od e v e l o pa n e wk i n do fv i s u a ls u r v e i l l a n c es y s t e mb a s e do ne t h e r n e t t h ed e s i g np l a no ft h ev i s u a ls u r v e i l l a n c es y s t e mb a s e do ne t h e r n e ti sp r e s e n t e d i nt h i sp a p e r f u r t h e m o r e ，t h i sp a p e rd e v e l o p st h ev i d e ot r a n s m i tm o d u l ei nt h ev i s u a l s u r v e i l l a n c es y s t e mb a s e do ne t h e m e t ，a n a l y s e st h ev i d e oc o d i n ga l g o r i t h m ，d e v e l o p s t h ev i d e oc o m p r e s s i o ns t a n d a r da n do p t i m i z e si t t h eh a r d w a r eo fv i d e ot r a n s m i s s i o n m o d u l eb a s e do nc h i pt m s 3 2 0 d m 6 4 2i sd e s i g n e da n di t ss o f t w a r ei sp r o g r a m m e dt o r e a l i z et h eh 2 6 4e n c o d i n ga n dd e c o d i n gv i d e os i g n a l sa n dt c p i ps t a n d a r dn e t t r a n s m i s s i o n t h ee x p e r i m e n ti sc a r r i e do u ta n ds h o w st h a tt h e a c q u i s i t i o n ， c o m p r e s s i o n ，t r a n s m i s s i o na n dd i s p l a yf u n c t i o n so f v i d e ot r a n s m i s s i o nm o d u l ec a nb e a c h i e v e d ，w h i c hs a t i s f i e st h er e a l t i m em o n i t o r i n ga st h ec o m p r e s s i o nr a t ea n di m a g e q u a l i t yi sh i g h t h ev i s u a ls u r v e i l l a n c es y s t e m sb a s e do ne t h e r n e tc a nb ee s t a b l i s h e db yu s i n g t h ev i d e ot r a n s m i s s i o nm o d u l e ，w h i c hc a ns a v ee q u i p m e n tc o s t ，c a b l el a y e rc o s t ， e q u i p m e n tm a i n t e n a n c ec o s ta n dp r o j e c tc o s t ，s h o r t e nt h ep e r i o do fi n s t a l l a t i o na n d e n h a n c et h eu t i l i z a t i o nr a t eo fc o m p u t e r t h i si ss u i t a b l ef o rc h i n as t a t u sa n dh a sa p e r s p e c t i v ef u t u r ei nt h es e c u r i t ym o n i t o r i n go fi n d u s t r y , s u c ha sb a n k , e n t e r p r i s e s ， e l e c t r i c a la n dp o l i c e k e yw o r d s ：d i g i t a lv i s u a ls u r v e i l l a n c e ，h 2 6 4v i d e oc o m p r e s s i o ns t a n d a r d ，e t h e r n e t ，v i d e o t r a n s m i $ i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得云洼王些太堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意。 学位论文作者签名： 签字日期：砂啄年2 月a fe t 学位论文版权使用授权书 本学位论文作者完全了解云洼王些太堂有关保留、使用学位论文的规定。 特授权云洼王些太堂可以将学位论文的全部或部分内容编入有关数据库进行 检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：土均 一 签字日期：砌g 年2 月彳e t黧瓿名日 签字日期。夕一3 年月形日 学位论文的主要创新点 一、提出了基于以太网的视频传输系统的设计研究方案，研制了基于以太网的 视频监控系统中的视频传输模块。 二、分析了视频压缩编码算法，开发了h 2 6 4 视频压缩编码协议。 三、采用t m s 3 2 0 d m 6 4 2d s p 芯片设计了视频传输模块的硬件；采用c 语言编写 了视频传输模块的软件，实现了视频信号h 2 6 4 编解码和t c p i p 协议的视频信 号的网络传输。 第一章绪论 第一章引言 1 1 视频监控系统的发展现状 近年来，随着我国通信网络基础设施的快速建设和经济的飞速发展，多媒 体信息已成为人类获取信息的最主要载体，人与人之间的联系方式已经不再拘 泥于传统的电话服务，多媒体传输业务可以为处于任意接入i n t e r a c t 的两点或多 点的用户提供视频、音频和数据等多种信息，与传统电话服务相比，不仅节省 大量费用，还增加了实时性，提高了工作效率，最大的优点是使用户之间的面 对面交流变得更为简单。数字视频监控系统就是在这样的情况下孕育而生的， 它是视频数字化的一种形式，同时视频数字化还广泛应用于视频会议、远程教 学和远程医疗等。 在银行、公共场所、企事业等场所安全监控中需要大量视频监控系统。目 前视频监控系统主要有模拟视频监控系统和数字视频监控系统两种。模拟视频 监控系统传输模拟信号，需要独立组网，铺设及设备费用高，施工周期长，导 致整个系统安全性和实用性降低。数字视频监控是以视频图像压缩及网络传输 技术为核心，在图像的采集、存储、传输、显示等方面更具优越性【l 】，其高度 的开放性、集成性、安全性和灵活性，为视频监控系统和设备的整体性能提升 创造了必要条件。随着网络带宽、计算机处理能力和存储容量的迅速提高，以 及各种视频信息处理技术的出现，全程数字化、网络化的视频监控系统优势愈 发明显。目前，所使用的视频监控系统主要是单独建立的监控系统，需要大量 的设备费、线路费、维护和维修费，并且具有很多布线给维修带来不便，对环 境也带来影响。局域计算机网络的传输速率可达1 0 0 0 m b i t s ，其丰富的带宽资 源没有得到充分利用，造成其资源的浪费。因此，研究一种基于以太网的视频 监控系统是十分必要的。 视频业务的发展如同数据、语音业务一样，数字化、网络化已是大势所趋， 计算机技术、通信技术、视频编解码技术的迅猛发展，为视频传输采用模拟信 号方式过渡为数字信号方式奠定了技术基础。视频数字化是将模拟视频信号经 模数转换和彩色空间变换转为计算机可处理的数字信号，使得计算机可以显示 和处理视频信号。采用数字信号，尤其是将视频信号编码后的数字信号，通过 骨干网传输，并利用数字化平台对数字信号进行显、控制与处理，传输数字视 频具有噪声不积累、传输距离长、易于管理、可扩展性强等优点【2 】。 第一章绪论 近年来，与图像压缩有关的技术研究大力支持了多媒体的发展，使原来不 能实现的应用变为现实。i s o 、i e d 、n u 等国际组织已制定和正在制定各种通 用压缩编码标准。目前的主要压缩标准为j p e g 和m p e g 两种。各种数字视频 协议也都应用于视频传输系统，期望找到更好的可解决该问题的算法。实时的 视频监控系统对编解码要求是相当高的，既要获得高的压缩比，又要能够实时 传输，延时不能过大，这就限制了压缩编码时一些技术的使用。比如一些具有 较高压缩性能，但算法延时不能满足要求的压缩技术( 例如基于小波变换的图 像压缩技术) 。而且在视频处理系统中，有很多其他的元素也是处于数字视频 传输的摸索阶段，各种问题都有可能限制视频传输系统的效果，包括视频信息 存储量的巨大，使得在因特网上实现实时视频处理存在一定的难度；同时面对 有限的带宽和拥挤的网络，实现稳定的、确保q o s 的窄带及宽带网络的视频传 输就成为这些应用的瓶颈等。例如有人提出的变缓冲传输数据段为固定速率 c b r 数据段的方案，其根本思想是用额外的缓冲延迟来换取网络资源利用率。 用此方案可获得传输层确保质量的传输，但这个系统要求接收的位速率总数应 少于网络带宽，否则当数据速率不被平均时，端端延迟将明显增加。在这种情 况下，如果数据段突发性越强，系统利用率就会骤减：又例如通过对网络性能 的估计采用发送速率调整的办法来实现质量保证，并给出了用于i n t e r n e t 上视频 流的端到端传输方案以及测试结果，从结果及论证来看，的确在速率控制的方 面非常有效，然而该方案没有将信道指标与编码联系起来，未能从编码的角度 给出有效的控制。 数字视频传输系统普遍存在以下一些问题： 1 高质量的视频会议主要是依赖于硬件设备，仍处于贵族化应用的阶段，主 要客户是政府部门、大型企业、集团等比较高层的客户，硬件投入大、费用高、 移植性和扩张性差p j 。 2 软件实时流媒体系统所依赖的口网络在现有网络环境下很难让用户获得 高质量的体验。视频的实时传输要求较低的时延和较小的丢包率，而当前口网络 带宽有限和其b e s t e f f o r t 的特性，不能满足多媒体实时传输所需求的低延时、抖 动和q o s 保证等要求，而这些在短期内不可能获得很大的改观。 3 目前的软件实时流媒体系统的易用性、可靠性与灵活性差，用户体验质量 j z 芒。 针对这些问题，本文提出了基于h 2 6 4 视频压缩编码的实时视频流传输方 法，具有硬件投资小、可靠性高和灵活性好等特点。实验结果证明与同类系统 相比，本文使用实时采集的视频信号在一定的网络状况下能够获得良好的视频 效果。 2 第一章绪论 1 2 课题研究目的及意义 视频监控是各企业和工厂的主要安防手段，但目前普遍使用的视频监控系 统铺设费和设备费高，施工周期长。监控系统的发展经历了第一代的全模拟系 统，到第二代部分数字化的系统，再到第三代完全数字化的系统三个阶段的发 展演变。目前第三代视频监控系统与设备虽然在功能和性能上得到了极大的提 高，但是仍然受到了一些固有因素的限制，从而导致整个系统在安全性和实用 性的降低。随着网络带宽、计算机处理能力和存储容量的迅速提高，以及各种 视频信息处理技术的出现，全程数字化、网络化的视频监控系统优势愈发明显。 本文研究基于以太网的视频网络传输系统中的视频传输模块，该模块是系 统的重要组成部分。基于以太网的视频网络传输系统是利用现有的计算机网络 组成一个能够实现视频监控的工业通信网络，将网络技术与图像处理相结合， 能够节省大量建设视频监控网络的设备费、线路费、维修费和工程费等费用， 缩短安装工程周期，提高计算机网络资源的利用率，可取得显著的经济效益和 社会效益，适合我国国情。本系统具有高度的开放性、集成性、安全性和灵活 性，为视频监控系统和设备的整体性能提升创造了必要的条件，它不但适用于 各类工厂、企业等工业控制场所，而且在教育系统、科技系统、电业系统、银 行系统和公安系统的电话通信及视频监控方面有着广泛的推广及应用前景。 1 3 本文研究内容 本文在分析h 2 6 4 视频编码协议和t m s 3 2 0 d m 6 4 2 性能结构的基础上，研究 如何更合理的设计软硬件条件，充分发挥h 2 6 4 编解码器的优点，最好的实现实 时监控的功能，全文的结构如下： 第一章绪论 本章主要介绍了视频传输系统的发展现状，给出课题研究的目的和意义。 第二章基于以太网的视频监控系统设计研究方案 本章阐述基于以太网的视频监控系统的设计方案和工作原理，确定采用 d s p 芯片实现模块并提出软件开发流程。 第三章视频处理算法 列举了视频编码标准中比较常用的一些压缩算法，并选择几种算法进行详 细介绍和分析。 第四章h 2 6 4 协议开发及优化 简介h 2 6 4 视频压缩协议，构架h 2 6 4 编解码器并阐述其编解码过程，对 3 第一章绪论 代码进行优化。 第五章视频传输模块的硬件设计 设计视频传输模块的硬件平台，简介d s p 中t m s 3 2 0 d m 6 4 2 芯片的结构和特 点，设计了电源电路、时钟电路、p c i h p i 以太网接口电路和视频接口电路等。 第六章视频传输模块的软件设计 简介软件开发环境，详述了软件设计中的三个关键环节：接口驱动软件的 设计、h 2 6 4 编码软件的设计和视频网络传输软件的设计。 第七章实验调试 介绍实验内容，测试视频传输模块，分析实验结果。 第八章结束语 总结论文工作内容，展望基于以太网的视频传输模块应用前景。 4 第二章基于以太网的视频监控系统设计研究方案 第二章基于以太网的视频监控系统设计研究方案 2 1 基于以太网的视频监控系统设计方案 本文是研究基于以太网的视频监控系统中的视频传输模块。该模块是视频 监控系统的重要组成部分。视频传输模块内部实现视频信号的模数、数模转换， 及基于视频压缩协议的编解码和t c p i p 协议的视频信号的网络传输等。其中编 解码和网络传输部分是视频监控系统中视频传输模块的设计重点。 视频监控系统是由视频传输模块，以太网和网络接口，主机，摄像头，l c d 组成，系统结构原理图如图2 1 所示。其中视频传输模块还包括各种外部存储器 如s d r a m 、f l a s h 、a t a 硬盘接口等，通过外部存储器接e l e m i f 与视频传输 模块相连。 r _ j c 厶l 士厶j 。 j ， 优别传硎俣狄 一 f 、 摄像头 卜叫v i d e o a d 卜 摄像头 - iv i d c o a dt - 网 卜： 主 l c d 卜卜一一v i d e o d a 卜 d s p 络 机 接 is d r a m “ i 口 l f l a s hi - e m i f i u _ i 接口 i 1 图2 1 系统结构原理图 摄像头采集视频模拟信号送到视频传输模块，进入模块后先将模拟信号送 入v i d e oa d ( s a a 7 1 2 1 ) ，在其内部经过钳位、抗混叠滤波、a d 转换、 分离电路之后，在y u v 到y c r c b 的转换电路中转换成b t 6 5 6 视频数据流，输 入到压缩核心单元d m 6 4 2 中，d m 6 4 2 的视频端口与之相连，d s p 芯片对接收 的数字信号进行识别、压缩编码等运算，将压缩处理的数字视频信号打包，然 后通过局域网将数据传给远端主机，用户可以直接用浏览器远程监控现场状 况。考虑到近程监控的需要，可以将经d s p 压缩处理的数字视频信号由v i d e o 第二章基于以太网的视频监控系统设计研究方案 d a 直接输出到l c d 显示器上。 d s p 内部有程序数据缓存，但容量较小，对于直接处理数据图像是不够的， 因此扩展了外部存储器空间。大容量的s d r a m 用来暂存原始图像数据，f l a s h 用来存放应用程序，还有a t a 硬盘接口等。 基于以太网的视频监控系统的软件采用程序结构化和功能模块化的设计方 法，各个任务模块均采用了循环队列构成任务表，有基于操作系统层的开发和 软件应用层的开发，只有两个层次开发都配合好才能使整个系统工作流畅，系 统软件构架如图2 - 2 所示。 摄像头 l lcd = = = = = = = = = = = = = 彳一 视频采集任务 一i 视频存储 + 图像压缩任务卜_ 叫码流传输任务 视频显示模块 软件应用层 l i i 操作系统i 操作系统层 l 一 一一一一。一 以太网 令 主机 2 2 处理器的选择 图2 - 2 系统软件构架 视频编解码及实时传输的平台选择取决于一系列的因素包括应用的类型、开 发技术的支持、功率消耗的限制、产品未来升级的需要以及可以用在这个平台上 的编解码的选择。通常视频编解码系统有如下几种方案： 开发平台种类 平台优势平台劣势 性能中等，灵活性佳，可选择的编 通用p c 处理器 稳定性不佳，电源效率低 码方案广 嵌入式处理器 低价格，低功耗，灵活性好性能差 处理能力较好，灵活性好，性能稳 编码方案选择受限，开发代 d s p 和媒体处理器 定 价中等 专用芯片 最好的性能表现和稳定性灵活性差，开发代价昂贵 在p c 机上进行纯软件的系统设计便于扩展，但要p c 机完成高速实时图像的 处理很困难，难以满足实际需求。此外由于其并非专为媒体处理所设计，尽管目 6 第二章基于以太网的视频监控系统设计研究方案 前i n t e l 和a m d 处理器都具有s l l v i d 的指令，但是图像处理上复杂的算法同时又受 限于这类指令，而且其通用性决定了c p u 的资源并非随时可用。 嵌入式处理系统如a r m ，o m a p 等以目前的状况来讲，其能力依然不足以 应付h 2 6 4 编解码这类复杂的大规模运算。 利用专用芯片例如可编程专用芯片等进行系统开发，处理能力强、集成度高、 图像质量好，但开发成本高、开发周期相对较长，且扩展性及二次开发和通用性 都不足。 基于d s p 芯片的开发设计灵活，可以轻松地将编解码、控制和通信等协议添 加集成到一块高速芯片中来。数字信号处理器( d s p ) j f 常适合有效处理那些基于 运算量极大的信号处理算法，最初应用于数据通信和语音处理和硬盘驱动器、通 用调制解调器等民用产品。作为一种重要的处理器，d s p 目前在无线通信、工业 控制、消费类电子和数字视音频方面已经处于核心引擎的地位。d s p 的典型特点 如下： 1 对于特定信号处理有高性能的表现； 2 定点或者浮点的运算能力； 3 有限的片内片外代码和数据存储； 4 1 6 位或者3 2 位的字长； 5 中低档的功耗和中低档的价位。 d s p 的一个重要应用在于可以运行重复性较高的算法，例如滤波和变换。这 意味着它非常适合于基于d c t 变换的视频编解码器的实现，例如运动预测，d c t 变换和量化。因为d s p 是专为这类应用而设计，它并不会带来较高的功耗，然而 其他的视频处理比如图像捕捉，传输和渲染方面的能力很可能会受到限制。其灵 活性不如p c 平台，而设计语言也仅限于c c + + 。 目前比较流行的媒体处理器有p h i l i p s t r i m e d i a t m 1 3 0 0 ，e q u a t o r - b s p 1 5 和 t m s 3 2 0 d m 6 4 2 ，后者在处理能力、功耗方面尤为出色。d m 6 4 2 做为新一代通用 媒体处理器，应用领域涵盖会议电视、视频电话、家庭媒体网关、数字电视机顶 盒等新产品，不仅拓展了d s p 视频领域的应用，而且也改变了d s p 应用市场的格 局。 对于h 2 6 4 编码，由于其编码复杂度非常大，如果在普通p c 上实现，将占用 c p u 的大量时间，所以经过综合考虑选择d s p 的专用媒体处理器来实现h 2 6 4 编 码器及网络传输。 从设计软件方面考虑，由于c 6 0 0 0 系列d s p 中采用了独特的v l 州结构，复杂 度大为增加，为了减轻开发人员的负担，t i 公司推出了一系列的d s p 开发工具， 使得c 6 0 0 0 系列d s p 的开发过程与传统的d s p 器件开发有着很大的不同。目前， 7 第二章基于以太网的视频监控系统设计研究方案 t i 公司推出的汇编级c 语言编译器可以达到7 0 到8 0 的汇编语言效率，它产生 的代码平均效率是其他d s p 编译器的3 倍。另外，c 6 0 0 0 独有的汇编语言编译器可 以使开发者采用线形汇编语言( 串行汇编语言) 得到近似标准汇编的性能，因此降 低了开发难度。 c 6 0 0 0 系列d s p 软件开发流程包括三个阶段，如图2 3 所示。 第一阶段：采用c 编写应用程序，而无需考虑c 6 0 0 0d s p 的内部结构以及相 关的编程规则。然后对该应用程序进行编译，使用p r o f i l e i 具测试应用程序的效 率是否己经达到了规定的要求。一般情况下，这一阶段的程序效率很难满足实际 的要求。为此，需要使用p r o f i l e - l - 具找出程序中耗时最长( a o 效率最低) 的代码。 如果达不到系统的规定要求，则需要进入第二阶段的开发。 第二阶段：利用优化选项、内联函数以及其他优化方法改进c 代码。如果代 码仍不能达到所期望的效率则进入第三阶段。 第三阶段：从c 代码中抽出对性能影响大的代码段，用线性汇编重新写这段 代码，或直接手工编写汇编，调整指令顺序和寄存器使用以增加并行能力。然后 利用汇编优化器优化该代码直到代码满足要求为止。 第 一 阶 段 第 = 一 阶 段 图2 - 3 软件开发流程 8 第二章基于以太网的视频监控系统设计研究方案 2 3 本章小结 本章阐述基于以太网的视频监控系统的设计方案和工作原理，从原理图和 软件层次方面都做了分析，从目前实现视频压缩和传输的各种方法的对比上得 出采用d s p 芯片实现是比较理想的，最后提出d s p 芯片的软件开发流程。 9 第三章视频处理算法 第三章视频处理算法 视频压缩编码标准的制定工作主要是由国际标准化组织( i s o 匝c ) 和国际 电信联盟( 盯u ) 完成的。到目前为止，由上述两个国际组织制定了h 2 6 1 、h 2 6 2 、 h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 、h 2 6 4 和m p e g - 1 、m p e g 2 、m p e g 4 以及m p e g 7 、 m p e g 一2 1 等有关视频编码的国际标准。这些标准为获得更好的压缩效果，都使 用了以下算法中的几种【4 j 【5 l ： 1 帧内预测。帧内预测主要根据图像中相邻宏块具有相似性的特点，降低图 像的空间冗余。 2 帧间预测。帧间预测用于降低图像的时域相关性，通过采用多帧参考和更 小运动预测区域等方法，对下一帧图像精确预测，从而减少传输的数据量。 3 变换与量化。变化和量化相结合可有效减少压缩编码的运算量。 4 熵编码。熵编码方法包括c a l v c 、u v l c 、c a b a c 等，他们可以组合构 成新的熵编码。 5 去块效应滤波。用于提高编解码图像的主客观质量，同时提供更好的参考 图像。 6 利用时域相关性。时域上的相关性存在于那些连续图像的块之间，这就使 得在编码的时候只需要编写那些差值即可。一般是通过运动估计和运动补偿 来利用时域相关性。 7 利用残差的空域冗余度。在运动估值后，编码端只需要编码残差即可，也 就是对当前块与其相应的预测块的差进行编码。 此外，还可以采用一些方法来协助压缩算法得到更高的压缩率，包括划分为 子宏块进行处理，调节传统的4 ：2 ：0 的色度数据与亮度数据的采样关系，块运动矢 量法，超越图像边界的运动矢量法，变换块大小的划分法，可分级的量化方法等。 本章将对以上部分算法做详细介绍。 3 1 帧内预测编码 帧内预测的原理主要根据图像中相邻宏块具有相似性的特点，因此通过已编 码的宏块( 特别是在当前宏块左边和上方的相邻宏块) 来预测当前宏块，然后对当 前宏块与预测值的差值进行变换编码【6 l 。 采用帧内预测模式能够更好地消除图像的空间冗余。亮度信号预测分为4 x 4 l o 第三章视频处理算法 子块和1 6 x 1 6 子块两种模式。根据预测的方向，基于4 x 4 子块的预测共有9 种模式， 这些模式都是根据相邻4 x 4 像素块的可用性和相关性来预测当前4 x 4 中各像素的 值。图3 1 给出了帧内预测宏块位置，a m 是当前4 x 4 子块相邻的像素点，并指 出了帧内预测模式的方向。9 种模式分别为： 模式o ( 垂直预测) ：a e i m 由a 预测，b f j n e l e i b 预测，依此类推； 模式1 ( 水平预测) ：a b c d 由i 预测，e f g h l 虫j 预测，依此类推； 模式2 ( d c 系数预测) ：所有像素值都由( a + b + c + i h i + j + k + l ，+ 4 ) 8 预测； 模式3 ( 左下对角线预测) ：a = ( a + 2 b + c + 2 ) 4 ，b 、e = ( b + 2 c + d + 2 ) 4 ，依此类推， 且p = ( g + 3h + 2 ) 4 ； 模式4 ( 右下对角线预测) ：m = ( l + 2 l ( + j + 2 ) 4 ，依此类推； 模式5 ( 垂直一右预测) ：m = 耐2 j + h - 2 ) 4 ，a ；( m 州抖d 2 ，依此类推； 模式6 ( 水平一下预测) ：m = ( i - k + d 2 ，n = ( l + 2 k i + j + 2 ) 4 ，依此类推； 模式7 ( 垂直一左预测) ：a = ( a + b + d 2 ，e = ( a + 2 b + c + 2 ) 4 ，依此类推： 模式8 ( 水平一上预测) ：a = ( i + j + 2 ，b ：( i + 2 j + k + 2 ) 4 ，依此类推， 且h 、j = ( k + 3 l + 2 ) 4 ，k 、l 、r r l 、n 、o 、p _ l 。 酽酽露尸f 酽酽f 图3 - 14 x 4 亮度块的帧内预测模式 当图像区域中只包含少量细节时，可采用1 6 x 1 6 像素块的帧内预测，这种预 测方式又分为四种模式：模式o ( 垂直预测) ，模式1 ( 水平预测) ，模式2 ( d c 系数预 测) ，模式3 ( p l a n e 预测) 。前三种模式的预测方法与4 x 4 亮度块预测的方法一样， 而p l a n e 预测中，各像素点的预测值计算如下： p r e d x ，y 】= ( 口+ b x ( x - 7 ) + c x ( y - 7 ) + 1 6 ) 3 2( 3 1 ) 式中a = 1 6 x ( p - 1 ，1 5 】+ 硝1 5 ，一1 】) ；b = ( 5 x h + 3 2 ) 6 4 ；c = ( 5 x v + 3 2 ) 6 4 7 日= ( 一+ 1 ) ( 尸【8 + x ，- 1 - e 6 - x ，一1 d 第三章视频处理算法 y = ( y + 1 ) 幸( p - 1 ，8 + y l - p - 1 ，6 - y d x - 0 对于色度信号的预测，也是根据相邻像素块的可用性和相关性来预测，而且 两个8 x 8 的色度像素块必须采用相同的预测模式。预测方法分为四种模式，与 1 6 x 1 6 亮度像素块的预测方法相似，只是顺序有点不同，分别为：模式0 c 系数 预测) ；模式( 水平预测) ；模式2 ( 垂直预测) ；模式3 ( p l a n e 预测) 。 3 2 帧间预测编码 帧间预测主要是利用连续图像序列之间的相关性，通过运动补偿的预测编码 方法来消除视频图像的时间冗余。从h 2 6 1 起就广泛运用基于块的运动补偿，发 展到h 2 6 4 可支持更多更细的块大小划分以及亚像素运动矢量估计。图3 2 是 h 2 6 4 中提供的不同块大小模式及运动矢量数。 模式11 6 1 6 1 个运动矢量 模式58 * 4 8 个运动矢量 模式21 6 8 2 个运动矢量 模式6 4 * 8 8 个运动矢量 模式38 1 6 2 个运动矢量 模式74 * 4 1 6 个运动矢量 图3 2h 2 6 4 中的7 种大小块的模式及运动矢量数 在帧间编码中，h 2 6 4 采用7 种不同大小的块模式，与以前只使用1 6 x 1 6 块的 标准相比可以节省大约1 5 的码率。使用比较小的块可以使运动估计更精确从而 产生较小的运动残差以降低码率，但对增多的运动矢量进行编码会相应增加，因 此，选择合理的块模式对压缩性能有显著的影响。在具体的执行中，可以采用率 失真最优化的方式来进行选择。 此外，h 2 6 4 还采用了1 4 像素运动估计和多参考帧运动估计算法进一步提高 预测精度和编码效率。统计表明：h 2 6 4 使用的1 4 像素运动估计和整像素相比可 以节省约1 5 的码率。参考帧运动估计技术是对单帧运动估计技术的简单扩展， 1 2 第三章视频处理算法 即在多个参考帧中找到一个是预测误差达到最小的运动矢量。相对于普通的单帧 预测，多帧预测可以提供更有效率运动估计和更强的差错鲁棒性。比如h 2 6 4 中 使用5 个参考帧和1 个参考帧相比可以节省5 1 0 0 的码率，但需要指出的是多帧预 测同时也导致内存需求量的增大和运算复杂度的大幅上升。 举例说明帧间预测编码的运算量和复杂度的关系：假定有m 种不同大小的 块，n 帧参考帧以及假定每种参考帧和块类型的搜索范围都是w ，则全搜索的 范围将是n x m x ( 2 w + 1 ) 2 ，远大于以前的单种块类型及单参考帧的搜索范围( z w + 1 ) 2 。在h 2 6 4 编码中，假定采用全部7 种块模式5 个参考帧搜索范围为1 6 ，则 总的搜索点为7 x 5 x 3 3 x 3 3 = 3 8 11 5 。从运算量分析可以知道，h 2 6 4 的帧间预测编 码的运算量是相当大的，需要提出快速有效算法来降低复杂度以提高编码速度。 h 2 6 4 在帧间编码中所需的码率更小是以复杂的算法为代价，此举可显著提高预 测精度，从而提高压缩效率。 3 3 变换与量化 经帧间帧内预测编码后得到的残差数据要经过变换编码，尽量去除图像中 的空间冗余，并经量化损失掉图像内容的次要信息，以达到大幅度压缩视频内 容的目的。由于离散余弦变换( d c t ) 的性能十分接近统计意义上最优的洛维 变换( - 一t ) 而且具有快速算法所以d c t 被广泛的应用于各种视频编码标准。 h 2 6 3 与m p e g - 2 4 等都是使用基于8 x 8 的离散余弦变换( d c t ) 作为基本的变换 算法，但是传统的d c t 无论在运算精度还是复杂度上都存在明显的不足，存在 失配和实时性不强的问题，因此在h 2 6 4 的研究中引入了整数d c t 变换，它的 【7 】 1l1 1 1 2 1一l1 22 1 h = 11 2 1一l 一11 11 2 注意到其中的系数基本上都是整数( 1 1 2 可以用移位代替) 这样不但解决了 精度问题而且由于乘法均可由移位运算代替，运算的复杂度也大大降低。 h 2 6 4 中的块大小为1 6 x 1 6 对其中每个4 x 4 大小的块进行上述4 x 4 的d c t 变换 后得到1 6 个4 x 4 的变换矩阵，为了进一步提高压缩效率，h 2 6 4 还允许把亮度块的 每个4 x 4 的变换矩阵中的直流分量( 位于矩阵左上角的元素) 单独取出组成一个新 的4 x 4 矩阵，对此矩阵进行哈德码变换。相应地，色度块的每个4 x 4 块变换矩阵 的直流分量被单独取出组成2 x 2 的矩阵，对此矩阵也进行哈德码变换以充分提高 压缩效率。 1 3 2坦1 l ， 一 l m 圳以 l l l 1 伪，陀。、 分 日 阵矩换 变 反正 第三章视频处理算法 利用上述矩阵变换后它的逆变换可以精确的用整数表示，因此逆变换误差 可以消除变换编码的过程和以前标准很相似。 3 4 熵编码 熵编码是无损压缩编码方法，它生成的码流可以经解码无失真地恢复出原 数据。在熵编码方案的码流结构中，含有各种不同的语法元素，每种语法元素 有各自不同的编码方式瞄j 。 h 2 6 4 中使用两种熵编码方法：c a v l c 和c a b a c 。当参数 e n t r o p y 被置为时，对变换系数使用基于内容的自适应可c o d i n g 变长编码) 进行熵m 编o d 码e ，即不0 同语法单元的码表选择c 依a v 赖l 于c ( 传输的单元。对于除 了变换系数外的其他语法元素，如宏块类型、帧内预测模式等则采用了一种无限 扩展的码表e x p g o l o m b 码表的可变长编码方法。c a b a c 熵编码即基于内容的自 适应二进制算术编码，它采用了算术编码的方法。c a b a c 熵编码比c a v l c 熵编 码效率要高5 一1 0 左右。 可变长编码技术基于编码信号的统计特性来分配码字，即对出现频度较高 的数值分配比特数较少的码字，而对出现频度较低的数值分配比特数较多的码 字。e x p g o l o m b 码表结构简单易于硬件和软件的实现，而且它不需要像过去的 编码算法那样存储码表。使用e x p g o l o m b 码表进行编码的参数在编码之前先 通过不同的映射方式可降低平均比特率提高编码效率。 自适应算术编码基本原理是将被编码的信息表示成0 至l j l 之间的一个间隔小 、数，信息越长编码表示的间隔就越小，表示这一小数所需的二进制位就越多。信 息源中的连续符号可根据自适应的编码方法来重新调整出现概率，进而更加有效 地编码。在c a b a c 熵编码时，根据符号的类型来为它选择一个合适的基于上下 文的模型用于确定符号，待编码的符号首先进入该模型，根据上下文信息所要编 码的码字长度，利用自适应算术编码的方法来完成熵编码。 从上述c a v l c 和c a b a c 熵编码的原理分析可以看出二者有各自的特点。 c a v l c 的优点：对所有语法元素只用一个e x p g o l o m b 表即可完成熵编；码 字结构非常有规律且编解码简单易于实现；具有较好的抗误码性能。缺陷是压缩 效率不如c a b a c 高尤其是在量化步长较小时。 c a b a c 的优点：提供编码符号出现概率的估计以此来减少冗余信息；允许 非整数的码字位数分配给各个符号进行压缩编码尤其适合出现概率较大的符号 的编码；c a b a c 是自适应的它可以根据不同的符号流的统计特性自适应地调整 各符号的出现概率来进行编码；压缩率较高，缺点是实现比较复杂计算量大且抗 误码性能差。 1 4 第三章视频处理算法 综上所述，如果采用c a b a c 熵编码方式则编码效率会高一些，但同时复杂 度也高，而采用c a v l c 的编码效率稍低一些，但比较简单易于实现。 3 5 去块效应滤波 去块效应滤波器在h 2 6 3 中已经被提出，h 2 6 4 在编码环中也引入了去块效应 滤波器。在解码过程中重建图像块时，往往由于块边界像素值的量化误差而形成 影响图像主观质量的“块效应”。去宏块效应滤波器的作用就是用来消除解码图 像中的块效应。它的基本思想是：当块边界上两边差异较d , n 使用滤波器将差别 “平滑”掉，若边界上图像特征明显就不使用滤波。具体实现方法是：除块边缘 为图像边缘的部分不进行滤波，其余各宏块都按照先垂直方向、后水平方向的顺 序进行滤波，具体边缘示意图如图3 3 所示。 永 _ j 酰一 a 1 舢 ：边界 十 h - b 2 b 3 垂直边界 l a |a 2a la okb ib 2b 图3 3h 2 6 4 的水平和垂直滤波边界 采用去块效应滤波器可减弱“块效应 的影响又避免滤掉图像的客观特征， 在相同主观质量下能使比特率减少5 1 0 。去块效应滤波处理应用于每一个已解 码完成的块。在编码环和解码环中使用消除块效应滤波系统主要有两个优点： 1 ) 图像中由于运动补偿、变换及量化产生的虚假边界可以被平滑，降低图 像块效应，提高了主观视觉效果； 2 ) 滤波后的帧用于后续帧的运动补偿预测，从而避免了虚假边界积累误差 导致的图像质量进一步降低。 去块效应滤波器的使用不仅使编码后的视频在相对码率较低的情况下能保 持较好的主观视觉效果，而且由于滤波后的帧用于后续帧的运动补偿预测从而 避免了虚假边界积累误差导致的图像质量进一步降低。 1 5 第三章视频处理算法 3 6 本章小结 这一章首先列举了视频编码标准中比较常用的一些压缩算法，并对其中一 些算法进行了介绍和分析，每个算法中又介绍了最新研究的成果，这些成果大 部分已包含在很多优秀的视频编码标准中，共同构成了一些高效的视频压缩编 码标准。 1 6 第四章h 2 6 4 协议开发及优化 第四章h 2 6 4 协议开发及优化 4 1h 2 6 4 协议简介 h 2 6 4 是由i s o i e c 与i n j t 组成的联合视频组( j v r ) $ t j 定的新一代视频压缩 编码标准。在h 2 6 3 标准提出后，i t u t 的视频编码专家组( v c e g ) 开始了两个方 面的研究：一个是短期研究计划，在h 2 6 3 基础上增加选项后来不断发展成h 2 6 3 + 与h 2 6 3 十+ 标准；另一个是长期研究计划，制定一种新标准以支持低码率的视频 通信。长期研究计划产生了h 2 6 l 标准草案在编码效率上面又有了