（信号与信息处理专业论文）基于adspbf561平台的h264视频编码的研究.pdf

摘要 h 2 6 4 a v c 是i t u - t v c e g 和i s o h e c m p e g 联合制定的最新视频编码国际标准，是目前图像通信研 究领域的热点问题之一。h 2 6 4 的视频编码层( v c l ) 采用了许多新技术使得编码性能大幅度提高，与以往的 视频编解码标准相比在相同的码率下，h 2 6 4 具有更佳的图像质量，这使得h 2 6 4 在无线通信和网络传 输等低码率视频应用领域得到更为广泛的应用。但这是以复杂度的成倍增加为代价的，这就使得h 2 6 4 在 实时的视频编码及传输应用中面临着巨大的挑战。 用高性能数字信号处理器( d s p ) 来实现h 2 6 4 实时编码器是一种快速有效的方法，有助于h 2 6 4 视频 标准的迅速推广和应用。a d s p b f 5 6 1 处理器性能卓越，具有6 0 0 m h z 的主频，且集成了一套通用的数字 图像处理外围设备接口，为多媒体和图像应用创建了一个完美的系统级片上解决方案。 本论文的研究目的是针对低码率视频传输的需要，研究、实现套基于h 2 6 4 标准的视频编码系统， 并探讨了h 2 6 4 软件编码器在d s p 上的实现及优化方法。本论文的主要工作有： 首先，研究了与图像编码相关的基本思想和理论基础，对h 2 6 4 视频编码标准的帧内预测、帧间预测、 运动估计、整数变换与量化、熵编码进行了详细的分析。 其次，着重对a d s p b f 5 6 1 芯片的硬件特性，如内核结构、内存管理、存储系统、事件处理、d m a 控制器和指令集进行了学习，并以a d s p b f 5 6 1 评估板为平台，研究了视频采集系统的设计，重点学习了 p p i d m a 的使用。 最后，研究了x 2 6 4 编码器模型的软件实现方案，完成基于p c 机的x 2 6 4 编码器模型的整体结构优化。 对移植后的程序从编译器优化策略、c a c h e 功能应用和汇编优化3 个方面做了优化，明显改善了编码器的 性能。另外，探讨了p p i 视频输入帧缓存区的结构设计，它对h 2 6 4 编码器的实时性有着重要影响。 关键词：h 2 6 4 a v c ，视频编码，b l a c k f md s p ，移植，优化 a b s t r a c t h 2 6 4 a v ci san e wv i d e oc o d i n gs t a n d a r dd e s i g n e db yb o t h u tv c e ga n di s o i e cm ：p e gi tb e c o m e s a l li m p o r t a n tc o n t e n to fi m a g ec o m m u n i c a t i o nr e s e a r c hf i e l d t h en e wt e c h n o l o g ya d a p t e di nt h ev c li m p r o v e s c o d i n ge f f i c i e n c yg r e a t l y c o m p a r e dw i t h 呻rd i g i t a lv i d e oc o m p r e s s i o ns t a n d a r d s ，h 2 6 4h a s m u c hb e t t e r q u a l i t y a tt h eg a l n eb r r a t e s oh 2 6 4h a sam u c hb i o a d e rf o r e g r o u n di na p p l i c a t i o n ss u c h w i r e l e s s c o m m u n i c a t i o na n dv i d e ot r a n s m i s s i o no v e rt h en e t w o r k s h o w e v e rt h ei m p r o v e m e n ti sb a s e do nt h ec o s to f r a p i d l yi n c r e a s e dc o m p l e x i t y , w h i c hm a k e s i td i f f i c u l t yo f r e a l - t i m ec o d i n ga n dt r a n s m i s s i o no f h 2 6 4 b a s e do i lh i g h - p e r f o r m a n c ed i g i t a ls i g n a lp r o c e s s o rt oi m p l e m e n th 2 6 4v i d e oe n c o d e ri su n eo fm o s t e f f i c i e n tm e t h o d s w h i c ha l s oh e l pt op r o m o t et h ea p p l i c a t i o no fh 2 6 4 a d ib l a c k f r 0 5 6 1p l o c e s s o r , a 缸g h p c r f o r m a i l c ed i g i t a lm e d i ap r o c e s s o rw i t h6 0 0 m h z , i n t e g r a t e sag e n e r a lp u r p o s es e to fd i g i t a li m a g i n g p e r i p h e r a l s ，c r e a t i n gac o m p l e t es y s t e m0 n - c h i ps o l u t i o nf o rd i g i t a li m a g i n ga n dm u l t i - m e d i aa p p l i c a t i o n s a i mo ft h ep a p e ri st om e e tt h en e e do fv i d e ot r a n s p o r t a t i o na tl o wb i t r a t e ，t or e s e a r c ha n dr e a l i z et h ev i d e o e n c o d d fs y s t e mb a s e do nh 2 6 4v i d e os t a n d a r d , a n dd i s c u s st h e 删i 出go fh 2 6 4e n c o d e rb a s e do n a d s p b f 5 6 1p l a t f o r ma n dh o wt oi m p r o v et h ee n c o d e r se f f i c i e n c y t h em a i nw o r kw h i c hh a v eb e e nc o m p l e t e d a r ea sf o l l o w s ： f i r s t , t h eb a s i ct h o u g h ta n dt h e o r yo ft h eh 2 6 4v i d e oc o d i n gs t a n d a r da r ed e t a i l e d i n c l u d i n gt h ei n t e ra n d i n t r ap r e d i c t i o n ，m o t i o ne s t i m a t i o n ，t h ei n t e g e rd c tt r a n s f o r ma n dq u a n t i s a t i o n ，t h ee n t r o p yc o d i n g t h e n t h ea d s p - b f 5 6 1p r o c e s s o r sf e a t u r e ss u c h c o r ea r c h i t e c t u r e ，m e m o r ym a n a g e m e n t ，s t o r a g es y s t e m , d m ac o n t r o l l e r , e v e n th a n d l i n ga n di n s t r u c t i o ns e to ft h ep r o c e s s o ra r es t u d i e d b a s e d0 1 1t h ea d s p - b f 5 6 1 e v a l u a t i o nb o a r d w eh a v ed e s i g n e dt h ev i d e oa c q u i s i t i o ns y s t e ma n dp l a c e de m p h a s i so nt h eu s eo f p p id m a f i l m i l y , r e f e r r i n gt ot h em o d e lo fx 2 6 4e n c e d w eh a v ec o m p l e t e dt h ex 2 6 4e n c o d e r so p t i m i z a t i o no ft h e o v e r a l ls t r u c t u r eo nt h ep ca n dt r a n s p l a n t e dt h ee o c e d e rf r o mp ct ot h ea d s f b f 5 6 1p l a t f o r m t oi m p r o v et h e p e r f o r m a n c eo ft h ee n e o d e r , s o mp r e l i m i n a r yo p t i m i z a t i o nh a sb e e nt r i e di nr e s p e c t so fe n a b l i n gc o m p i l e r s o p t i m i z a t i o n ，u s i n gt h ep r o c e s s o r sc a c h ef u n c t i o n ，r e a l i z i n gs a da n ds a t dm o d u l e si nl i n e a ra s s e m b l y l a n g u a g e i na d d i t i o n ，t h es t r u c t u r eo f t h ep p ii nv i d e of r a m eb u f f e r si sd i s c u s s e da l s o ，a si th a sag r e a ti m p a c t o i l t h ee n c o d e r sp e r f o r m a n c e k e yw o r d s ：h 2 6 4 a v c ，v i d e oc o d i n g ，b l a c k f i nd s p , t r a n s p l a n t a t i o n ，o p t i m i z a t i o n i l l 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 研究生签名：葛霆聋日期：2 巫生兰二巧 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 第l 章绪论 第1 章绪论 随着社会的发展。视频信息的应用范围越来越广，目前已广泛的应用于娱乐、远程医疗，远程 监控，视频会议、网络教学等。人们对于视频信息的需求也越来越大，譬如在通信领域，人们现在 已经不满足于语音通信，人们渴望能够视频聊天；在3 g 无线通信方面。我们也希望它在视频传输 方面有更好的表现。 为了满足人们对视频信息的需求，需要解决因视频信息剧增带来的视频传输和存储问题。解决 这个问题有两个重要途径，一个是增大网络带宽和存储媒介的容量，另一个就是提高视频信息的压 缩效率。前者需要大量的设备投资，成本太高；后者只需要发展新的视频编码技术，而现有的许多 终端设备只需要升级软件就可以支持新的视频编码标准，同时可以更好的利用现有的网络设备。 为了提高视频信息的编码效率，国际化标准组织( 1 s o ) 国际电工委员会( i e c ) 和国际电信联 盟( i t u ) 制定了一系列视频编码标准。为了获得更好的编码效率和网络适应性。它们联合制定了 h 2 6 4 a v c 】新一代视频编码标准。随着编码效率的提高，编码的复杂度越来越大，需要研究新的视 频编码算法提高编码效率和编码速度。 嵌入式系统 2 1 被描述为：“以应用为中心、软件硬件可裁剪的、适应应用系统对功能、可靠性、 成本、体积、功耗等严格综合性要求的专用计算梳系统”，由嵌入式硬件和嵌入式软件两部分组成。 随着集成电路技术和计算机技术的发展，嵌入式系统的功能越来越强大，体积越来越小，价格越来 越低，已经广泛的应用于工业控制、通信设备和消费类电子产品。 因此，研究h 2 6 4 a v c 的关键算法和它在嵌入式系统中的实现，符合技术发展的潮流，对推动 经济发展和社会进步也有着重要意义。在本章中，首先会对视频压缩技术的原理、发展现状作简单 介绍，然后介绍嵌入式硬件尤其是d s p 芯片的发展状况，最后引出研究的课题，并介绍本篇论文的 结构 1 1 视频压缩技术的原理 利用人的视觉获取的信息称为视频信息l ”，它具有很多优点，如直观，给人的印象非常深刻； 广泛，人们每天通过视觉获取的信息约占外界信息总量的7 0 左右。视频信息的表现形式为视频信 号，通常是一种电信号，这种信号通过网络传输至终端用户，并在屏幕上显示1 4 j 。 但是，视频信号所包含的信息量很大，例如：一路i t u - t6 5 6 i s 标准的p a l 制数字视频信号。1 秒内数据量将达到1 6 0 m b i t s 。如此巨大的数据量，若不进行数据压缩，要实时传输视频信息几乎是 不可能的。而视频压缩的目的就是要减少视频序列的数据量，以便更容易地在给定的信道上实时传 输视频信息，或在容量有限的存储器中存放更多的视频信息。 信息理论的研究和发展，为信息压缩提供了理论上的可能。信息论的创始人s h a n n o n 认为，数 据是信息和冗余度的组合。虽然视频信号需要大量的数据，但这些数据往往是高度相苯的，这些相 关性会引起信息的冗余，如以下几种： 1 空间冗余：一幅图像是由许多个称之为像素的点组成，大量的统计表明，同一幅图象像素之 间具有较强的相关性，相邻像素的值突变的概率很小，“相等、相似或缓变”的概率刚极大。 2 时间冗余：一般情况下前后画面的大部分区域信号变化缓慢，尤其是背景部分几乎不变。活 1 东南大学硕士学位论文 动图像邻近帧之问存在很高的相关性，一般比帧内像素间的相关性更强，可得到的压缩比也更大 3 视觉冗余：研究发现，人类视觉系统( v h s ) 对图像的亮度信号比色度信号更敏感：对图像 的低频部分，如人脸面部表情变化更敏感，而对图像的高频成分。如头发、眉毛等细节变化不太敏 感。 4 信息熵冗余：根据信息论的观点，用相同码长来表示不同概率的符号会造成比特数的浪费和 熵的增加，采用变长编码能使平均码长缩短，编码后的数据量减少。 所以，针对以上存在的信息冗余，在经典的基于块的预测加变换的混合编码方案中，几乎都用 到了预测、变换、量化和熵编码等技术，以达到最大程度上的信息压缩。 预测就是依据图像像素之问的相关性，把邻近像素值的加权和作为当前像素的预测值，与实际 值相减，得到差值，j 将该差值压缩编码传输从而消除时间冗余和空闻冗余。 变换的目的就是将预测得到的差值由空间域变换到频域，改变图像数据的相关性，由于低频成 分占大部分，得到的变换系数也比较少，对变换系数进行编码，可降低编码需要的比特数。 量化是利用人视觉的不敏感特性，综合考虑视觉需求和码率的限制，对变换后的数据进行再压 缩。量化会造成信息的丢失，是有损压缩。量化的引入是图像编码产生失真的根源，进行量化过程 以后的编码是有损编码。量化失真和高压缩比是图像压缩的对立面。但在大多数情况下，人是图像 信息的最终接受者，如果把量化以后的失真控制在人能接受的范围以内，这样的量化是可以接受的。 熵编码的作用在于消除符号冗余度，它一般不产生失真，最理想的情况是使输出码流的平均码 长等于量化后数据的信息熵，这种编码不存在任何冗余。 1 2 视频压缩技术的发展历史 对于视频压缩编码的研究早在上世纪4 0 年代就开始了，1 9 4 8 年出现了第一个编码理论一脉 冲编码调制( p u l s ec o d i n gm o d u l a t i o n ，简称p c m ) 理论。同年，s h a n n o n 首次提出并建立了信息率 失真函数的概念：1 9 5 9 年，s h a n n o n 进一步确立了率失真理论，以上工作确立了信息编码的理论基 础。从信息论的角度看，就是将图像和视频作为一个信源，尽量去除信源的冗余信息，使数据量达 到信息论中所定义的信息熵。 按照描述图像或视频源的信源模型来分类，视频压缩技术可分为基于波形编码和基于内容编码 两大类。波型编码，采用像素来表示图像，像素是基本单位，尽可能精确地用像素值表示在该像素 点的亮度和色度，不考虑一组像素可能代表一个具体物理对象这一事实情况。熵编码，预测编码、 变换编码等都属于此类，这类编码技术又称为第代视频编码技术。比较有代表性的第一代视频压 缩编码有9 0 年代由运动图像专家组提出的m p e g l 、m p e g 2 ，国际电信联盟提出的h 2 6 1 、h 2 6 3 。 由于基于像素和像素块的编码，人为地把一幅图像划分成许多固定大小的块，造成了明显的块 效应，甚至造成高的预测误差和失真，于是产生了基于内容的编码技术，也就是第二代视频编码技 术。具体来说对不同物体的形状、运动和纹理进行编码，在晟简单情况下，利用二维轮廓描述物体 的形状，利用运动矢量描述其运动状态，而纹理用颜色的波形进行描述。m p e g - 4 采用的编码，既 有基于块的混合编码，又有基于内容的编码方法。 由此可见，视频编码标准可以分为两大类：基于波形的编码和基于内容的编码。视频编解码框 图如图1 1 。它们利用不同的压缩编码方法，得到相应的量化前的参数：再对这些参数进行量化，用 二进制码来表示其量化值；最后，进行无损熵编码进一步压缩码率。解码则为编码的逆过程。 2 第1 章绪论 图1 1 视频编解码系统 第二代视频压缩编码技术还包括基于分形的编码、基于模型的编码、基于区域分割的编码和基 于神经网络的编码等。但从目前来看，第二代视频压缩编码仍处于研究阶段。立体视频编码也是视 频编码的发展方向之一，它在平面信息外增加了深度信息，数据量非常的庞大 h 2 6 4 a v c 视频编码标准在2 0 0 3 年3 月正式被r r u - t 通过并在国际上正式颁布，是最新一代的 视频压缩技术。它不仅具有优异的压缩性能，而且具有良好的网络亲和性。h 2 6 4 和以前的标准( 如 h 2 6 1 、h 2 6 3 、m p e g - i 、m p e g - 4 ) 中的编解码器功能块的组成没有什么区别。主要不同在于各功 能块的细节。在下面一节，将详细介绍常见的h 2 6 x 系列编码标准。 1 3 h 2 6 x 系列视频压缩编码标准 2 0 世纪9 0 年代，图像编码技术得到快速发展，图像通信走出实验室进入实用化，同时图像、 视频编码技术的应用也逐濒展开，如视频会议、可视电话、视频监控、视频存储的需求强劲，制定 视频编码国际标准的条件日臻成熟。 1 3 1 h 2 6 1 1 9 9 0 年1 0 月，c c i t t 首先通过了用于视频会议、可视电话的h 2 6 1 标准 6 1 ，被称为“p x 6 4 k b i t s 视听业务的视频编解码器”，其中p 的范围是l 3 0 。覆盖了整个窄带i s d n 基群信道速率。它是为 特定的应用、特定的网络量体裁衣而定做的，一个最重要的对象就是1 s d n 网络上的视频传输。它 不是针对多种应用，也不针对不同网络之间的视频传输，所以从最初制定标准的思路上，盯u t 与 m p e g 有所区别。 h 2 6 1 首次采用了8 8 块的d c t 变换去除空间相关性，以帧闻运动补偿预测去除时闻相关性的 混合编码模式，具有很高的压缩比。h 2 6 1 只支持c i f 和q c i f 两种图像格式，c i f 格式用于视频会 议，q c i f 格式用于可视电话。 1 3 2 h 2 6 3 在1 9 9 5 年，删- t 总结了当时国际上视频压缩技术的最新进展，针对低比特率视频通信制定了 3 。 东南大学硕士学位论文 h 2 6 3 标准川，该标准被公认为是以像素为基础的第一代混合编码技术方案所能达到的最佳效果。与 h 2 6 1 标准相比，不同之处在于： h 2 6 1 仅支持q c i f ，c i f 格式。而h 2 6 3 支持包括s u b - c i f ，q c r f ，c i f ，4 c i f ，1 6 c i f 在内的 五种图像格式。 h 2 6 3 的运动估计采用半像素精度，同时又增加了不受限制运动矢量、基于语法的算术编码模 式、先进的预测模式和p b 帧模式等4 种可选编码模式。 此外，h 2 6 3 标准的出现造成了很大的影响。 首先，h 2 6 3 是一个开放的标准，只规定编码后的码流格式，对编码过程中所采用的算法没有 进行限制，带动了一些新的研究成果的出现，如许多新的运动估计算法、码率控制策略，传输差错 控制策略、编解码新技术( 如小波压缩技术) ，这些对视频质量的提高有着重要意义。 其次，h 2 6 3 标准的实现，使得在i s d n ，p s t n 等通信网络进行视频通信成为可能，其图像质 量比h ，2 6 1 有许多改善。 其次，带动了很多芯片制造厂商设计基于多媒体通信、存储的通用或专用芯片。如p h i l i p s 公司 的t r i m e d i a n e x p e r i a 系列芯片，a d 公司的b l a c k f i nd s p 、s h a r c 和t i g e r - s h a r c 系列处理器， e q u a t o r 公司的m a p - c a 系列d s p ，t i 公司的t m s 3 2 0 c 6 x x 系列等多媒体处理芯片。 1 3 3 h 2 6 4 a v c h 2 6 4 标准是由i t u - t 的视频编码专家组和i s o i e c 的活动图像专家组共同成立的联合视频小 组( j v t ) 于2 0 0 3 年公布的，定名为h ，2 6 4 m p e g 4p a r t1 0 ，官方的叫法是先进视频编码( a d v a n c e d v i d e oc o d i n g ，a v c ) 。h 2 6 4 是在r r u th 2 6 l 标准基础上提出的，它继承了h 2 6 3 ，m p e g l ，m p e g 2 和m p e g 4 的优点，在沿用运动补偿加变换编码的混合结构基础上，增添了： l 先进熵编码c a v l c 和c a b a c ； 2 可选的i 4 ( 1 8 ) 象素的运动估计； 3 多模式的运动矢量估计； 44 x 4 的整型d c t 运算； 5 块效应滤波器。 这些改进进一步提高了编码算法的压缩效率和视频的恢复质量。h 2 6 4 算法在概念上分为两层， 除了包含规定视频编码算法的视频编码层( v c l ) 负责高效的视频内容，还有一个网络抽象层( n a l ) 负责按照网络要求的适当方式对编码码流打包和传送。与以往标准相比，在相同失真率条件下h 2 6 4 的编码效率提高了5 0 左右。同时，它还具有较强的抗误码特性，可适应丢包率高、干扰严重的无 线信道中的视频传输。 由于h 2 6 4 标准性能优越、应用广泛、发展潜力巨大，对h 2 6 4 算法的研究也成为目前视讯行 业研究的热点和难点。另一方面多媒体终端设各有着广阔的应用前景，如可视电话、移动多媒体、 数字电视等。多媒体终端设备的实现主要有两点支持，一个是需要快速、稳定的处理器作为多媒体 信号处理的平台，另一方面需要适合多媒体通信协议的压缩算法，h 2 6 4 的出现提供了适合通信的 视频标准和算法指导，而高性能d s p 芯片的不断发展则为这些算法的实现提供了可能。 4 1 4 d s p 芯片的发展 进入9 0 年代，以计算机技术、通信技术和软件技术为核心的信息技术取得了高速的发展，同时 各种装备和设备上的嵌入式系统应用也日益广泛，嵌入式产品的开发已成为信息产业一个耀眼的行 业嵌入式系统中，硬件是支持，软件是灵魂几乎所有的嵌入式产品都需要软件和支撑它的硬件 来提供某种特定的功能。例如，我们要开发一个兼容h ，2 6 4 码流的解码终端，必然要有个实现h 2 6 4 解码的软件在里面，它需要很大的计算量，所以我们不能忽略这么一个事实，那就是必然还需要一 个强劲的多媒体处理器来运行这个软件。 目前，根据应用领域的不同，嵌入式系统有以下几类： 1 基于单片机( 以m c s 5 1 为代表) 的简单控制系统，集成了众多外围接口，可以方便的进行 系统设计，适用于仪表和控制领域，缺点是计算能力不强。 2 以d s p 芯片为基础的数字信号处理系统。与单片机相比。d s p 具有更适合信号处理的优点： 改进的哈佛总结结构，内部有硬件乘法器、累加器，多级流水线结构，r i s c 指令系统等。该类系统 主要用于移动基站和雷达等数据量大且要求实时处理的领域，供应商以1 1 和a d 公司为主 3 以a r m 、p o w e r p c 等微处理器为基础的嵌入式系统p 】，外围接口丰富，并且可以运行微型 操作系统，所以有丰富的软件资源可以利用，特别适合应用于网络通信和人机交互等复杂的领域， 缺点依然是信号处理能力不如d s p 。 综合以上，考虑到视频压缩技术涉及到复杂的运算，对实时性要求较高，同时需要良好的交互 功能，因此现有的视频系统需要d s p 和微控制器组合才能满足要求。为了满足多媒体应用，a d 公 司推出了b l a c k f i n 系列处理器1 9 1 州( 参见表1 1 ) ，它使用了a d 和i n t e l 合作开发的m s a ( m i c r o s i g n a la r c h i t e c t u r e ) 。该架构融合了d s p 和微控制器( s a c u ) 的特点。它即具有d s p 信号处理能力强的 特点。又具有嵌入式微处理器易于控制交互的优点，使用一块芯片就可以满足要求。 表1 1a d 公司部分b l a c k f i n 系列多媒体处理器参数表 b l a c l d i n 5 3 1b 1 a c k f i n 5 3 3 b l a e k f i n 5 6 1 ( 双核) d s p 主频4 0 0 m h z5 9 4 m h z6 0 0 m h z 片内l l - s r a m 5 2 k b y t e s 1 4 8 k b y t e s 2 0 0 k b y t e s 指令c a e h e s r a m1 6 k b y t e s1 6 k b y t e s3 2 k b y t e s 指令s r a m | 6 k b y i e s6 4 k b y t e s 3 2 k b y t c s 数据c a c h a s k a m t 6 k b y t e s3 2 k b y t e s6 4 k b y t c s 数据s r a m 3 2 k b y t e s 6 4 k b y t e s 片内l 2s r a m 1 2 8 k b y t e s d m a 通道1 2 通道 1 2 通道3 6 通道 视顾端口 半双工视频输入输出端口半取工视频输入输出端口多功能视频输入输出端口 p p i p p i p p l 0 。p p i l 内核电压0 8 v 1 2 v o 8 v l2 vo 8 v - - i 2 v 外围电路接口的方向发展，性价比日益突出，也将更加有力的推动d s p 在多媒体领域中的应用。 东南大学硕士学位论文 1 5 论文的内容和结构 1 5 1 课题的任务 近年来，无线通信技术的发展进入了一个空前活跃的历史时期，尤其是呼之欲出的3 g 移动通 信系统，更是开创了无线通信、因特网和多媒体融合的新时代。无线通信系统的共同特点是误码率 较高，因此在无线通信系统开展视频业务十分的困难，对视频压缩技术的压缩效率和抗误码特性提 出了较高的要求 课题的目的是针对无线视频通信，设计种低成本、低功耗且便于携带的视频编码器，不仅具 有良好的压缩性能，在支持无线信道低码率传输的前提下，能提供可以接受的图像质量；针对高误 码率传输，码流要具有一定的抗误码特性和误码发生后的视频恢复能力。在调研相关视频压缩标准 和各种处理器性能之后，设计出了基于b l a c k f m 5 6 1d s p ( a d s p b f 5 6 1 ) 芯片和h 2 6 4 视频压缩算 法的嵌入式视频编码器。为完成课题的研究，展开了以下工作： 一以h 2 6 4 标准为中心，熟悉视频编码的基本思想和技术原理，学习h 2 6 4 码流的语法和语义， 并对其中的关键技术和标准细节进行了分析，主要研究了帧内预测、帧阃预钡5 、整数d c t 变换、量 化和熵编码技术。 一以a d s p - b f 5 6 1 芯片为中心，熟悉视频编码器的硬件系统和开发工具。主要分析了b f 5 6 1 的 内核结构、存储器管理、内存管理，d m a 控制器和指令集，学习使用v i s u a ld s p + + 4 5 软件开发 调试环境，并以a d s p - b f 5 6 1 评估板为平台，讨论了视频采集系统的设计 一重点研究了h 2 6 4 编码器在d s p 上的实现。包括对h 2 6 4 编码器开放源代码的分析，在d s p 平台上的移植，依据d s p 硬件结构对代码进行编译器优化，c a c h e 功能优化和部分模块汇编优化。 1 5 2 论文的结构 第1 章：绪论。阐述了视频压缩技术的原理和发展，以及主要低码率视频编码标准h 2 6 1 、h 2 6 3 、 h 2 6 4 的特点，并结合d s p 技术的发展讨论了嵌入式视频系统的开发。 第2 章：h 2 6 4 视频编码标准原理分析。分析了h 2 6 4 标准的原理和编码器结构，重点分析了 v c l 层的帧内预测、帧问预测、整数变换与量化、熵编码技术和n a l 层封装技术。 第3 章：h 2 6 4 编码器系统的硬件平台。重点分析了a d s p - b f 5 6 1 芯片的性能，如内核结构、 存储管理、事件管理、d m a 控制器和指令系统，熟悉了a d s p - b f 5 6 i 开发环境。 第4 章：基于a d s p 。b f 5 6 1 的视频采集和d m a 传输。对视频采集模块进行了深入分析，对视 频数据的格式、采集、存储和传输进行了探讨。 第5 章：h 2 6 4 编码器在p c 上的实现和优化。介绍了目前h 2 6 4 的开源代码，分析了x 2 6 4 编 码器模型的编码流程，并对x 2 6 4 采用的一些编码参数、算法进行了深入分析。 第6 章：h 2 6 4 编码器的d s p 移植和优化。首先叙述了移植过程中遇到的问题和解决的方法， 然后从编译器优化策略、c a c h e 功能和部分耗时程序模块的汇编优化这三个方面对h 2 6 4 编码器进 行了优化，取得了明显效果。 第7 章：工作总结及展望。对课题中做的工作进行了总结，并对下一步的工作进行了展望。 6 第2 章h 2 6 4 a v c 视频编码标准原理分析 第2 章h 2 6 4 a v c 视频编码标准原理分析 在1 9 9 5 年l t u - t 完成了用于视频电话的h 2 6 3 标准之后，该组织i t u - t 视频编码专家组v c f _ 船 着手在两个方面开始进一步的研究：一个是短期研发，努力在h 2 6 3 中增加许多额外的特征，这就 形成h 2 6 3 的第二个版本h 2 6 3 + 和第三个版本h 2 6 3 + + ：二是长期研究，着手制定低比特率的视频 通信新标准，这就是h 2 6 l 标准，它提供比以往标准都更为有效的视频压缩，结果i t u - t 的v c e g 与i s o i e c 的m p e g 组织起合作成立了“联合视频组”t ( j o i n t v i d e o t e a m ) ，共同制定新的建 议，t 的努力最后形成了两个相同的标准，即i s o 的m p e g - 4 的p a r t1 0 和i t u t 的h 2 6 4 。 2 1 h 2 6 4 概述 2 1 1 h 2 6 4 编码器功能组成 h 2 6 4 标准并没有明确规定一个编解码器如何实现，而是规定了一个编码视频比特流的句法和 该比特流的解码方法，各个厂商的编码器和解码器在此框架下应能够互通，在实现上有较大的灵活， 而且有利于相互竞争。 h 2 6 4 编码器的功能组成【1 2 l 如图2 i 。 图2 1h 2 6 4 编码器功能组成 从图2 1 可以看出，h 2 6 4 和以前的标准( 如h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g - 4 ) 中的编解码 器功能块的组成没有什么区别，主要的不同在于各功能模块的细节。由于视频内容时刻在变化，有 时空间细节很多，有时存在大面积的平坦，这种内容的多变性就必须采用相应的自适应的技术措施； 由于信道在环境恶劣下也是多变的，例如互联网有时畅通有时阻塞，又如无线网络有时严重衰落有 时损耗很小，这也要求采取自适应的方法来对抗这种信道的不利影响。这两方面的多变带来了自适 应压缩技术的复杂，h 2 6 4 就是利用这种复杂性获得了压缩性能的明显改善。 h 2 6 4 采用的仍是变换加预测的混合编码方法。 图2 1 中，输入的帧或场r 以宏块为单位被编码器处理。首先按帧内或帧间预测编码的方法进 行处理。 7 东南大学硕士学位论文 如果采用帧间预测编码，其预测值p r e d ( 图中用p 表示) 是由当前片中已编码的参考图像经 过运动补偿( m c ) 后得到的，其中参考图像用，j 表示为了提高预测精度，从而提高压缩比，实 际的参考图像可在过去或未来( 显示次序上) 己编码重建和滤波的帧中进行选择。 预测值p r e d 和当前块相减后，产生一个残差块d n ，经块变换、量化后产生一组量化后的变换 系数z 再经过熵编码，与解码所需的一些信息( 如预测模式、量化参数、运动矢量等) 一起组成 一个压缩后的码流，经n a l ( 网络自适应层) 供传输和存储用。 为了提供进一步预测用的参考图像，编码器必须有重建图像的能力，因此必须使残差图像经反 量化、反变换后得到的d j 与预测值p 相加。得到蛾( 未经滤波的帧) 。为了去除编码解码环路中 产生的噪声。提高参考帧的图像质量，从而提高图像压缩性能，设置了一个环路滤波器，滤波后的 输出r 即为重建图像，可用作参考。 2 i 2 h 2 6 4 的分层处理 h 2 6 4 算法在概念上分为两层：视频编码层( v c l ) 负责高效的视频内容表示；网络抽象层( n a l ) 负责按照网络要求的适当方式对数据打包和传送。 h 2 6 4 的编码结构框图如图2 2 。 v c l 层的主要功能正如图2 1 所示，有基于块的运动补偿。基于d c t 变换的残差编码。有可变 量化步长，z i gz a g 扫描和系数的v l c 编码等。然而，h 2 6 4 的v c l 层除了以前通用的基于块的运 动补偿的混合编码之外，还具有一些其他视频编码标准没有的新特性。 n a l 层负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、定时信息的利 用或发送序列结束信号等，提高了v c l 层数据格式适应不同特性网络的能力。这样高效率的编码和 网络的友好就由v c l 和n a l 分别来完成。 控 _ _ 叫视频编码层( v c l ) 制 数 f宏块 据 _ 叫数据分区f r 一 i ，_ j 工 l 条份区 网络抽象层( n a l ) l h 3 2 0 | h - 3 2 4lh 3 2 3 膪lh 3 2 捌 图2 2h 2 6 4 的编码结构框图 2 2 h 2 6 4 的v c l 层技术分析 h 2 6 4 的v c l 层负责数据的压缩编码，把输入的视频图像分成1 6 1 6 的宏块，然后根据约定 的分类规则把宏块组成一个或几个片。片是可以独立解码的最小单位，宏块是最小的编码单位。v c l 层的主要功能组成正如图2 1 ，是在混合编码器的框架内对其主要的关键部件都做了重大改进，如多 模式运动估计、帧内预测、多帧预测、先进的熵编码、整数d c t 变换、去块效应滤波器等。 8 第2 章b i 2 6 4 a v c 视频编码标准原理分析 2 2 1 帧内预测 对h 2 6 3 及m p e g 标准，l 帧图像是一种最为基本的编码图像，i 帧中的每个宏块都以帧内模式 编码，即只需对宏块数据直接进行d c t 、量化、v i a 2 编码，不存在预测，导致帧内编码数据量较大。 为了提高编码效率，h 2 6 4 标准引入了帧内预测i l 1 ，利用相邻像素的相关性去除空间冗余。对于4 x 4 亮度编码块，共有9 种预测模式，对于1 6 x1 6 亮度块，有4 种预测模式，而对于8 8 色度块 也有4 种帧内预测模式。 l 4 x 4 亮度块帧内预测模式 图像的内容总是多变的，有时图像的细节很丰富，有时图像的大部分区域很平坦，不同情况下 应使用不同大小的块和不同的预测模式，这就是h 2 6 4 标准所体现出来的自适应性。4 x 4 亮度预测 模式尤其适用于图像细节较多的区域。 图2 3 表明了一个需要预测的4 4 亮度块，该亮度块的左边宏块和上面宏块已经编码并重建， 其中a p 是当前正在编码的亮度块像素，大写字母a m 是已经编码并重建后可以作为预测的像素。 对于模式0 到模式8 共有9 种帧内预测模式，图2 4 的箭头方向表示其中8 种不同的预测模式，而 模式2 是“d c 预测”。 mab cdefg h i j k l o p ? 侈 弼麓 ， 1 8 l 图2 3 当前编码块以及用于预测的邻近像素编号图2 4 帧内预测的8 个不同方向 21 6 1 6 亮度块帧内预测模式 图像较为平坦，含有较少的细节，使用1 6 x1 6 像素块预测，无须进一步分块，预测值和原始值 很接近，会节约很多的比特数。对于1 6 1 6 亮度块，有4 种预测模式，见表2 1 。 表2 11 6 1 6 预测模式 模式 模式0 ( 垂直) 模式1 ( 水平) 模式2 ( d c ) 模式3 ( 平面) 描述 由上边像素推出相应像素值 由左边像素推出相应像素值 由上边和左边像素平均值推出相应像素值 利用线性。p l a n e ”函数及左，上像素推出相应像素值，使用于亮度变化平缓区域 38 8 色度块帧内预测模式 h 2 6 4 对色度分量单独进行帧内预测，每一个编码宏块的8 8 色度成分由已编码左、上方色度 9 东南大学硕士学位论文 块像素经过预测而得，两种色度成分常用同种预测模式。8 8 色度块的预测模式类似于帧内1 6 1 6 预测的四种模式。 帧内预测的模式选择问题是影响h 2 6 4 帧内编码速度的一个关键所在。在h - 2 6 4 标准的参考算 法中对每个4 x 4 子块的9 和预测模式和1 6 x1 6 块的4 种预测模式之间进行遍历运算寻找最佳预测 模式，虽然大大提高了预测的精度，但也耗费了极大的运算量，不利于实现实时编码。文献【1 5 】通过 对不同模式的利用率进行统计分析，合理安排各种编码模式的计算顺序，并不同模式适用不同的阈 值，跳过了许多不必要的编码模式，提高了编码的速度，对运动比较少的序列优化的效果较好- 2 2 2 多模式高精度运动估计 帧问预测是一种去除图像时间相关性的重要方法，从先前已经编码并重建的一帧或多帧图像中 搜索得到预测数据，然后将当前编码帧宏块数据和预测数据相减得到残差信息并对其编码。h 2 6 4 与以前标准类似，仍基于块的运动补偿技术，但添加了新特性：支持多模式运动补偿l l6 i 和更加精确 的运动矢量精度。 ； l 多模式运动补偿技术 在帧间预测编码时，每个亮度宏块可分割为形状不同的区域，作为运动补偿的区域。在 l 2 6 4 中，运动补偿块的尺寸划分为1 6 x1 6 、1 6 x 8 ，8 x1 6 、8 x 8 ，8 x 4 、4 x 8 、