（通信与信息系统专业论文）基于电视芯片平台的音视频同步模块研究与实现.pdf

独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期：尘：主： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 睦亟纽 日期：2 全j ! ：三! 导师签名：7 日期：二毡至上l _ 一 北京邮电大学硕士研究生学位论文 基于电视芯片平台的音视频同步模块研究与实现 摘要 i n t e r n e t 技术、宽带网络的快速发展和流媒体的迅速普及推动着 多媒体技术不断进步；同步作为多媒体领域中的一项关键技术，是未 来多媒体领域中的一个重要研究方向。 本文详细分析了目前存在的同步方法和同步技术；在此基础之 上，从平台p l m 3 k 的应用方案和平台软硬件架构出发，提出适合 p l m 3 k 平台的音视频同步方案。该方案采用基于时问轴同步模型的 技术，利用时间戳来完成音视频的同步。方案采用音频流或p l m 3 k 的2 7 m h z 系统时钟作主流，根据具体的应用方案的不同来切换主流； 从流向“主流”靠近。当以音频流作主流，以音频的p t s 更新系统时钟 的计数值；当以系统时钟为主流，则以传输流的p c r 字段来更新系 统时钟的计数值，同时启动系统时钟的频率校正模块。通过比较媒体 流的时间戳和系统时钟的计数值的差值来决定音视频是否处于同步 状态，如失步则给出再同步的跳帧和重复帧处理方案；最终使得音频 和视频能够在终端同步的表现。 本文重点阐述了两个工程应用创新点：第一，提出适合p l m 3 k 硬件平台的p t s f e t c h 算法，使得vs y n c 可以又快又好地在r b 中找到正确的p t s ；第二，提出一种基于渐进法思想、通过软件辅助 校正系统时钟精度的算法。同时本文分析了大量数据，在此基础上给 出同步模块的工程参数经验值，同时也通过分析数据和曲线来评判音 视频同步实施情况的优劣。 本文完成了音视频同步模块方案的软件实现，并通过大量测试己 成功应用于商用，方案可行性得以验证且拥有较好的体验效果。 关键词：音视频同步时间戳p t s 找寻算法时钟校正 北京邮电大学硕士研究生学位论文 r e s e a r c ha n di m p l e 【e n t a t i o no f a u d i o d e os y n c h r o n i z a t i o n b a s e do nt v 二c h i pp l a t f o r m a bs t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e tt e c h n o l o g ya n db r o a d b a n d n e ta sw e l la sp o p u l a r i z a t i o no fs t r e a m - m e d i aa p p l i c a t i o n ，m u l t i m e d i a t e c h n o l o g yg e t sp r o m o t e dc o n t i n u o u s l y s y n c h r o n i z a t i o n i sa k e y t e c h n o l o g yi nt h em u l t i - m e d i ad o m a i n ，t ow h i c hp e o p l ew i l lp a ym o r e a t t e n t i o ni nf u t u r e t h i sp a p e ra n a l y s e ss o m ek i n d so fe x i s t i n gs y n c h r o n i z a t i o nm e t h o d a n dt e c h n o l o g y o nt h eb a s i so ft h e o r ya n a l y s i sa n dd e e pk n o w l e d g eo f p l m 3 kp l a t f o r m , a s p e c i f i c a u d i o - v i d e o s y n c h r o n i z a t i o n s o f t w a r e s o l u t i o ni sb r o u g h tf o r w a r d t h es o l u t i o ni sb a s e do nt i m e - s t a m p s y n c h r o n i z a t i o nt e c h n o l o g y , w h i c ha c c o m p l is h e s i t sf u n c t i o nw i t h p r e s e n t a t i o nt i m e - s t a m p a l s ot h es o l u t i o nt a k e st w os o u r c e sa sm a s t e r s t r e a mc h o i c e s ，o fw h i c ho n ei sa u d i o - s t r e a ma n dt h eo t h e ri se x t e r n a l s y s t e mc l o c ko fp l m 3 kw i t h2 7 m h zc e n t e r - f r e q u e n c y w i t hd i f f e r e n t a p p l i c a t i o n ，d i f f e r e n t m a s t e rs t r e a mi sc h o o s e db yt h ea u d i o - v i d e o s y n c h r o n i z a t i o ns o l u t i o n h o w e v e r , t h es l a v es t r e a mi sa l w a y st r y i n gt o k e e pc l o s et ot h em a s t e rs t r e a m w h e ns o l u t i o nt a k e sa u d i os t r e a ma s m a s t e r , t h es y s t e mc l o c kc o u n tv a l u ei si n i t i a l i z e da n du p d a t e dw i t ht h e p t so fa u d i os t r e a m w h e ns o l u t i o nt a k e st h ee x t e r n a lc l o c ka sm a s t e r , t h es y s t e mc l o c kc o u n tv a l u ei si n i t i a l i z e da n du p d a t e dw i t hp c rv a l u e a n dc l o c kf r e q u e n c ya c c u r a c ya d j u s ti ss t a r t u p b yc o m p a r i n gt i m es t a m p o fs t r e a ma n ds y s t e mc l o c kc o u n tv a l u e , w h e t h e ra u d i oa n dv i d e oi so u to f s y n c h r o n i z a t i o n i s j u d g e d i fi ti so u to f s y n c h r o n i z a t i o n ， r e s y n c h r o n i z a t i o ns o l u t i o no ff r a m e r e p e a r to rf r a m e - - s k i pi sn e e d e dt o m a k eg o o da u d i o - v i d e os y n c h r o n i z a t i o np e r f o r m a n c e t h i sp a p e rd e s c r i b e st w oa r i t h m e t i c sw h i c hi sn e wa n ds u i tf o r 北京邮电大学硕士研究生学位论文 p l m 3 k o n ei sa b o u th o wt of e t c hc o r r e c tp t sv a l u e f r o mp t s r i n g b u f f e rq u i c k l ya n dt h eo t h e ri s a b o u ti m p r o v i n gt h ea c c u r a c yo f s y s t e mc l o c kb ys o f t w a r eu s i n ga v e r a g i n ga n da p p r o a c hi d e a i na d d i t i o n ， al o to fd a t ai sa n a l y s e dt oa d j u s tt h e o r yv a l u ei n t oe x p e r i e n c ev a l u e o n b a s i so fd a t aa n a l y s i ss y n c h r o n i z a t i o np e r f o r m a n c ei sj u d g e d t h ew h o l eo fa u d i o v i d e os y n c h r o n i z a t i o ns o l u t i o ni sa c c o m p l i s h e d a n di sa p p l i e dt ob u s i n e s sa f t e rp l e n t yo fq u a l i t y - t e s ta n ds o l u t i o nv a l i d i t y i sp r o v e d k e yw o r d s ：a u d i o - v i d e os y n c h r o n i z a t i o n ，t i m e s t a m p ，p t s - f e t c h ， c l o c kf r e q u e n c yc o r r e c t i o n i i i 北京邮电大学硕士研究生学位论文 目录 第一章绪论1 1 1 研究背景和意义1 1 2 国内外研究现状2 1 3 本文的研究内容3 1 4 论文的结构安排3 第二章音视频同步基础5 2 1 多媒体同步5 2 1 1 多媒体数据的定义及其约束关系5 2 1 2 同步容限8 2 1 3 影响多媒体同步的因素一9 2 1 4 多媒体同步参考模型l o 2 1 5 同步方法1 2 2 1 6 媒体间同步技术1 5 2 2 m p e g 2 标准中有关音视频同步的相关规定1 8 2 2 1 m p e g 2 编码模型1 8 2 2 2 恒定延迟系统模型1 9 2 2 3 系统时钟和m p e g 2 标准中的时间信息字段1 9 2 2 4 时钟恢复方法2 2 2 2 5 p c r 抖动的原因及影响2 3 2 3 一些论文中提出的时间戳技术实现方案2 4 2 4本章小结2 5 第三章基于p l m 3 k 的音视频同步方案2 6 3 1 p l m 3 k 的音视频处理框架2 6 3 1 1 音视频设备2 7 3 1 2 存储设备2 8 3 1 3 媒体播放处理流程2 8 3 2 p l m 3 k 音视频同步方案2 9 3 2 1a 鼬n c 工作流程2 9 3 2 2 a s y n c 与其他设备、模块的交互情况3 0 3 2 3a vs y n c 在运行状态下的工作框架3 1 3 3 a s y n c 内部子模块3 2 i v 士研究生学位论文 3 3 3 5 3 6 4 】i 4 2 4 3 ，4 3 关数据分析4 5 4 5 4 9 5 0 5 0 ：5 ；o 5 2 一5 6 ”5 9 6 0 v 北京邮电大学硕士研究生学位论文 1 1 研究背景和意义 第一章绪论 近年来，计算机技术和通信技术，特别是宽带通信和i n t e m e t 技术的发展， 大大促进了多媒体通信技术的发展。多媒体的应用已深入到我们生活的各个方 面，为用户提供多媒体服务已经成为通信领域和计算机领域必然的技术发展趋 势。媒体应用与传统数据应用相比，它集成了各种不同性质的媒体，且各媒体内 部和媒体之间都要遵循一定的空间和时间约束。多媒体数据在生成、传输和播放 的过程中，不可避免地会引入时延，产生时延抖动，从而破坏媒体的同步关系。 如何在接收端正确地恢复和维持媒体同步关系，成为多媒体技术中的关键技术之 一，也已经引起学术界和工程界的广泛关注和研究。 当今，数字电视正在蓬勃发展，2 0 0 6 年8 月1 8 日数字电视地面标准正式颁 布更是推动了数字电视行业一系列的产业跨越式地大发展；而伴随着i n t e m e t 普 及，近年来数字电视i c 芯片不仅能提供高性能的数字电视广播节目解码和播放 即传统的电视接收功能，还提供网络电视方案即在电视上收看网络电视 节目、浏览网页、提供下载和卡拉o k 应用方案等，数字电视芯片正在朝着多功 能化发展。 数字电视和多媒体息息相关，数字电视广播就是多媒体通信中的一种，而数 字电视机是多媒体播放的承载平台。当用数字电视收看广播节目、播放本地文件 或通过i n t e m e t 收看点播节目时，多媒体同步显得极为重要，在电视接收机这个 应用层面上，就主要表现为音视频同步。 传统的模拟电视节目的同步信号嵌入在全电视信号波形中，收端接收到全电 视信号波形中非常容易保持音视频同步；但数字电视广播节目和本地的音视频文 件等均采用数字编码解码技术，音视频数据完全分开，且同步信息也是与信息内 容本身的数据分开。此外，数字电视与宽带传输领域有交叉应用，早期的单机系 统朝着分布式系统发展也是一个愈演愈烈的趋势，i n t e m e t 网络实时多媒体传输 等等这些都增加了音视频同步的难度和复杂度。 综上所述，研究多媒体同步技术，尤其是数字电视系统的多媒体同步技术是 保证多媒体表现质量的一个重要的步骤，是多媒体研究的关键技术之一，也是未 进的音视频编码方式或者其他因素等，如四维矩阵视频编码及音视频同步技术 研究 3 1 和基于a v s 的嵌入式音视频同步方法 4 1 等论文中都有提出这样的 观点。但就目前来说，应用还未能推广。 2 北京邮电大学硕士研究生学位论文 1 3 本文的研究内容 本文在多媒体同步理论研究的基础之上，从平台p l m 3 k 的应用方案和平台 软硬件架构出发，提出p l m 3 k 平台的音视频同步方案。该方案基于时间轴同步 模型，利用时间戳同步技术来完成音视频的同步。方案以音频流或p l m 3 k 的 2 7 m h z 系统时钟为主流，根据具体的应用方案不同来切换主流；从流向“主流” 靠近。当以音频流作主流，以音频的p t s 更新系统时钟的计数值：当以系统时 钟为主流，则以传输流的p c r 字段来更新系统时钟的计数值，同时启动系统时 钟的频率校正模块。通过比较媒体流的时问戳和系统时钟的计数值的差值来决定 音视频是否处于同步状态，如失步则给出再同步的跳帧和重复帧处理方案：最终 使得音频和视频能够在终端同步的表现。 本文重点阐述了两个工程应用创新点：第一，提出适合p l m 3 k 硬件平台的 p t s f e t c h 算法，使得州s y n c 可以又快又好地在r b 中找到正确的p t s ；第 二，提出一种通过软件辅助校正系统时钟精度的算法，该算法采用了渐进法思想。 同时本文分析了大量数据，在此基础上给出同步模块的工程参数经验值，在 项目初步完成后，又通过分析大量数据和曲线来评判音视频同步实施情况的优 劣。 本文主要的研究内容如下： l 、研究现有同步方法，根据p l m 3 k 音视频处理框架及运行流程，提出 p l m 3 k 音视频同步方案； 2 、研究找寻基本流数据对应的时间戳数据算法； 3 、研究基于软件的时钟恢复和校正算法； 4 、研究媒体流同步与否的判断准则和同步容限区间以及再同步处理方法。 1 4 论文的结构安排 本论文共分五章，各章内容安排如下： 第一章：绪论。简要介绍本文的研究背景和意义、国内外发展现状，以论文 的研究内容。 第二章：介绍经典的理论多媒体同步模型和音视频同步技术、同步容限等基 础知识；并着重介绍基于时间轴同步技术的相关标准和工程实践成果。 第三章：介绍p l m 3 k 的音视频同步整体方案、工作流程、核心子模块以及 两个工程算法。 3 北京邮电大学硕士研究生学位论文 绘制曲线，对此加以分析后对p l m 3 k 的音视频同步进 研究工作进行总结和展望，提出下一阶段的研究方向和 4 北京邮电大学硕士研究生学位论文 2 1 多媒体同步 第二章音视频同步基础 同步是通信系统中常见的一个概念，但多媒体同步与其它通信系统中的同步 不同，它是由多媒体数据独特特征和属性而引发的问题。换句话说就是，多媒体 同步是多媒体系统中所特有的问题。 2 1 1 多媒体数据的定义及其约束关系 多媒体数据是由在内容上相互关联的文本、图形、图像、动画、语音和活动 图像等媒体数据构成的一种复合信息实体【6 1 。 从数据对时间的敏感性角度来划分，多媒体数据可分为连续媒体( c o n t i n u o u s m e d i u m ) 数据和离散媒体( d i s c r e t em e d i u m ) 数据。对时间敏感、有着严格的 时间关系的数据，比如音频、视频等，被称为连续媒体数据或实时媒体数据；其 它类型的数据，如静态图像、文本和图形等，则被称作离散媒体数据或非实时媒 体数据或静态媒体数据。多媒体数据中至少包含一种实时数据和一种非实时数 据，若数据中只有实时数据或者只有非实时数据是不能被称作为多媒体数据的。 多媒体数据是一种复合信息实体，它所包含的多种媒体对象之间是相互关联 的，且存在多种互相制约的关系( 或称作是同步关系) 。这些约束关系可分类为 基于内容的约束关系、空域约束关系和时域约束关系。 第一，基于内容的约束关系是指，在用不同的媒体对象代表同一内容的不同 表现形式时，内容与表现形式所具有的约束关系。 第二，空域约束关系是用来定义在多媒体数据显示过程中的某一时刻，不同 媒体对象在输出设备上的空间位置关系。 第三，时域约束关系反映媒体对象在时间上的相对依赖关系，表现在媒体对 象内部的相对时间关系和各个媒体对象之间的相对时间关系两个方面。 在这三种多媒体数据的约束关系中，时域约束关系最为重要，也是课题和项 目中的重点研究对象。下面重点介绍多媒体同步中的时域约束关系。 一、媒体对象内部的同步 媒体对象内部的同步是指媒体对象内部的各个不同表现单元之问的在时间 气 北京邮电大学硕士：研究生学位论文 关系上的一种约束，简称为流内同步。 媒体对象内部的同步主要是保证单个媒体流的时间约束关系，也就是按一定 的时间要求编码、传输、解码、展现媒体对象数据等，具体表现为单个媒体流的 连续性，避免媒体在某一单元的表现中出现抖动或跳跃等现象，以满足人类感知 上的要求。流内同步的复杂性不仅和单个媒体的种类有关，而且和源端及目的端 的多媒体系统所提供的服务质量q o s ( q u a l i t yo fs e r v i c e ) 有关，比如系统时钟 偏差、传输解码时延、数据读取时问和处理速度、显示速度等因素造成的时延 以及数据丢失和错误等等。 其实，媒体对象内部的同步主要指连续媒体对象内部的同步，对于静态媒体 对象而言，不存在对象内部的同步问题。这是因为，表示连续媒体信息的数据值 会随时间而发生变化，即数据值的表示与时间有关，故连续媒体对象不仪要用一 系列随时间变化的数值表示信息本身的内容，还要指出相应的数值应该出现的时 间。而静态媒体对象对时间不敏感，它的信息内容与时间无关，数据值不会随时 问而变化。 下面举例表示视频流的流内同步。 连续媒体数据可以看成是逻辑数据单元l d u ( l o g i cd a t au n i t ) 构成的时间 序列( 或称为流) 。l d u 的划分由具体的应用、编码方式、数据的存储方式和传 输方式等因素共同决定。例如，对于符合h 2 6 1 标准的视频码流，一个l d u 可 以是一个宏块、一个宏块组、一帧图像，或者是构成一个场景的几帧图像等。 连续媒体数据的l d u 之间存在着固定的时间关系。例如，对于帧率为2 5 帧 秒的视频序列码流，若取一帧图像为一个l d u ，则两个相临的l d u 之间的时 间间隔为4 0 m s ，即每个l d u 的展现时问为4 0 m s ，如图2 一l 所示。简单的说就 是，如果能够保证视频序列的每一帧之问的延迟都为4 0 m s ，则到达了此视频流 对象的内部同步要求。这种l d u 的时间约束关系可在获取数据的时候确定，而 且要在存储、处理、传输和播放过程中保持不变，否则就会影响媒体显示时的质 量，例如产生图像的停顿、抖动，或声音的问断等。而在非连续媒体数据内部则 不存在这种时间关系。 时间轴 图2 1连续媒体内部l d u 之间的相对时间关系示意图 二、媒体对象之问的同步 媒体对象之问的同步是指不同媒体对象之间在时间关系上的一种约束，简称 6 北京邮电大学硕士研究生学位论文 为流间同步。 媒体对象之间的同步关系，主要是保证不同媒体之间的时间约束关系，包括 连续媒体对象和连续媒体对象之间的同步如音频和视频之间的时间约束，也 包括连续媒体对象和静态媒体对象之间的同步如音频和文本之间的时间约 束等，具体表现为每个媒体流的数据可在某个同步点上的进行同时播放。流间同 步要比流内同步复杂的多。 下面举例表示流间同步。 l 视频 l 图像l i 图像2 l 文本i 动画 i r o o o o o o o o o o o - o o - - - - o o o o o o o o _ o _ o o o - r _ _ _ _ _ _ _ - _ _ ；i i； i； 圆圈回 ： _ _ k l - l l 时间轴 图2 - - 2 不同的媒体对象之间的时间约束关系示意图 如图2 2 所示，该场景中包含三种连续媒体对象视频、音频和动画， 两种静态媒体图像和文本。视频和音频l 同时开始且同时结束；之后依次播 放图像1 和图像2 ，音频2 在图像l 的播放中间插入并和图像2 的播放同时结束： 图像2 播放结束播放文本，再然后播放一段动画，动画期间有音频3 插入，且音 频3 在动画结束一段时间后才结束播放。视频和音频、动画和音频之间的同步都 是连续媒体对象和连续媒体对象之间的同步，而图像和音频之间的同步则属于连 续媒体对象和静态媒体对象之间的同步。 流间同步还可以继续细分根据确立流间时间约束关系的时间来分，可分 为综合同步和实时同步。综合同步要求较低，它是指分别获取不同的信息之后， 再人为地指定同步关系；实时同步要求较高，是指在信息获取过程中建立的同步 关系，如口形动作和声音之间的同步，通常又被称为是唇同步。 流内同步和流间同步是多媒体时域约束关系的两个主要“宗旨。事实上， 在流间同步之上还有用户交互同步的问题存在。再考虑多媒体系统的运行环境这 个因素，多媒体同步可分为单机多媒体系统应用环境下的同步和分布式多媒体系 统应用环境下的同步。两种环境的同步所致力解决问题的重点有所不同，而且在 分布式环境中的同步问题比单机环境下更为复杂，分布式环境的同步除了要解决 在单机系统中普遍存在的同步问题，还有其它一些特殊问题要解决，比如媒体信 息通过网络传输而产生的不同延迟和抖动、全网条件下的时钟偏移、多信源和多 信宿的存在、网络传输中的丢包和误码率、网络负载状况不同等等。 综上所述，将多媒体的同步问题进行分类总结，得出如图2 3 所示的多媒 7 时域约 部分重 成分数 系如图 同步描述数据表示媒体内部和媒体之间的时间约束关系，同步容限则表示约 束关系所允许的偏差范围。 时域约束关系可由时间模型和形式语言来描述，时间模型有定量定期型、定 性定期型、定性时刻型、定性问隔型、定量间隔型五类。时间建模的结果通过某 种形式化语言转化为形式化描述就是同步描述数据，同步描述数据决定了多媒体 数据在时域中的布局。 同步容限则是用户与同步机制之间，应当以何种准确程度来维持时域特征方 面所达成的一种约定，即用户对同步机制服务质量的要求。流内同步和流问同步 r 北京邮电大学硕士研究生学位论文 是同步机制要完成的两个主要任务，分别实现对连续媒体对象内部和连续媒体对 象间的偏差的控制。 多媒体同步在大多数情况下采用主观评估的方法，对于对象内的偏差，人们 能够察觉到3 0 m s 左右的图像信号不连续性和l m s 的单音调声音信号的不连续 性：对于对象间的偏差，音视频之间的偏差在8 0 m s 之内可被接受【6 】。表2 1 给出了由主观评价所得到的大致许可范围。 由此可见，多媒体同步所研究的主要问题有两个：第一，如何描述多媒体数 据的时域约束关系；第二，在处理多媒体数据的过程中( 如采集、传输、播放等) ， 如何维持时域约束关系能完成该项工作的机制称为同步机制。 裹2 1媒体间偏差的许可范围【6 】 媒体条件许可范围 动商相关 士1 2 0 m s 音频l i p - s y n ：e 8 0 m s 视 重叠显示j r 2 4 0 m s 频 图象 不重叠最示士劁m m s 重叠显示i 2 4 0 m s 文本 不重叠显示 d ：曩0 0 m s 紧密耦合( 立体声) 士i i u s 音频宽松耦台( 会议中来自不同参加者的声音) 士1 2 0 m s 音 宽松耦合( 背景音乐) ：l ：5 0 0 1 d s 频 紧密耦合( 音乐与乐谱) + s i n s 图象 宽松耦合( 幻灯片) ：e s o o m s 字幕字幕 | r 2 4 0 m s 2 1 3 影响多媒体同步的因素 信源产生的多媒体数据需要经过传输才能到达信宿。在传输过程中，由于受 到某些因素的影响，多媒体数据的时域约束关系可能遭到破坏，进而导致多媒体 数据不可能正确地同步。下面是一些可能影响多媒体同步的因素【6 】。 l 、时钟偏差 在无全局时钟的情况下，信源和信宿的本地时钟频率可能存在偏差。多媒体 数据的播放是由信宿端的本地时钟驱动的，若信宿的时钟频率高于信源的本地时 钟频率，经过一段时间后可能在信宿端产生缓冲区下溢、无数据可播放的情况一 9 次化分解，逐层细化，分层次明确多媒体同步的各种要求、同步机制及其接口等。 一、三层同步参考模型 三层同步参考模型如图2 5 所示，它分别从物理层、服务层和人机接口三 个层次定义了同步机制。 二、四层同步参考模型 三层同步参考模型只是一个粗粒度参考模型，在此模型的基础之上， b l a k o w s k i 和s t e i n m e t z 提出了一个四层同步参考模型6 1 1 7 1 ，如图2 6 所示。 多媒体四层同步参考模型从抽象层次由低到高依次是：媒体层、流层、对象 1 0 北京邮电大学硕士研究生学位论文 层和规范层。 图2 - - 5 多媒体三层同步参考模型 图2 6 多媒体四层同步参考模型【田 高 低 l 、媒体层 媒体层的处理对象是来自于连续码流( 如音频、视频数据流) 的l d u ，通 常，视频信号的l d u 为l 帧图像，而音频信号的l d u 则是由若干在时域上相 邻的采样点构成的一个集合。此外，媒体层对l d u 的处理通常是有时间限制的， 因而需要底层服务系统( 如操作系统和通信系统) 提供必要的资源预留及相应的 管理措旆( 如服务质量保证服务等) 。 在媒体层接口，该层负责向上提供与设备无关的r e a d ( 从设备中读取l d u ) 、 w r i t e ( 往设备中写入l d u ) 操作，这些设备可以是数据播放器、编解码器、文 件、数据传输通道等。具体说来，媒体层主要完成两项任务，其一是申请必要的 资源( 如c p u 时间、通信带宽、通信缓冲区等) 和系统服务( 如服务质量保障 服务等) ，为该层各项功能的实旅提供支持；其二是访问各类设备的接口函数， 获取或提交一个完整的l d u 。事实上，媒体层内部不包含任何的同步控制操作。 2 、流层 流层的处理对象是连续码流或码流组，其内部主要完成流内同步和流间同步 这两项任务。而由于流内同步和流间同步是多媒体同步的关键所在，所以在这个 北京邮电大学硕士研究生学位论文 参考模型中，流层是最为重要的一层。 在接口处，流层向用户提供诸如s t a r t ( 播放流) 、s t o p ( 停止) 等功能，且流 层利用媒体层的接口功能对l d u 所做的各种处理是透明的。 3 、对象层 对不同类型的媒体对象进行统一地处理，使用户不必考虑连续媒体对象和非 连续媒体对象之间的差异。对象层的主要任务是实现连续媒体对象和非连续媒体 对象之问的同步，并完成对非连续媒体对象的处理。与流层相比，该层同步控制 的精度较低。 4 、规范层 同步关系规范层是一个开放的层，它不提供任何显式的编程接口。这一层的 应用程序和工具允许创建同步关系规范要求，这样的工具有同步编辑器、多媒体 文档编辑器和多媒体著作系统等。当然同步关系规范层的工具还包括将同步规范 要求转换成媒体对象层格式，这样的转换工具的一个例子是由m a r k e y 提出的说 明m h e g 同步的多媒体文档格式化工具。 典型的同步说明编辑器应提供图形界面来完成以下任务：选择要使用的音 频、视频和文本对象，对象预览，为被显示的多个点选择子标题，为这些点的标 题说明它们的同步关系，以及将同步要求存储起来等。 同步关系规范层还要负责将用户的服务质量要求映射到对象层接口提供的 质量参数上。 2 1 5 同步方法 多媒体最重要的特点就是它包含了与时间有关的数据或者数据类型，多种媒 体数据之间的时间约束关系必须得在多媒体系统中得到体现：整个多媒体系统所 在的大环境中存在存储、交换、传输等各种延迟；这些都是多媒体系统同步问题 所要研究和解决的内容范畴。 要研究和解决同步问题，首先要做的就是建立同步方法模型。多年来，一批 学者提出了多种同步控制方法，现有的主要方法有分层同步方法、基于时问轴的 同步方法、基于参考点的同步方法、间隔同步方法、基于p e t r i 网的同步方法等 【1 1 【2 1 。 l 、分层同步方法 分层同步方法主要基于两个同步操作：串行同步和并行同步，如图2 7 所 示。分层同步方法出发的基本思想是把相互关联的多媒体对象及其约束关系抽象 为一个树形结构树节点是递归的，每个树节点又是由代表串行和并行表现的 子树节点所组成的；树叶表示媒体对象，其他结点则表示串行或并行同步【。 1 2 北京邮电大学硕士研究生学位论文 树形结构可以形象地表达出媒体对象之间的同步关系，这样的层次模型结构 清晰，便于管理，操作简单，因而得到了广泛应用。 分层模型的结构带来的限制是其使得同步只能发生在起点和终点进行。这也 就意味着媒体对象流的多个主题的表现就要求该对象流能够被分割为若干个子 部分，否则无法在其中间实现同步，如图2 8 所示，动画被分成动画l 、动画2 和动画3 三个部分，这样才能正确地实现其与音频流的同步。依此类推，如果一 个多媒体对象必须在它表现的开始与结束之间被同步，那么它在另一个同步系统 中将不再被看成一个抽象单元。也就是说，分层结构不是全部支持多媒体对象内 部结构的抽象。除此之外，还有一些同步条件不能使用层次结构来表达。 音 幻灯片l 幻灿片2 幻灯片3音频视频 幻灯片系列 表翥嚣謇莩蒿步 图2 7 串行和并行同步 图2 8 分层同步方法示例 片4 2 、基于时间轴的同步方法 在基于时间轴的同步方法中，所有独立的对象或者事件都将映射到所共享的 时间轴上。 ( 1 ) 基于全局时间轴的同步方法 对于基于全局时间轴的同步方法而言，所有单独的媒体对象会被附加到由实 际时间抽象而来的时间轴上。各个媒体对象之间相互独立，如果删除时间轴上的 任何一个对象都不会影响其他对象的同步。 基于全局时间轴的同步方法需要维持一个所有对象都可以访问的全局时间 轴，每个对象将全局时间映射成局部时间，并依据局部时间进行展现；当局部时 1 3 北京邮电大学硕士研究生学位论文 间和全局时间的误差超出某一门限值时，则需要重新与全局时间进行比较、校准 以达到再同步的状态。a p p l e 公司的q u i c k t i m e 就采用了基于全局时间轴的同步 方法 2 1 。 在基于全局时间轴的同步方法中，同步关系的表达依赖于一个公共的时间轴 【8 】，否则总的同步关系会遭到破坏，其思想简单，易于实现，而且它对媒体对象 的内部结构提供很好的抽象，在这方面优于分层同步方法。 然而，由于基于全局时问轴的同步方法中用于同步的信息是时间轴上的固定 点( 或者说准确时问) ，所以基于全局时间轴的同步方法只能适用于表示确定事 件，难于用来表示由用户交互产生的非确定事件，这是该模型的一个缺点。 其次，该同步方法模型可能不足以完全表达不同媒体流之间的各种同步关 系。根据这些媒体流之间不同的相干性，基于时间轴的同步往往要么太强，要么 太弱。 再者，该同步方法要求媒体流使用全局定时器以使得它们自身达到与全局定 时器的同步。这对于音频流而言，由于重取样等问题，会比较困难。因此，音频 流常被选作为全局定时器，但若有多个音频流需要同步，通过这个方法仍无法解 决问题。 ( 2 ) 基于虚拟时间轴的同步 基于虚拟时间轴的同步方法是基于全局时间轴同步方法的推广。在该方法 中，可以以用户自定义的度量单元来说明坐标系统，然后再根据这些坐标系统来 进行同步：也可以使用多个虚拟轴来产生虚拟的坐标空间。比如将确定事件映射 到时间轴上，非确定事件映射到虚拟轴上，这样就解决了基于全局时间轴的同步 方法无法解决的问题。 3 、基于参考点的同步方法 在这种同步方法中，与时间相关的单一媒体对象都被看作是一系列离散的子 单元序列。媒体对象表现中的开始点、结束点以及各个子单元的开始点统称为参 考点。在媒体对象流中设置多个参考点，把需要同步的媒体流之间的参考点相连 接即可定义同步具有同一表现时间的一组参考点称为同步点。参与同步的子 单元的表现在达到同步点时必须被启动或停止。该同步方法没有显示地引用时间 来说明对象之间的时间关系。 与基于时间轴的同步相似，该方法可以在媒体对象表现的任何时候定义并实 现同步，并且易于集成持续时间不可预知的媒体对象的表现方式：与只使用一个 绝对或虚拟时问轴的同步方法相比，基于参考点的同步方法更为灵活，甚至在出 现网络阻塞等不可预测情况下，该方法也能很好地处理对象之间的同步【1 1 。 然而，该方法无法达到绝对同步，因此需要不一致性的检查机制通过多 1 4 北京邮电大学硕士研究生学位论文 次实验检测媒体对象之间的不协调具体情况，从而增加操作的复杂性；此外，基 于参考点的同步不允许多媒体表现中的延迟说明：再者，一旦需要修改同步的音 频或者视频时，媒体之间的同步参考点就需要重新建立。 4 、间隔同步方法 在基于间隔的同步方法中，每个对象展现的持续时问称为间隔。 两个间隔之间有1 3 种时域关系，其中6 种关系可由其它关系的逆来表示【6 1 ， 例如a f t e r 可看成b e f o r e 的逆，表示为b e f o r e ，而e q u a l s 的逆与e q u a l s 是等价 的；精简后得出7 种不可逆的同步类型，即b e f o r e 、m e e t s 、o v e r l a p s 、d u r i n g 、 s t a r t s 、f i m s h e s _ 1 和e q u a l s 【6 l ，可使用这7 种类型来简单说明两个媒体对象之间的 同步关系。 基于上述只有7 种间隔关系的基本模型，增强的基于间隔的同步方法定义了 数量多达数十种的间隔关系，这是因为基本间隔关系的不连接性是与多媒体展现 相关的。 该同步方法允许对与时间相关的媒体对象和与时间无关的媒体对象的持续 时间进行说明，但不包括偏差的说明等。 该方法的优点是很容易处理开放的逻辑数据单元和用户交互。通过定义持续 和延迟的间隔，也可以说明非确定性的时间关系：它还是一个很灵活的模型，允 许在运行时对表现作很多动态调整。 5 、基于p e t r i 网的同步方法 p e t r i 网是描述并发控制的有力工具，许多学者利用这一工具建立媒体对象间 的同步模型。这种同步方法易于集成时间独立媒体对象和交互式对象，易于集成 对偏移q o s 的描述，但该方法对媒体对象内容的抽象不好，媒体对象被分成了 许多子对象，此外描述较为复杂【l l 【6 1 。 对比2 1 4 节中介绍的五种同步方法，本论文工作中的设计都是基于时间轴 的同步方法模型的。在时间轴模型中所有的单一媒体对象都被放到一个代表真实 的、全局的时间轴上，各个对象之间彼此独立，删除其中的任一对象都不会对其 他对象的同步产生影响，因而同步模型易于维护，也得到十分广泛的运用。 然而由于同步只能定义在固定的时间点上，因此当对象中包含有不能预测持 续时间的单元或者非确定性事件时，时间轴模型是无法解决这个问题的。 综合考虑时间轴模型的特点及其优缺点，在确立了基于时间轴同步模型后， 还需要结合相关的媒体问同步技术来实施具体的论文项目工程。 2 1 6 媒体间同步技术 到目前为止，对于媒体间的同步技术还未形成通用的模式，很多方法或技术 1 5 北京邮电大学硕士研究生学位论文 都是基于特定的应用而提出的【6 l 。常见的媒体间同步技术有同步信道技术、多路 复用同步技术、同步标记技术、时间戳技术、基于反馈的同步技术、基于r t p 协议的同步技术等【l j 。 l 、同步信道技术 同步信道技术采用一个额外的信道来专门传输同步信息数据。 该技术无需同步时钟，不改变媒体流本身的数据；与现有的协议体系具有良 好的兼容性，易于在现有的协议上实现，同时也适于多址环境：在只有一个信源 端的