（计算机应用技术专业论文）基于gossip协议的流媒体应用层组播系统.pdf

摘要 摘要 随着网络技术的发展，互联网已成为人们的工作和日常生活中重要的组成部 分。人们对网络的需求也不再只是简单的文字和图片，希望互联网能够实时地提 供多媒体服务。为了解决传统网络下载多媒体资讯时间过长的问题，流媒体技术 孕育而生，从而使实时观看和收听媒体数据成为可能。流媒体技术主要包括三方 面的内容：1 ) 媒体压缩，如m p e g 系列、h 2 6 x 系列等压缩标准；2 ) 多媒体实 时传输协议，如r t s p 、m m s 等多媒体实时传输协议。3 ) 媒体发布方式，如传统 的c s 方式，以及成本较高的c d n 方式。但是，基于传统的c s 模式的内容发布 方式，常常因为服务带宽受限等因素限制了服务器的用户数量；i p 组播也一直因 为一些实际的技术困难难以实用。 解决上述问题的方案之一是学术界重点研究的基于应用层的组播技术。这种 方法借鉴了p 2 p 技术中节点间共享数据的思想，通过在应用层建立并管理组播组， 依靠组成员问的消息传递来实现组播。因此该方法也是一种低成本的服务提供方 式。目前，应用层的组播协议大致可划分为两类：1 ) 基于树状拓扑协议及扩展的 模型( t r e e b a s e dp r o t o c o la n de x t e n s i o n s ) ，典型模型如n i c e ，z i g z a g ；2 ) 基于闲 聊协议的模型( g o s s i p b a s e dp r o t o c 0 1 ) ，典型模型如d o n e t 。 本文提出了一种基于g o s s i p 协议的流媒体应用层组播系统设计方案v a l e p p 。 该方案通过g o s s i p 协议维护组播网络，通过一定的调度算法在节点之间交换数掘。 基于该组播系统，用户的数量将不会因为服务器能力不够而收到限制，反而会因 为数量的增多，提高播放的质量。文中详细介绍了该系统的总体设计，包括组问 关系管理、媒体数据存储、以及数据调度模块。并通过网络仿真工具n s 对该组播 模型进行相应的仿真实验，分析和讨论了相关的仿真实验结果，验证了系统的可 行性。 在此基础上，给出了系统的实现方案。该方案从流媒体服务器获取实时媒体 流。组播节点之间通过构建组播网络，分享媒体数据，使得获得视频服务的节点 数可突破媒体服务器的限制。 关键词：流媒体应用层组播p 2 pg o s s i p 协议网络仿真 a b s l r a c i a b s t r a c t w i t ht h ed e v e l o p m e n to fn e t w o r kt e c h n o l o g y , t h ei n t e r n e th a sb e c o m eav e r y i m p o r t a n tp a r to fp e o p l e s l i f e s t r e a m i n gm e d i at e c h n o l o g yi si n v e n t e dt oh e l pu st o w a t c hl i v em e d i a t h i s t e c h n o l o g ym a i n l y c o n t a i n st h r e e c o n t e n t ：1 ) m e d i a e n c o d e d e c o d es t a n d a r d s ，s u c ha sm p e gs e r i a l s ，h 2 6 x s e r i a se t c 2 ) m e d i at r a n s p o r t p r o t o c o l s ，s u c ha sr t s p , m m se t c 3 ) c o n t e n td e l i v e r ym e t h o d s ，s u c h a sc sm o d e l ，i h e h i g hc o s tc d nm o d e l ，i pm u l t i c a s te t c b u t ，t h et r a d i t i o n a lc sm o d e lu s u a l l yc o n f i n e s t h ea m o u n to fu s e r sd u et ot h el i m i t e db a n d w i d t hr e s o u r c e t h ei pm u l t i c a s tt e c h n o l o g y i sa l s oh a r d l yt ob ed e p l o y e db e c a u s eo fs o m et e c h n i q u ep r o b l e m t os o l v et h o s ep r o b l e m s ，t h ea p p l i c a t i o nl a y e rm u l t i c a s t ( a l m ) t e c h n o l o g yh a s b e e np r o p o s e d t h i st e c h n o l o g yw h i c ha d o p t st h em e t h o do fd a t as h a r i n ga m o n gp e e r s i np 2 pn e t w o r k ，c o n s t r u c t saa p p l i c a t i o nl a y e rn e t w o r ka n dm a k e su s eo fd a t a t r a n s f e r r i n gb e t w e e n n o d e st oi m p l e m e n tt h em u l t i c a s tf u n c t i o n t h i st e c h n o l o g yi sa l s o al o wc o s tc o n t e n td e l i v e r ym e t h o d c u r r e n t l y , t h ea l m p r o t o c o l sm a i n l yc o n t a i nt w o t y p e s ：1 ) t r e e - b a s e dp r o t o c o l a n de x t e n s i o n s ，s u c ha sn i c e ，z i g z a ge t c ；2 ) g o s s i p - b a s e dp r o t o c o l ，s u c ha sd o n e t v a l e p p ，as t r e a m i n gm e d i am u l t i c a s ts y s t e mb a s e d o nag o s s i po v e r l a yn e t w o r ki s p r o p o s e di n t h i s d i s s e r t a t i o n t h i ss y s t e mm a i n t a i n st h ea l mn e t w o r kb yg o s s i p p r o t o c 0 1 t h en o d e sf e t c hd a t at h r o u g hc e r t a i ns c h e d u l i n gm e t h o d i nt h i ss y s t e m ，t h e m o r eu s e r sp a r t i c i p a t e ，t h eb e t t e rm e d i ap l a y i n gq u a l i t ya r ea c h i e v e d t h es y s t e m a r c h i t e c t u r e ，a l mg r o u pm a n a g e m e n t ，m e d i ab u f f e ra n dd a t as c h e d u l e rm o d u l e sw i l lb e e x p l i c i t l yp r e s e n t e di nt h i sp a p e nt h e nt h es i m u l a t i o nr e s u l tb a s e d o nn s 2w i l lb eg i v e n a n dd i s c u s s e dt op r o v et h ef e a s i b i l i t yo ft h i ss y s t e m f i n a l l y , t h ec u r r e n ti m p l e m e n t o fv a l e p pw i l lb eg i v e n ，w h i c hc a nf e t c hl i v em e d i a d a t af r o mc o m m o nm e d i as e r v e r , t h eu s e r sc a nj o i nt h ea l ma n ds h a r ed a t aw i t ht h e i r p a r t n e r s t h ea m o u n to ft h eu s e r sc a nb r e a k t h r o u g ht h el i m i to ft h em e d i a s e r v e n k e yw o r d s ：s t r e a m i n gm e d i a ，a p p l i c a t i o nl a y e rm u l t i c a s t ，p 2 p , g o s s i p b a s e d p r o t o c o l ，n e t w o r ks i m u l a t i o n i l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：叠堑日期：衫年歹月加 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：邀垫导师签名：曼麴 b 期：。5 年6 只6 b 第一章绪论 1 1 引言 第一章绪论 随着宽带互联网时代的来临，基于多媒体数据的服务将会得到更为广泛的应 用，比如网络电视，视频电话等。支持多媒体数据传输的流媒体技术主要包括三 方面的内容：1 ) 媒体压缩，如m p e g 系列、h 2 6 x 系列等压缩标准；2 ) 多媒体 实时传输协议，如r t s p 、m m s 等多媒体实时传输协议。3 ) 媒体发布方式，如传 统的c s 方式，以及成本较高的c d n 1 l 方式。但是，基于c s 模式的传统服务方 式，常常因为服务带宽受限等因素限制了服务器的用户数量。i p 组播也一直因为 一些实际的技术困难和政策因素难以实用。因此，基于应用层的组播【2 】成为学术界 研究的热点。这种方法通过在应用层建立并管理组播组，依靠组成员问的数据共 享来实现组播，因此该方法也是一种低成本的服务提供方式。 目前，应用层的组播协议大致可划分为两类：基于树状拓扑协议及扩展的模 型( t r e e b a s e dp r o t o c o l a n de x t e n s i o n s ) 和基于闲聊协议的模型的( g o s s i p b a s e d p r o t o c 0 1 ) 。基于树结构的组播协议，将整个组播组组合成一颗树，由上至下广播数 据。这种结构效率较高，但是容错性较低，一旦某个节点失效，会带来较大的恢 复丌销，因此不适合动态网络管理，而且规模受限。比较典型的系统有n i c e 3 】等。 基于闲聊结构的组播协议，将整个组播网络随机的组合成一张无序图，节点问随 机的转发消息，以使得消息能够覆盖整个网络，达到组播的效果。这种结构虽然 效率不是很高，有冗余，但是带来的好处是实现容易，不需要维护复杂的树结构， 而且容错性好，随机失效，随机恢复。比较典型的系统有d o n e t l 4 1 。 针对流媒体应用，可以把组播组内的数据传输分为两类，一类是媒体数据， 一类是用于组管理的消息。节点通过发送组管理的消息来通知组中的其它成员， 并和其中的一些成员建立伙伴( p a r t n e r ) 关系，然后只需从自己的伙伴中获得必要 的媒体数据。这实际上形成了一个节点问有序的拉数据的过程，去除了冗余，称 为拉模型( p u l lm o d a l ) 。因此，可以用基于闲聊模型的协议来实现流媒体的组播， 虽然组管理的消息会有一些冗余，但相对大量的媒体数据而言，它实在是微不足 道。 鉴于以上考虑，本文提出了一个基于闲聊模型的组播系统v a l e p p ，该系统不 电子科技大学硕士学位论文 仅实现容易，而且具备较高的效率，很好的灵活性和可靠性。 1 2 流媒体技术框架 1 2 1 流媒体压缩编码 原始的视频数据存在着很大的冗余，包括时间冗余，空间冗余和主观视觉冗 余。为了更有效的存储和传输，需要对原始数据进行压缩。压缩技术可以分为两 种：基本编码技术和可扩展( s c a l a b l e ) 【5 】编码技术。 1 基本编码技术 目前比较流行的有m p e g 系列及h 2 6 x 系列标准，大都采用基于分块的运动 补偿及离散余弦变换( d c t ) 的压缩算法，产生单一的压缩流。这种传统的编码 方式是面向存储的。由于网络的异构性及缺乏q o s 保证，网络带宽会在一个很大 的范围内发生变化，面向网络传输编码的目标就是将视频压缩成适合一个码率范 围变化的码流。比较理想的情况是，视频的质量可以随着码率的增加而增加。 2 可扩展性编码技术 可扩展性编码比较典型的有以下几种： 1 ) 分层可扩展性编码：这种压缩算法基于小波变换，将原始的视频流压缩成 多个视频流，一个基本流和多个增强流，基本流可阻被单独解码，提供最基本的 视频质量，增强层解码后叠加在基本流上可以提供更好的视频质量。用户可以根 据目前的带宽情况获取相应码率的视频流，以保证播放质量。 但是分层可扩展性编码的各个压缩层的码率在编码完成时就固定了，用户通 过接收多个组播组中的压缩视频数据只能获得有限的码率调整范围。 2 ) 精细的可扩展性编码f g s 。l 7 1 ( f i n eg r a n u l a rs c a l a b l ec o d i n g ) 的基本层编码与 普通的编码非扩展性编码一样，但在处理增强层时采用位平面( b i t p l a n e ) 编码技 术，使得每一帧的增强层码流可以在任何地点截断，解码器重建的视频质量与收 到的解码的比特数成正比，从而提供了精细的可扩展性。f g s 已被m p e g 4 8 】采纳。 3 ) 多重描述编码1 9 n ”j ：这种编码方式的基本思想就是把一个码流编码成m 个 流，称为描述，并且不同额描述之间应该存在着相关性，其中任何一个描述都可 以被用户接收并且可以在一定的失真的情况下单独的解码。不同的描述也可以叠 第一苹绪论 加层失真更低的流。所以用户接收到的描述越多，重构的视频质量越好。m d c 编 码与分层可扩展性编码的最大区别在于m d c 的每个描述都可以单独解码，而分层 编码中只有基本层可以被独立解码，增强层需要依赖于基本层。 基本的视频编码不适合网络传输，根本原因在于它们的目标是将视频压缩成 一个或几个固定比率的码流，是面向存储的。由于网络的异构性及缺乏q o s 保证， 网络带宽会在一个很大的范围内发生变化，面向网络传输编码的目标就是将视频 压缩成适合一个码率范围变化的码流。可扩展性编码正是为了解决这一问题，这 种编码方式可以针对不同的带宽提供不同质量的视频：也能提高系统的稳定性， 使之能快速适应网络的变化，为用户提供更好的用户体验。 1 2 2 流媒体传输协议 根据功能，传输协议可以分为三类：1 ) 网络层协议( i p ) ，提供最基本的网络 服务。2 ) 传输层协议，提供端到端的传输服务，包括t c p 或u d p ，和r t p r t c p 1 1 】， t c p 、u d p 更加底层一些。其中r t p r t c p 实现在t c p 与u d p 之上，有时候也被 划为应用层协议。3 ) 应用层协议，定义多媒体会话过程中的消息控制及处理， 包括r t s p l l2 1 、s d p 1 3 等。 下面简要介绍传输层协议及应用层协议。 1 t c p u d p 这是最基本的传输协议，提供m u l t i p l e x i n g 、错误控制、捌塞控制、流量控制 等功能。首先，t c p u d p 都可以m u l t i p l e x 不同应用程序的的数据到同一个机器的 同一个i p 地址。其次，t c p u d p 都提供错误控制，t c p 和绝大多数的u d p 实现 都采用检验和检验包的正确性，如果检验和不正确，t c p u d p 都将丢弃这个包， 上层的应用( 比如r t p ) 将不会接收到有误码的数据包。与u d p 不同的是，t c p 会重传丢失的数据包和错误的数据包，所以t c p 提供可靠的数据传输，而u d p 不 保证任何可靠传输。第三，t c p 中有拥塞控制机制来避免网络拥塞，u d p 没有。 最后，t c p 拥有流量控制机制来避免接收端的缓存o v e r t l o w ，u d p 没有流量控制。 由于t c p 提供可靠的数据传输，机制比u d p 复杂的多，所以t c p 的时延也 要比u d p 大的多，在对时间要求严格的流媒体系统中，t c p 不定适用。在流媒 体的传输中，更多的是使用u d p 协议，然而，u d p 本身不保证包的可靠传输，包 德丢失监测需要依赖于上层协议，比如r t p r t c p 。 电子科技大学硕士学位论文 2 r i p | r i c p 这是端对端的协议，r t p 是一种提供端对端服务的实时传输协议，用于传输 实时数据，r t c p 用于监控r t p 会话中各个参与者的情况并提供反馈，提供q o s 控制。也就是说r t p 是数据传输协议，而r t c p 是控制协议。 i 盯p 本身并不提供任何q o s 或者可靠传输的保证，但是r 1 p 提供如下的特性： 1 ) 时间戳( t i m es t a m p ) ：r t p 提供时间戮用于同步不同的媒体流，注意r 1 r p 本身并不负责同步，同步的任何有上层的应用程序完成。 2 ) 序列号( s e q u e n c en u m b e r ) ： r t p 本身并不规定底层使用的传输协议，可 以使用t c p ，也可以使用u d p ，但处于传输效率考虑，大多数的实现都依赖于u d p ， 而u d p 并不保证包的有序性，r t p 提供序列号来保证包的有序性，同时，序列号 也被用于丢包的检测。 3 ) 数据包类型标识( p a y l o a dt y p ei d e n t i f i c a t i o n ) ：用于指定盯p 包的负载类型， 应用程序根据负载类型解释包的内容，负载内容的类型可以为m p e g l ， m p e g 2 ，h 2 6 3 等。 4 ) 数据源标识( s o u r c ei d e n t i f i c a t i o n ) ：在r t p 的头部有一个同步数据源的标 识s s r c ( s y n c h r o n i z a t i o ns o u r c ei d e n t i f i e r ) ，使数据的接收端可以判断数据的来源。 在r t p 会话中，各个参与者周期性向其它所有参与者发送r t c p 控制信息包， r t c p 用来监视数据传输质量和传送与会成员的信息，r t c p 包含以下服务。 1 ) q o s 反馈：这是r t c p 最主要的功能。r t c p 向应用程序提供数据传送的 质量的反馈，反馈形式包括发送者报告( s e n d e rr e p o r t s ) ( 由数据源发送) 和接收者报 告( r e c e i v e rr e p o r t s ) ( 由接收者发送) 。报告可以包含如下信息：a ) 自上一个报告起， r t p 包的丢失率；b ) 自开始接收数据起，累计丢失的r t p 包的数量；c ) 包接收 的抖动( j i t t e r ) 情况；d ) 自上一个发送者报告后，接收端的接收延迟。这些信息对 发送端、接收端以及第三方监视都是有用的。根据这些反馈信息，发送端可以调 整发送的比特率；接收端可以判断捌塞是本地的、局部的或者是全局的；第三方的 网络管理软件可以评估r t p 组播的性能等。 2 ) 参与者标识( p a r t i c i p a n t i d e n t i f i c a t i o n ) ：虽然接收端可以通过r t p 中的s s r c 判断数据的来源，然而s s r c 是i m 随机分配的一个号码，对于人眼来说，并不 容易识别。r t c p 提供了更易于人识别的标识r t c ps d e s ( s o u r c ed e s c r i p t i o n ) ，内 涵标志名、用户名、电话号码、e m a i l 等信息，这些附加信息可以用于用户管理。 3 ) 控制包的扩展。陡( c o n t r o lp a c k e ts c a l i n g ) ：由于过多的r t c p 控制包会占用 4 第一覃绪论 太多的带宽，处于传输效率的考虑，r t c p 控制包占用整个会话带宽的比率控制在 5 以内，控制包的带宽中，2 5 用于发送者报告，剩下的7 5 用于接收者报告口 为了防止控制包饿死，接收端或者发送端在s 秒钟之内至少要发送一个控制包。 4 ) 媒体同步( i n t e r - m e d i as y n c h r o n i z a t i o n ) ：r t c p 发送报告内的时间戳可以用 来同步不同的媒体流。 5 ) 最小会话控制信息( m i n i m a ls e s s i o nc o n t r o li n f o r m a t i o n ) 。 3 r t s p 实时流放协议r t s p f r e a l t i m es t r e a m i n g p r o t o c 0 1 ) 是一个应用层协议，它的主 要功能是想要支持v c r 1 i k e 的操作，比如s t o pp a u s e r e s u m e ，快进和快退等。除 此之外，r t s p 想要提供一种选择传送通道的方法，例如u d p ，t c p ，以及基于 r t p 的传送方法。 r t s p 的另一个重要功能是在服务器和客户端之间建立和控制流媒体的传输， 主要提供以下操作： 1 ) 媒体获取( m e d i ar e t r i e v a l ) ：客户端发送数据请求，让服务器建立一个会话 并发送相应的数据给客户端。 2 ) 把媒体加入到某个已经存在的会话：客户端和服务器都可以通知对方把额 外的数据加入到存在的会话。 4 s d p 在进行实时播放时，须有一种统一的格式束对会话进行描述，为此i e t f 组织 规定了的s d p 协议。通过该协议流媒体服务器将产生一个s d p 报文，这个报文用 于描述服务器端媒体文件的编码信息以及所在的服务器的链接等信息，客户端通 过该报文来配置播放软件的相关参数内容，比方说客户端的音视频解码器，接收 音频视频数据的端口等。 s d p 协议的一个重要功能就是用于描述多媒体会议，以便实现会议宣布、会 议邀请和其它形式多媒体会议的激活。研发s d p 协议就是为了传达有关多媒体会 议中媒体流的信息以使某个会议描述的接收方能够参加该会议，但是s d p 协议不 用于媒体编码方式的协商。虽然s d p 协议十分通用，可以描述其它网络环境中的 会议，但它目前主要用于i n t e r n e t 中。在i n t e r n e t 环境下，多媒体会议被定义为一 组存在于一段时间内的媒体流，这些媒体流可以是多对多的媒体流，但会议活动 的时间不需要连续。i n t e r n e t 中基于组播的会议与许多其它会议形式的不同之处在 电子科技火学硕士学位论文 于：除非该会议的数据信息是加密的，用户只需知道该会议的组播地址和用于该 会议数据流的u d p 端口，就能够接收该会议的媒体数据信息并加入该会议。 s d p 协议能够传达的信息包括：会议名称和目的，该会议活动的时间，组成 浚会议的媒体种类，接收这些媒体的控制信息。s d p 纯粹是一种会话描述的格式 ( 它不包括传输协议) ，它可以使用不同的传输协议，如包括会话宣布协议s a p 、 会话激活协议s i p 、实时流协议r t s p 、使用m i m e 扩展的电子邮件信息s m t p 和 超文本传输协议h 1 t r p 。在实时播放系统中，本文使用r t s p 协议传送s d p 报文。 1 2 3 基于c s 模式的内容发布方式 对面向i n t e r n e t 流媒体技术，最简单的解决办法是为每个申请者建立一条发送 视频流的链接，如图1 - 1 所示，这就是传统的c l i e n t s e r v e r 架构。在这样的服务模 型中，服务器必须通过网络给每个用户发送多份相同的数据。在类似于流媒体的 应用中，因为数据量的庞大，随着客户端数目的增加，很容易造成s e r v e r 端的网 络拥塞。 图1 - 1c sl 山容发布方式 1 2 4 基于c d n 的内容发布方式 c d n 的英文全称是c o n t e n td e l i v e r yn e t w o r k ，即内容发布网络，它是一个建 立并覆盖在互联网( i n t e 订1 e t ) 之上、由分布在不同区域的节点服务器群组成的虚拟网 络，如图1 2 所示。c d n 可以实现把服务器的内容高效、稳定地发布到离客户端 最近的地方。其基本思路就是尽可能避开互联网上有可能影响数据传输速度和稳 定性的瓶颈和环节，使内容传输的更快、更稳。通过在网络各处放置节点服务器 所构成的在现有的互联网基础之上的一层智能虚拟网络，c d n 系统能够实时地根 第一章绪论 据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息 将用户的请求重新导向离用户最近的服务节点上。对用户来说，通过c d n 系统， 得到响应的时问被大大缩短，连接质量也大大提高，从而大大提高了上网访问的 总体性能。 图1 - 2 c d n 内容发布网络 目前的c d n 服务主要应用于证券、金融保险、 s p 、i c p 、网上交易、门户网 站、大中型公司、网络教学等领域。另外在行业专网、互联网中都可以用到，甚 至可以对局域网进行网络优化。利用c d n ，这些网站无需投资昂贵的各类服务器、 设立分站点，特别是流媒体信息的广泛应用、远程教学课件等消耗带宽资源多的 媒体信息，应用c d n 网络，把内容复制到网络的最边缘，使内容请求点和交付点 之间的距离缩至最小，从而促进w e b 站点性能的提高，具有重要的意义。 尽管c d n 拥有如此多的优点，但c d n 高昂的部署成本始终是一个问题。 1 3 流媒体应用层组播技术 1 3 1ip 组播技术及其问题 目前基于t c p i p 的i n t e r n c t 网络主要有三种传输模式：单播、广播和组播。 单播技术是一种单点到单点的数据传输模式，这种模式也是最常见的i n t c r n e t 电r 科技大学碗士掌位论文 通信方式，h t t p 和f r p 等应用都采用这种单播模式。这种模式的缺点是如果多 个用户同时请求同一份数掘，服务器必须通过网络给每个用户发送多份相同的数 掘，因为多媒体的数据量大，随着客户端数目的增加，很容易造成s e r v e r ：端的网 络拥塞。 广播技术是一点到所有主机的数掘传输模式，服务器发送一份数据，发送到 连接在网路上的所有主机。采用这种模式，服务器只需要发送一次数据，效率很 高，但是由于发送模式的盲目性，数据会扩散到所有的网段而不关心网段中的主 机是否需要接收。如果多媒体通信采用广播发送方式，则大量的数据将造成“广 播风暴”，使网路通信处于瘫痪。 组播技术融合了以上两种传输模式的特点，- 可以将一份数据同时发送给一组 特定的用户，避免了数据的冗余又不会盲目的造成的网络带宽的浪费，目前很多 的流媒体应用都采用这种传输模式。组播技术创始人s t e v ee d e e r i n g 定义组播为： “爿奇i p 数据包发送到共享相同i p 地址的一个主机组中，该主机组的成员数目可以 为零个或多个。组播数据包的传输可靠性和1 p 单播相同。主机组的成员是动态的， 任何主机可以在任何时刻加入或退出某个主机组，主机组对其成员没有位置和数 量的限制，且一台主机可以同时是多个主机组的成员。”在这种模型中，数据被有 效的发送给对数据感兴趣的接收者，在大规模的应用中，组播技术能够有效的节 省网络带宽，然而i p 组播技术有着其自身的问题。虽然研究人员对i p 组播技术做 了很多研究，并基于组播技术实现了一些应用，如视频会议。然而在实际的部署 中，i p 组播技术仍然存在一些很重要的关键问题。主要包括：网络协议的复杂性、 网络和终端系统的异构性、组播的可靠性。 l p 组播存在的问题1 2 11 1 4 】【1 5 】【1 6 】： 1 1 路由器必须为每个组播组单独保存状态，这造成i p 组播的扩展性很差。 2 ) 要求所有参加组播的端系统之间的路由器都必须支持组播功能，这给i p 组 播的推广使用带来很大的困难。 3 ) 试图用一种统一的组播模型来适应所有的应用，而现实中不同的应用对组 播的要求差别很大，这给组播算法的设计造成很大的困难。 4 1 组播组的管理方法存在缺陷，在组播组的加入、退出和管理等方面开销大， 组播组的加入和退出的延迟也很大。当存在大量规模很小的组播组，或者组播成 员在空间上的分布很稀疏时，组播组管理上的开销将超过组播在带宽方面上的优 势。 5 ) i p 组播( 这里主要针对i p v 4 ) 的地址空间太小，在组播地址的分配上存在 第一章绪论 困难。 6 1 在经济方面，组播打破了传统的根据通过进入流量计费的机制。 除了以上这些问题以外，i p 组播在安全、拥塞控制等方面也存在很多问题。 1 3 2p 2 p 网络 最近几年，对等计算( p e e r - t o p e e r ，简称p 2 p ) 迅速成为计算机界关注的热门 话题之，财富杂志更将p 2 p 列为影响i n t e r n e t 未来的四项科技之一。 p 2 p 是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源( 处 理能力、存储能力、网络连接能力、打印机等) ，这些共享资源需要由网络提供服 务和内容，能被其它对等节点( p e e r ) 直接访问而无需经过中问实体。在此网络中的 参与者既是资源( 服务和内容) 提供者( s e r v e r ) ，又是资源( 服务和内容) 获取 者( c l i e n t ) 。 p 2 p 打破了传统的c l i e n t s e r v e r ( c s ) 模式，在网络中的每个结点的地位都是对 等的。每个结点既充当服务器，为其他结点提供服务，i 司时也享用其他结点提供 的服务。p 2 p 与c 幅模式的对比如下图( 图暂略) 所示： p 2 p 技术的特点体现在以下几个方面。 非中心化( d e c e n t r a l i z a t i o n ) ：网络中的资源和服务分散在所有结点上，信息 的传输和服务的实现都直接在结点之间进行，可以无需中间环节和服务器的介入， 避免了可能的瓶颈。p 2 p 的非中心化基本特点，带来了其在可扩展性、健壮性等方 面的优势。 可扩展性：在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统 整体的资源和服务能力也在同步地扩充，始终能较容易地满足用户的需要。整个 体系是全分柿的，不存在瓶颈。理论上其可扩展性几乎可以认为是无限的。 健壮性：p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在各个结 点之间进行的，部分结点或网络遭到破坏对其它部分的影响很小。p 2 p 网络一般在 部分结点失效时能够自动调整整体拓扑，保持其它结点的连通性。p 2 p 网络通常都 是以自组织的方式建立起来的，并允许结点自由地加入和离丌。p 2 p 网络还能够根 据网络带宽、结点数、负载等变化不断地做自适应式的调整。 高性价比：性能优势是p 2 p 被广泛关注的个重要原因。随着硬件技术的发 展，个人计算机的计算和存储能力以及网络带宽等性能依照摩尔定理高速增长。 采用p 2 p 架构可以有效地利用互联网中散布的大量普通结点，将计算任务或存储 电子科技大学硕士学位论文 资料分布到所有结点上。利用其中闲置的计算能力或存储空间，达到高性能计算 和海量存储的目的。通过利用网络中的大量空闲资源，可以用更低的成本提供更 高的计算和存储能力。 隐私保护：在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经 过某个集中环节，用户的隐私信息被窃听和泄漏的可能性大大缩小。此外，目前 解决i n t e m e t 隐私问题主要采用中继转发的技术方法，从而将通信的参与者隐减在 众多的网络实体之中。在传统的一些匿名通信系统中，实现这一机制依赖于某些 中继服务器节点。而在p 2 p 中，所有参与者都可以提供中继转发的功能，因而大 大提高了匿名通讯的灵活性和可靠性，能够为用户提供更好的隐私保护。 负载均衡：p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少了对 传统c s 结构服务器计算能力、存储能力的要求，同时因为资源分布在多个节点， 更好的实现了整个网络的负载均衡。 与传统的分布式系统相比，p 2 p 技术具有无可比拟的优势。同时，p 2 p 技术具 有广阔的应用前景。i n t e i n t 上各种p 2 p 应用软件层出不穷，用户数量急剧增加。 2 0 0 4 年3 月来自h t t p ：w w w s l y c k c o m 网站的数据显示，大量p 2 p 软件的用户使用 数量分布从几十万、几百万到上千万并且急剧增加，并给i n t e r n e t 带宽带来巨大冲 击。p 2 p 计算技术正不断应用到军事领域，商业领域，政府信息，通讯等领域。 根据具体应用不同，可以把p 2 p 分为以下这些类型： 1 ) 提供文件和其它内容共享的p 2 p 网络，例如n a p s t e r 、g n u t e l l a 、e d o n k e y 、 e m u l e 、b i t t o r r e n t 等： 2 ) 挖掘p 2 p 对等计算能力和存储共享能力，例如a v a k i 、p o p u l a rp o w e r 、 h t t p ：s e t i a t h o m e s s l b e r k e l e y e d u 等： 3 ) 基于p 2 p 方式的协同处理与服务共享平台，例如j x t a 、m a g i 、g r o o v e 、n e t m ys e r v i c e 等； 4 ) 即时通讯交流，包括i c q 、o i c q 、y a h o om e s s e n g e r 等： 5 ) 安全的p 2 p 通讯与信息共享，例如s k y p e 、c r o w d s 、o n i o nr o u t i n g 等。 1 3 3 应用层组播技术 基于单播的c s 架构的模型并不适合流媒体大规模数据的分发，而l p 组播技 术也存在一些技术问题难以实用。因此，在借鉴p 2 p 技术的思想的基础上，应用 层组播技术被提了出来，即把组播的功能从网络层移到应用层，把p 2 p 技术应用 1 0 第一章绪论 到流媒体发布技术中，每个流媒体用户电是一个组播组中的一个节点。在应用层 组播网络中，节点间关系对等，以p 2 p 的方式共享内容，这是他与p 2 p 网络的相 似之处。正是因为这样的网络结构，使得应用层组播本身具有p 2 p 网络相同的可 扩展性，高性能价格比，负载均衡等特点。 1 应用层组播的效率 相比i p 组播，应用层组播的数据传输效率有一定的损失。下面将单播，i p 组 播及应用层组播做比较如图1 0 所示： 麟烈隧赋 恸删 ( c j 脚 图1 _ 3 单播、】p 组播和应用层组播的传输效率 图a 描述了一个模拟的i p 网络拓扑，r 1 和r 2 是路由器，a b c d 是4 个端系 统，图中的数字标注表示的是节点间链路延时。 采用【2 】定义的压力( s t r e s s ) 和伸展率( s t r e t c h ) 两个指标来评价应用层组播的数据 传输效率。 1 ) 压力( s t r e s s ) ：网络拓扑上的每条链路传送同一数据包的数量。 2 ) 伸展率( s t r e t c h ) ：在应用层组播中从源端到成员的路径氏度与直接单播路径 长度之比。 对于i p 组播( 图c ) ，由于没有冗余数据包复制，因此网络中的每条键路的压 力为1 。而对于单播( 图b ) ，链路上的冗余是非常大的，尤其是链路a r 1 的压力 为3 ，而且延时较大的链路r 1 r 2 的压力也不可避免地被加大。总的来说，在有n 个客户的单播传输系统中，靠近服务源的链路的压力为o 。在如图d 的组播中， 虽然整体上网络中重复数据包的个数和单播相同，但是因为数据包可以从其他节 点处获取，通过巧妙的架构应用层组播网络，减少数据包在不必要的链路上传输， 可以使网络中链路的整体压力较单播有很大提高，而且可以减少传输效率不高的 链路的压力。 在图d 所示的应用层组播中，整体来说节点的伸展率接近于1 ，没有太大的恶 电子科技大学硕二b 学位论文 化。实际上，通过优化措施，应用层组播在性能上是有希望做到与i p 组播相差不 多的。 2 应用层组播的优点和缺点 相比i p 组播，应用层组播的优势在于在应用层实现组播更加灵活： 1 ) 因为不再依靠网络层路由器来实现，因此不需要任何网络底层架构的改 变，只需改变端系统，便于实现和推广： 2 ) 因为是应用层的服务，这也便于针对特定应用进行相应优化； 3 ) 应用层丰富的资源比如存储能力也能够为组播提供更为有力的支持； 当然，应用层组播也有许多缺点： 1 ) 一般比i p 组播使用更多网络资源； 2 ) 端系统可能不稳定，导致组播的可靠性受影响； 3 ) 端系统性能无法保证，可能导致延迟、转发速率等性能的下降。 3 应用层组播的应用 应用层组播技术缺点是由其网络结构本身决定的，因此应用层组播在提出的 时候就考虑了如下一些假设，这些假设同时也决定了他的应用范围： 1 ) 网络的总体带宽和转发资源相对丰富，服务器端带宽和能力是主要瓶颈。 2 ) 组播组成员可贡献资源用于转发。 3 ) 应用对性能要求并不苛刻，可容忍报文丢失和较大延迟。 从以上的分析我们可以看出，应用层组播在大规模的数据组播领域中有较大 的应用前景，而流媒体应用层组播正是其中一个典型的应用。通过用户之间采用 p 2 p 的方式共享数据，可以大大缓解服务器及服务器端带宽的压力并同时提高用户 的视频质量。而且应用层组播技术的可扩展性也使得整个组播网络能够自适应于 网络的大小变化，这保证了在发生一些热门事件时，即使大量的用户同时访问流 媒体服务器，也不会造成服务器因负载过重而瘫痪。 1 4 论文章节安排 本文首先介绍了流媒体技术的基本框架，分析了传统的c s 内容发布方式的 不足，介绍了流媒体应用层组播技术的研究背景及其技术特点。 文章后面的章节安排如下： 笫一章绪论 第二章详细介绍了目前应用层组播技术的一些典型的模型，包括p e e r c a s t 、 n i c e 、z i g z a g 、d o n e t 等模型。 第三章提出了基于g o s s i p 协议的应用层组播模型：v a l e p p ，并对该模型的组 间关系管理，数据缓存，数据调度等模块做了相应的介绍。 第四章介绍了n s 2 网络仿真实验环境，给出了v a l e p p 应用层组播模型在此网 络仿真平台上的仿真程序设计，最后的实验结果及其分析讨论。 第五章介绍了v a l e p p 应用层组播模型的实现方案，包括了系统的总体部署， 软件的体系结构，运行机制，以及各个功能模块的介绍。 第六章总结了全文的工作，并指出了下一步的工作。 电予科技大学硕：_ 上学位论文 2 1 概述 第二章流媒体应用层组播典型模型分析 目前应用层组播模型主要可以分为两大类：基于树状拓扑协议及扩展的模型 和基于g o s s i p 协议的模型。 在基于树状拓扑协议及扩展的模型中，首先要解决的问题的组播树的构建， 最简单的模型是p e e r c a s t ”1 模型。在p e e r c a s t 中，节点被组织成一个树状结构， 树的父节点给予节点提供服务。在p e e r c a s t 中，节点的加入和离开策略都很简单， 但也容易导致树的不平衡。在组播树中，如果节点离根节点越远，则数据的时延 就越大，因此，树的深度应该尽可能短。但是每个节点的有限输出带宽限制了节 点的宽度。理想的组播树是在深度和宽度之间能够有效的平衡，事实上，当所有 节点的深度都为1 的