（计算机科学与技术专业论文）网络视频实时监控系统的设计与实现.pdf

一、 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：途照 日期：翌fq ：3 ：翌 关于论文使用授权的说明 本人完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在 校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校 可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段 保存、汇编学位论文。 本人签名： 导师签名： 漆蕊 日期： 尘【q ：三：坦 日期：型里二! ：显 ，簟a 一 网络视频实时监控系统的设计与实现 摘要 随着计算机、网络、通信等多种技术的迅速发展，网络视频监控 系统得到越来越广泛的应用，目前已渗透到教育、政府、娱乐场所、 医院、酒店、运动场馆、城市治安等多种领域。但现有的网络视频监 控系统存在对实时数据上传的管理不够精确与智能，对摄像头的自动 化管理具有对设备的局限性，位于私有网络摄像头需要依靠出口路由 器的配置才能在系统中使用等缺点。为满足日益广泛的用户需求，有 必要开发一种新的网络实时监控系统。 本文分析了网络视频监控系统的发展历程与现状，介绍了网络视 频监控系统所使用的主要技术流媒体技术与相关协议，提出了一种 基于代理的网络视频实时监控系统结构，并着重介绍了该系统中目录 服务器，代理服务器的设计与实现。 本文的主要成果如下： i 解决了服务器对位于私有网络中摄像头的管理问题，使得服务 器可穿越私有网络边界对其中的摄像头进行管理，无需再依赖出口路 由器的配置。 2 解决了对摄像头上传数据的自动化管理与配置问题，使得摄像 头可根据用户观看情况自动开始或停止上传数据，并可根据配置文件 更改上传内容与传输模式。 3 解决了对系统中不同摄像头的适配与信息的自动管理问题，使 得系统可兼容不同设备，并为所有摄像头提供一种自动注册机制。 关键词：实时监控视频监控流媒体摄像头管理 一 口， 肛 i “ ， d e s i g na n di 田l e n 匝n t a t i o no fan e t w r o r k v d e or e a l t 】 匝m o n i t o r i n gs y s t e m a b s t r a c t w i t ht h e d e v e l o p m e n to fc o m p u t e r , n e t w o r k , c o m m u n i c a t i o na n d o t h e r t e c h n i q u e s ，n e t w o r kv i d e om o n i t o r i n gs y s t e m i s w i d e l yu s e di ne d u c a t i o n , g o v e r n m e n t ，a m m e m e n tp l a c e ，h o s p i t a l ，1 1 0 t e l ，g y m n a s i u m ，a n dp u b l i cs e c u r i t y b u t t h ee x i s t e dn e t w o r kv i d e om o n i t o r i n gs y s t e mh a ss o m ed i s a d v a n t a g e ss u c ha st h e m a n a g e m e n to fc a l _ i l _ e r a s u p l o a dd a t ai sn o ta c c u r a t ea n di n t e l l i g e n te n o u g h ，t h ea u t o m a n a g e m e n to fc a m e r a si sl i m i t e db ye q u i p m e n t ，a n dt h eu s eo fc a m e r a si np r i v a t e n e t w o r k sd e p e n d so nt h ec o n f i g u r a t i o no ft h ee g r e s sr o u t e r t os a t i s f yt h el a r g e r e q u i r e m e n to fu s e r s ，i ti sn e c e s s a r yt od e v e l o pan e wn e t w o r kr e a l t i m em o n i t o r i n g s y s t e m i nt h i sa r t i c l e ，t h e d e v e l o p m e n t a n dp r e s e n ts i t u a t i o no fn e t w o r kv i d e o m o n i t o r i n gs y s t e ma r ca n a l y z e da sw e l la st h es t r e a m i n gm e d i at e c h n i q u ea n dt h e r e l e v a n tp r o t o c o l sa r ei n t r o d u c e d t h ea r t i c l ep r o p o s e san e wn e t w o r kv i d e or e a l - t i m e m o n i t o r i n gs y s t e mb a s e do np r o x yi sp r o p o s e d i ti n t r o d u c e dt h ed e s i g na n d i m p l e m e n t a t i o no fc a t a l o gs e r v e ra n dp r o x ys e r v e ri nd e t a i l s 劢ea c h i e v e m e n t so ft h i sa r t i c l ea l e ： 1 s o l v et h ep r o b l e mo fm a n a g i n gt h ec r l t l e r a si np r i v a t en e t w o r k n es e r v e rc a ng e t t h r o u g ht h en e t w o r kb o u n d a r yt oa c c e s st h ec a m e r a sw i t h o u td e p e n d i n go nt h ee g r e s s r o u t e rc o n f i g u r ea n y m o r e 2 s o l v et h ep r o b l e mo fa u t o m a t i cm a n a g e m e n ta n dc o n f i g u r a t i o no ft h eu p l o a dd a t a 1 1 1 eu p l o a dd a t ac a na u t o m a t i cs t a r to rt e r m i n a t ea c c o r d i n gt ot h ev i e ws i t u a t i o n a l s o ， t h eu p l o a dc o n t e n ta n dt r a n s m i s s i o np a t t e r nc a nb ec h a n g e db a s eo nt h ec o n f i g u r a t i o n f i l e s 3 s o l v et h ep r o b l e mo fa d a p t i o na n da u t o m a t i cm a n a g e m e n to fd i f f e r e n tc a m e r a s t h es y s t e mc a nb ec o m p a t i b l ew i t hk i n d so fc a l t l e r a s ，a n dp r o v i d e sa na u t o m a t i c r e g i s t e rm e c h a n i s mf o ra l lc a m e r a s k e yw o r d s ：r e a l t i m em o n i t o r , v i d e om o n i t o r , s t r e a m i n gm e d i a ，c a m e r am a n a g e m e n t 一 i l o 目录 第一章引言1 1 1 课题背景1 1 2 研究现状与课题意义2 1 3 课题目标3 1 4 作者工作与论文结构4 第二章网络实时监控系统相关技术6 2 1 流媒体技术6 2 2 相关协议7 2 2 1r t s p 协议7 2 2 2r t p r t c p 协议8 2 2 3s d p 协议9 2 3 达尔文流媒体服务器1 0 2 4 本章小结1 0 第三章网络实时监控系统总体设计1 1 3 1 系统结构1 l 3 2 系统节点1 3 3 3 流媒体服务器的设计1 4 3 3 1 达尔文服务器对功能要求的满足1 5 3 3 2 达尔文服务器对性能要求的满足1 6 3 4 节点间数据交互与系统基本运行流程1 7 3 5 本章小结2 0 第四章目录服务器的设计与实现2 1 4 1 目录服务器需求分析2 1 4 1 1 管理员需求说明2 1 4 1 2 用户需求说明2 2 4 2 目录服务器总体设计2 2 4 3 目录服务器模块详细设计2 4 4 3 1 用户管理模块设计2 4 4 3 2 摄像头管理模块设计2 5 4 3 3 告警管理模块设计2 8 4 3 4 摄像头观看模块设计3 0 4 3 5 代理接口子模块3 4 4 4 目录服务器实现3 8 4 4 1 数据访问层的实现3 8 4 4 2 业务逻辑层的实现3 9 4 4 3 接口层的实现4 0 4 5 本章小结4 2 第五章代理服务器的设计与实现4 3 5 1 代理服务器需求分析4 3 5 1 1 摄像头的主动注册功能4 3 5 1 2 摄像头中继管理功能4 4 5 1 3 摄像头上传配置功能4 4 5 1 4 摄像头告警处理与转发功能4 4 5 2 代理服务器设计说明4 4 5 2 1 配置模块4 5 5 2 2 消息代理模块4 6 5 2 3 中继代理模块4 9 5 3 代理服务器的实现与系统测试5 6 5 3 1 配置模块与消息代理模块的实现5 6 5 3 2 中继代理模块的实现5 8 5 3 3 系统测试结果5 9 5 4 本章小结6 0 第六章结束语6 l 6 1 论文工作总结6 l 6 2 问题与展望6 2 参考文献6 3 致谢6 5 攻读学位期间发表的学术论文6 6 产 户 t _ 北京邮电大学硕士学位论文 1 1 课题背景 第一章引言 网络实时监控系统是计算机、通信等多种技术相结合的产物，是基于i p 网络， 集成数据采集技术，视频音频编解码技术，流媒体技术、w e b 技术的一种崭新的 应用系统。系统利用网络将分散、独立的图像采集点进行联网，实现跨区域的统 一监控、统一管理、资源共享，为用户提供了一种全新的、直观的，扩大视觉和 听觉范围的管理工到。 当前，网络视频监控已渗透到教育、政府、娱乐场所、医院、酒店、运动场 馆、城市治安等多种领域【2 】。对于企业：银行系统可以通过网络视频监控对各营 业网点及a t m 机远程监控，以便及时发现异常情况并予以处理；无人值守机房可 利用该平台，监控设备的运行情况，电源的使用情况等：超市或商场使用该系统 对购物环境进行监控，可以及时应对突发事件，避免商家受到经济损失。对于个 人：屋主可通过安装在自己家中的摄像头监视房屋安全情况；家属可通过病房摄 像头探视病人；家长可通过部署在幼儿园，小学的摄像设备，随时观察到孩子的 生活，学习状况；司机可通过安装在街道，立交桥的监控设备观察到路况，决定 出行路线。总之，网络实时监控系统已经在我国的各个行业和领域得到了广泛的 应用。 网络视频监控的发展主要经历了两个阶段。第一阶段是半数字监控系统【3 1 ， 系统在远端有若干个摄像机以及各种检测、报警探头等设备，它们获取的图像信 息，通过各自的传输线路将图像的模拟信号汇接到多媒体控制主机上进行数字处 理，然后再通过通信网络，将这些信息传送到用户。当多个接收端同时接收同一 路图像时需要建立多个数据通道，进行多次数据复制，大量相同的数据包在网 络上传输，存在大量冗余信息。 第二阶段为全数字网络视频监控【引。基于w e b 服务器编解码器的网络化数 字远程视频监控系统。视频从前端图像采集设备输出时即为数字信号，并以网络 为传输媒介，基于国际通用的t c p i p 协议，采用流媒体技术实现视频在网上的 多路复用传输。如果同时有多个用户访问同一个视频源，在监控点无需为每个用 户建立单独的数据连接，直接从流媒体服务器转发。基于此种机制，在多用户并 发访问时，可始终保持摄像头和流媒体服务器间只有一个图像带宽，减少对监 控现场网络的冲击；同时，流媒体服务器处在高速网上，并且服务器的处理能力 远远高于摄像头，可实现最大限度完成高速视频流的转发，保证图像质量。 北京邮电大学硕士学位论文 1 2 研究现状与课题意义 现有实时网络监控系统一般由网络摄像头，流媒体服务器等节点通过网络互 联组成【4 1 ，如图1 一l 所示。网络摄像头将采集的数据经压缩编码后传输至服务器， 用户使用播放器向服务器请求媒体并进行观看。 图卜1 现有监控系统网络结构图 目前网络实时监控系统具有以下特点： 1 媒体数字化【5 】：视频与音频数据由以前的模拟状态转化为数字状态。高性 能编码技术( 如h 2 6 4 ，m p e g _ 4 ) 的出现更是大大提高了音视频数据传输的效率， 使得用户即使在带宽较低的情况下也能获得较好的图像质量。 2 监控网络化【5 】：通过网络连接，视频监控设备不用再集中一处，可以分布 在各个不同区域，组成监控系统的硬件和软件采用标准化、模块化和系列化的设 计，通过网络传输介质连接在一起，即可实现视频的网络化监控。网络化极大程度 地打破了视频监控的区域限制，设备扩展的数量界限。 3 对手机用户的支持：伴随3 g 技术的发展，3 g 网络突破了带宽限制的瓶颈【6 】， 使得手机监控成为现实。手机视频监控具备了良好的视频清晰度和实时性，其不 但具备了固定线路视频监控的图像功能，还满足了用户随时随地远程观看实时监 控视频的需求，实现了a n yt i m e 、a n yw h e r e 的视频监控。 现有的网络实时监控系统中，摄像机与流媒体服务器间中继的管理一般具有 种模式：第一种为不可控模式，摄像机一开机便会根据所配置的流媒体服务器地 址主动传输图像，用户仅能通过开关摄像机控制数据的传输，无法进行远程控制。 这样在摄像头长期无人观看的情况下会造成大量无用数据的传输。第二种模式为 2 一 h 0 户 北京邮电大学硕士学位论文 可控模式：用户可远程控制摄像头与流媒体服务器间的数据传输。该模式下用户 通过操作流媒体服务器与摄像头间的r t s p 会话实现数据传输的建立或拆除。但要 实现该模式则对摄像头的位置有特定要求：摄像头必须位于流媒体服务器所能访 问到的位置，一旦服务器无法访问到摄像头用户也就无法对其进行控制( 例如服 务器位于公网，而摄像头位于私有网络中) 。并且现有的可控模式无法选择摄像 头上传的媒体数据，若摄像头具有音频采集功能，则一般会将视频与音频数据一 同上传至服务器，但对大多数用户来说，仅需要监控视频的观看即可，这就造成 了网络带宽的浪费。 另外，在系统中若要实现摄像头的自动化管理，则必须采用带有主动报到功 能的摄像头。这种摄像头开机后能够周期性的向所配置的服务器地址发送报到信 息，服务期利用这种周期性的消息可实现摄像头的自动注册与状态维护。但对于 没有该功能的摄像头则需完全依靠管理人员手动管理设备信息：当系统中新添一 个设备，必须有人通知管理员在系统中添加该设备的信息，若设备信息发生改变 ( 如i p 地址的改变) ，也必须及时通知管理员进行修改。这种手动管理的方式有 诸多缺陷：消息通知不及时，人为输入的错误都将造成设备在系统中无法使用。 另外由于这种非主动设备无法发送周期性的消息，系统无法维护设备的正确状 态，若发生摄像头关机，或网络连接中断，系统都无法得知。 基于上述问题，开发一个新的网络实时监控系统具有以下意义： 1 系统的应用范围更加广泛：无论摄像头位于何处，只要能与i n t e m e t 连接， 系统就能对其进行管理操作，同时对移动场景下监控视频的上传的支持可使系统 用于车载等模式。 2 更加智能化的设备管理：设备自动注册与更新，使得管理员不必再忙于修 改系统数据，并避免了人为输入错误的可能。并且这种智能化的管理对所有摄像 头都可提供，不再局限于主动式摄像头。 3 最大限度降低网络流量：摄像头的数据传输仅在有用户观看时进行，并且 管理员可根据需要决定摄像头上传的数据是否包括音频，这些机制尽可能的避免 了无用数据的传输，节约了网络带宽资源。 1 3 课题目标 本课题的目标为设计并实现一个网络实时监控系统，该系统除了实现现有网 络监控系统所提供的基本监控视频播放功能以外，还具有以下功能： 1 数据传输的自动控制：无论摄像头位于公网或私有网络，系统可对其到流 媒体服务器间的数据传输进行控制。同时，这种控制由系统根据当前视频观看情 况自动进行：当某摄像头第一次被用户请求观看时，系统建立相应摄像头到流媒 3 北京邮电大学硕士学位论文 体服务器间的数据传输。当某视频的最后一个用户停止对其观看时，系统停止相 应摄像头到流媒体服务器间的数据传输。 2 设备自动化管理：所有的摄像头首次连接到系统并开机后，可将相关信息， 如口地址，m a c 地址，r t s p 端口号等自动注册到系统中；当摄像头信息有所 变更时，系统会对相关记录进行自动更新；若摄像头与服务器连接正常并处于开 机状态，系统会将摄像头维持在在线状态，若摄像头关机或与服务器的网络连接 中断后，系统会将摄像头置为离线状态，由此提示用户该摄像头当前不可观看并 提示管理人员对其进行检查维护。被动摄像头也可实现与主动摄像头一样的功 能，无须管理员再对其信息进行手动管理。 3 上传数据的可配置性：管理人员可根据实际情况配置某个摄像头上传至服 务器的媒体中是否包含音频数据，并选择上传的传输机制。 4 移动场景中监控视频的上传：摄像头只要能通过无线网络连接到i n t e r a c t ， 就能像其他摄像头一样在系统中使用。 5 短信通知告警信息：当前端设备所连接的报警探头检测到告警事件的发生 后，系统将对该事件进行处理，并以短信方式通知相关用户。 6 为服务提供商提供运营模式：系统通过对用户可看摄像头与用户问的关系 管理，可为运营商提供按时观看的模式：对于仅有短期需求的用户，系统可按小 时数对其提供观看。而对于有长期需求的用户，系统可按月，年提供观看。 1 4 作者工作与论文结构 作者在工学硕士学习期间，全程参与了北邮3 g p p 应用实验室网络实时监控 系统的设计和开发工作，主要负责网络实时监控系统的整体设计，目录服务器的 设计与实现，代理服务器的设计与实现等工作。 全文共分为六章： 第一章引言，介绍了论文的背景，分析了相关领域的研究现状，阐述了课 题的目标及意义。 第二章相关技术，介绍了流媒体技术与相关协议，以及达尔文流媒体服务 器。 第三章系统总体设计，介绍了网络实时监控系统的整体架构，以及对达尔 文流媒体服务器的研究。 第四章目录服务器设计与实现，介绍了目录服务器的功能与设计，重点介 绍了u r l 目录服务，设备自动发现，设备状态维护，中继自动管理，短信告警， 4 一 h 声 北京邮电大学硕士学位论文 用户观看管理等功能的设计与实现。 第五章代理服务器设计与实现，介绍了代理服务器的功能与设计，重点介 绍了代理服务器的私网穿透，被动摄像头信息，摄像头上传媒体选择等功能的设 计与实现。 第六章总结论文，并对系统可进行的改进进行展望。 5 北京邮电大学硕士学位论文 第二章网络实时监控系统相关技术 为了提供实时的，清晰的视频监控服务，网络实时监控系统采用了多种网络 传输技术，媒体处理技术。本章重点介绍了系统所采用的流媒体技术，相关协议， 以及达尔文流媒体服务器。 2 1 流媒体技术 流媒体技术的开发创意是从传统的t c p i p 协议对通过网络传送信息的控制 方法中得到的。当通过t c p i p 协议下载文件时，服务器会按照一定的顺序将文 件分成若干个独立的数据包，然后依次发送出去。而客户端的程序会将这些数据 包重新组装起来，最终形成和原来完全一样的完整文件，这时才可以对这个文件 进行任何可能的操作了。流媒体技术则不然，它能够按照特定的顺序将文件发送 出去，播放程序无需等待整个媒体文件下载完成就可以一边接收数据一边播放 1 7 j ，这大大减少了用户的等待时问。为了使播放更加稳定连贯，通常客户端会通 过为接收数据开辟缓存区的方法【s 】来解决网路拥塞的问题，只需要在数据缓存区 充满前等待几秒钟就可以开始欣赏了。相比于将整个文件下载保存至硬盘，这也 节省了播放文件所需的空问。这种在i n t e r n e t i n t r a n e t 中使用流式传输技术的 连续时基媒体就称为流媒体。 流媒体技术并不是单一的技术，它融合了多种网络以及音视频技术。首先， 普通的媒体文件或实时音视频信号必须经过处理后才能形成流媒体数据。对于文 件，一般先采用高效压缩算法减小文件尺寸，然后在文件中加入流信息，使得文 件以流的形式在网络中传输，并被播放器处理。对于实时音视频信号，首先须将 模拟信号数字化，之再采用高效编码算法对数字信息进行压缩，然后将压缩后信 息封装到合适的传输协议中。 流媒体需要从服务器到达播放器就必须经过网络传输，流媒体实现的关键技 术就是流式传输【9 】。流式传输定义很广泛，现在主要指通过网络传送媒体( 如视 频、音频) 的技术总称。其特定含义为将影像，声音等信息经过数字化以及压缩 处理后，通过i n t e r n e t 将数字信号传送到播放器终端。实现流式传输有两种方法： 实时流式传输( r e a l t i m es t r e a m i n g ) 和顺序流式传输( p r o g r e s s i v es t r e a m i n g ) 【1 0 1 。顺序流式传输是文件顺序下载，在下载文件的同时用户可在线观看：在给定 时刻，用户只能观看已下载的部分，而不能跳到还未下载的前头部分。它不支持现 场广播，实际上它是一种点播技术。实时流式传输保证媒体信号带宽与网络连接 6 北京邮电大学硕士学位论文 匹配，使媒体可被实时观看到。实时流式传输需要专用的流媒体服务器和传输协 议。实时流式传输总是实时传送，特别适合现场事件。 流媒体业务正变得日益流行，目前流媒体技术已广泛应用于i p t v 、远程教育、 手机电视影院、互联网直播点播、视频会议、视频监控等领域。 2 2 相关协议 系统要在i n t e r n e t 上传输数据就必然涉及一系列网络传输协议。这些协议 包括i n t e r n e t 本身的多媒体传输协议，以及实时流式传输协议。只有采用合适 的协议才能更好的发挥流媒体作用，取得最佳的图像质量与实时性。系统所采用 的协议为目前针对i n t e r n e t 上多媒体数据流实时传输的相关协议：r t s p ， s d p ，r t p r t c p 。 2 2 1r t s p 协议 实时流协议r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 【l l 】定义了一对多应用程序 如何有效地通过i p 网络传送多媒体数据，是t c p i p 协议体系中的一个应用层 协议。该协议用于在客户端和服务器端建立和协商实时流会话，用户可利用该会 话控制客户端与服务器间的多媒体串流，这使音频与视频的受控、点播成为可能。 r t s p 允许多个串流在一个会话内被控制。r t s p 是文本协议并且类似h t r p ，其 主要不同之处在于r t s p 是标准的流媒体协议，并通常利用独立传输协议( 通常 是r t p ) 来传输媒体数据，并且r t s p 是双向的，客户端与服务器端都可发出请 求。 r t s p 工作的基本流程为本端发出请求，对端处理请求并发送回复，本端收 到回复并处理。其中发送的请求主要包含需要对端执行的方法以及所需参数， r t s p 共包含1 1 个方法，他们的作用以及实现要求如下表2 1 所示。 表2 - 1r t s p 协议的方法 方法名称作用发送方向实现要求 请求u r l 参数所指定的媒体客户端至 d e s c r i b e建议实现 的描述信息服务器 当从客户端发往服务器端，该 方法将u r l 参数所指定的媒 a n n o u n c e 体描述信息发送到服务器。当双向 可选 从服务器端发往客户端，该方 法更新会话描述。 检查u r l 参数指定媒体的参 g e t - p a r a m e t e r双向可选 数值 o p t i o n s请求对端所支持的方法列表 双向必须实现 7 北京邮电大学硕士学位论文 临时中断u r l 指定媒体的传客户端至 p a u s e建议实现 输服务器 请求服务器将媒体以s e t u p客户端至 p w 必须实现 所指定的传输机制进行发送服务器 服务器根据u r l 存储记录的客户端至 r e c o r d 可选 数据服务器 重定向请求，通知客户端连接服务器至 r e d l r e c t 可选 到另一服务器地址客户端 指定u r l 参数所标志的媒体客户端至 s e t u p必须实现 的传输机制服务器 s e l p a r a m 日r e r设置u r l 指定流的参数值双向可选 停止u r l 指定的流发送，释放客户端至 t e a r d o w n 必须实现 相关资源服务器 2 2 2r t w r t c p 协议 实时传输协议r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 【1 2 】：是针对i n t e r n e t 上多媒体数据流的一个传输协议。r t p 被定义为在一对一或一对多的传输情 况下工作，其目的是提供时间信息和实现流同步。r t p 没有规定下层的传输 协议，它可承载于u d p ，t c p 或a t m 等其他协议之上r t p 只进行实时数据 的传输，但不保证数据的按序传送，接受方依靠时间戳字段恢复数据的正 确时间顺序。另外r t p 也不提供流量控制或拥塞控制，它依靠r t c p 提供这 些服务。 实时传输控制协议r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 【1 3 】： 负责管理传输质量在当前应用进程之间交换控制信息。在r t p 会话期间， 各参与者周期性地传送r t c p 包，包中含有已发送的数据包的数量、丢失的 数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传 输速率，甚至改变有效载荷类型。r t c p 主要有4 个功能： ( 1 ) 用反馈信息的方法来提供分配数据的传送质量，这种反馈可以用 来进行流量的拥塞控制，也可以用来监视网络和用来诊断网络中的问题； ( 2 ) 为r t p 源提供一个永久性的c n a m e ( c a n o n i c a ln a m e ) 的传送层 标志，因为在发现冲突或者程序更新重启时s s r c ( s y n c h r o n i z a t i o ns o u r c e s ) 会变，需要一个运作痕迹，在一组相关的会话中接收方也要用c n a m e 来从 一个指定的与会者得到相联系的数据流( 如音频和视频) ； ( 3 ) 根据与会者的数量来调整r t c p 包的发送率； ( 4 ) 传送会话控制信息，如可在用户接口显示与会者的标识，这是可 选功能。 北京邮电大学硕士学位论文 r t p 和r t c p 配合使用，能以有效的反馈和最小的开销使传输效率最佳化， 故特别适合传送网上的实时数据。工作时，r t p 协议从上层接收流媒体信息码流， 装配成r t p 数据包发送给下层，下层协议提供r t p 和r t c p 的分流。 2 2 3 p 协议 会话描述协议s d p ( s e s s i o nd e s c r i p t i o np r o t o c 0 1 ) 【1 羽用于描述以会 话邀请，会话通知，以及其他形式的多媒体会话初始化为目的的多媒体会 话。由服务器端生成描述媒体的s d p 文件，其中包括媒体的编码信息以及 所在的服务器的链接等信息，客户端通过它来配置播放软件的设置。它是 一个简单、可扩展语法的文本协议【l s l ，采用u t f - 8 编码中的i s o1 0 6 4 6 字符集。 s d p 文件保存了对媒体的描述，一个s d p 文件包含如下内容：( 串符号 表示可选字段) ： v = ( 协议版本) 0 = ( 所有者创建者和会话标识符) s = ( 会话名称) i = ，i c ( 会话信息) u = 木( u r i 描述) e = 木( e m a i i 地址) p = 木( 电话号码) c = 木( 连接信息一如果包含在所有媒体中，则不需要该字段) b = 木( 带宽信息) 一个或更多时间描述( 如下所示) ： z = 水( 时间区域调整) k = ，i c ( 加密密钥) a = 木( 0 个或多个会话属性行) o 个或多个媒体描述( 如下所示) 时间描述 t = ( 会话活动时间) r = 术( 0 或多次重复次数) 媒体描述 m = ( 媒体名称和传输地址) i = 术( 媒体标题) ( 连接信息一如果包含在会话层则该字段可选) ( 带宽信息) ( 加密密钥) ( 0 个或多个会话属性行) 9 水 术 串 宰 = = = = c b k a 北京邮电大学硕士学位论文 2 3 达尔文流媒体服务器 在流媒体监控系用中，一个最重要的功能就是从监控设备中得到音视频数 据，并根据用户的请求按需将数据分发给用户。流媒体服务器的主要功能就是采 用标准流媒体协议将音视频数分发给用户。目前的流媒体领域，主要有三种平台： r e a l n e t w o r k s 公司的r e a l s y s t e m ，微软公司的w i n d o w sm e d i a ，苹果公司的 q u i c k t i m d l 6 】。三大平台都有相应的流服务器作为其应用的核心，其中苹果公司 的流服务器是q u i c k t i m es t r e a m i n gs e r v e r ( 简称q t s s ) 。q t s s 使用标准的实时 传输协议实时流媒体协议( r t p r t s p ) ，通过互联网实时传送媒体，同时还支持 f r e e b s d 、l i n u x 、s o l a r i s 、w i n d o w sn t 和w i n d o w s2 0 0 0 等多个操作系统，是当 前所有同类产品中支持平台最多的一个。苹果公司作为i n t e r n e t 流媒体联盟 ( i s m a ) 的核心成员不但其流媒体的技术与解决方案符合标准，而且q t s s 是 开放源代码的，其项目名称是d a r w i ns t r e a m i n gs e l v e r ( 下文简称d s s ) 。d s s 的 源代码和相关文档可从以下站点获得：h t t p ：w w w a p p l e c o m 。d s s 源代码完全 采用标准c + + 语言写成，编程风格非常优秀，每个c + + 类都对应着一对和类同名 的h c p p 文件。大量采用了面向对象的概念，如继承、多态等等 d s s 与其他流媒体服务器相比具有以下优势： 1 ) 平台优势：支持w i n d o w s 、l i n u x 、s o l a r i s 等多个当今主流操作系统； 2 ) 价格优势：d a r w i n 流媒体服务器的源码完全开放免费； 3 ) 接口开放：d a r w i n 流媒体服务器有开放的二次开发接口，用户可根据需 求使用d s s 提供的编程接口开发自己的q t s s 模块，来补充q u i c k t i m e 流媒体服务 器的功能。 4 ) 功能强大：支持多种流行的音视频编解码格式，能够实现基本的流媒体 中继功能，记录相应中继流的相关信息。 2 4 本章小结 本章介绍了网络实时操作系统中所采用的技术。首先介绍了流媒体概念以及 所涉及的主要技术，接着介绍了流媒体传输的相关协议，主要包括r t s p ， r t p r t c p ，s d p ，最后对达尔文流媒体服务器的功能和特点进行了介绍。 l o 北京邮电大学硕士学位论文 第三章网络实时监控系统总体设计 网络实时监控系统由多个功能各异的节点通过网络互联构成。系统总体设计 包含了系统组织结构，系统中各节点的基本功能，所采用的技术，它们间的通信 方式，以及系统的基本运行流程。下面分别就这几方面内容进行介绍。 3 1 系统结构 网络实时监控系统由网络摄像头、代理服务器、目录服务器、流媒体服务器、 用户终端等节点构成，它们通过网络连接相互通信，协同工作，为用户提供实时 监控视频观看服务，系统的网络结构如图3 1 所示。 手机用尸 图3 - 1 网络实时监控系统网络结构图 图3 1 中，目录服务器与流媒体服务器共同构成系统的核心，他们可以分别 位于不同的主机，也可以运行在同一台主机之上。目录服务器与流媒体服务器都 位于公网中，以便所有的用户可以对其进行访问，并且可以管理摄像头以及接收 摄像头发送的视频音频数据。 t ，蔼篓苎兰! 竺竺三私有网络或公网。若摄像头位于公网( 拥有公网p ) 则可 ：差紫警竺蚕统中。若摄像头位于私网删要么菇主磊募乏烈 絮统中壤鼍在摄像头所在局域网的出口路由器进磊菇爵i 篙 ( d e m m il i t a r i z e d z o n e ) 映射，后面这种方式等同于摄谲￥茹剁m 厶 赳赫竺警曼苎兰耋蝥兰所需代理的摄像头位于同一局域网，以便控蔷葬转发摄像 蓥翌二挈黧苎黔般使用便携式代理服务器( 便磊；蒜薹纛姜等麓 詈冀耋曼譬：，黧他翌登的设备，将摄像头接入到系统。磊磊丢磊磊；二翥主 网线与摄像头相连，通过无线网卡与妇锄e t 连接。 一一_ h 牡川灯腑腿烛 的二曼三三? 眦苎妻璺坌由摄像头构成，它实现了网络实时监控系统对外部世界 慧竺苎矍二竺篓篓篓妻频的采集，告警信息的触发都在由芸部蒜轰! 爱。 前端部分就是系统的感知器官。 “。脚。 池0 曩全部分妻竺理竺务器构成，它负责将前端部分接入系统，是系统核心与前 霎篓黧二：之零：。孳仝部分转发来嗽娜分的控制信三j 套需磊纛萎蚕筹 堇譬譬彗来宝竺璺曼黧控制。另方面，它懒娜芬转蒜茹薹聂并某 竺竺曼：、兰曼! 竺翌譬发何椭息，以何种方式传输运行赢。高孬聂磊孬 兰霎竺詈竺鳖三箩端的差异性。前端部分的摄像头来自多个备器焉：麓 篓紫苎存套差主竺。贷鳓务器可对不同的摄像头设备进存运磊二云二茹 竺提篓竺：竺苎譬耄苎：通过接入部分对设备差异进行；磊吾：- 姜怎茹善；夏夏 统_ 竺篓詈磐予上传的信息，并采用相同的方式对前端进行控铜：j i o 一“川4 卧队 核心部分由目录服务器与流媒体服务器构成，是数据中转，请求处理，用户 1 2 北京邮电大学硕士学位论文 访问与管理控制的中心。流媒体服务器一方面处理所有代理服务器数据上传的 r t s p 请求，接收所有前端摄像头上传的数据，一方面处理所有用户观看r t s p 请求，向用户分发他们所需的媒体数据，是r t s p 请求处理与数据中转的中心。 目录服务器是所有用户访问系统的接口，用户通过登录它才能对摄像头进行选择 与观看。同时目录服务器集中了所有前端摄像头与用户的信息，管理员所作的所 有管理操作都需通过它来进行，对前端摄像头的控制信息也由目录服务器发出， 因此它是系统管理控制的中心。 用户部分由用户构成，是媒体数据流向的终点。用户访问目录服务器得到视 频u r l ，与流媒体服务器进行r t s p 协商，最终得到所需视频的r t p 数据。媒 体数据由前端产生，经过接入部分，核心部分，最终到达用户。 3 2 系统节点 网络实时监控系统中所有节点的基本功能以及所采用的技术如下所述： 网络摄像头：采集视频与音频，将音视频信号数字化，压缩编码，协议封装 与网络传输。网络摄像头实现了r t s p 协议，r t p r t c p 协议，能够与其他实现 了r t s p 协议的对端进行r t s p 会话过程，并在协商成功后将处理好的音视频数 据封装到r t p 数据包发送到对端。功能更高级的网络摄像头还实现了告警触发 与告警信息发送等告警功能。系统中网络摄像头采用了市场上已有的设备，它们 可以是集上述功能为一体的口摄像头，也可以是模拟视频采集设备，模拟音频 采集设备与视频服务器组合而成的网络摄像头。这里视频服务器实现了模拟信号 数字化，压缩编码，r t s p 协议，r t p 协议，告警以及网络传输等功能。 流媒体服务器：是系统中转发视频音频数据的核心，摄像头通过网络将所采 集的实时影音上传至流媒体服务器，而用户通过访问流媒体服务器获取自己所需 的监控视频。对于摄像头侧，流媒体服务器接收摄像头上传的音频视频数据，并 进行缓存。同时它在系统中形成唯一的s d p 文件对这一路媒体流进行标识。对 于用户侧，流媒体服务器接收来自用户的观看请求，并将用户所指定的音频视频 数据传送到用户终端。流媒体服务器使用标准协议与外界进行通信：采用r t s p 协议进行媒体传输前的协商与传输过程控制，协商成功后使用r t p 协议进行媒 体数据的传输，并采用r t c p 协议对传输进行监控与统计。系统中流媒体服务器 采用了节果公司的开源达尔文流媒体服务器，下一节将对流媒体服务器的结构进 行详细介绍。 目录服务器：为所有用户提供一个访问系统的统一平台，为管理员提供管理 用户和摄像头的管理接口。用户对摄像头的监控视频的观看实际上是通过对流媒 体服务器上所缓存的视频音频数据进行访问而实现的。但在流媒体服务器上集中 1 3 北京邮电大学硕士学位论文 了所有摄像头的视频音频缓存并以s d p 文件进行标识，这造成两个问题：首先 用户如何得到自己需要观看的摄像头所对应的s d p 文件；其次，若用户没有摄 像头的观看权限，系统则应阻止该用户访问摄像头所对应的s d p 文件。使用目 录服务器为用户提供统一的系统访问接口解决了这两个问题。用户通过目录服务 器所提供的目录服务可以方便得到所需观看摄像头的u r l ，同时通过它可对用 户的访问进行控制。对于管理员，目录服务器提供了对用户，摄像头以及两者问 对应关系的管理接口。 代理服务器：代理与其位于同一局域网的所有摄像头，使这些摄像头能够被 管理员通过代理服务器进行管理。代理服务器接收来自目录服务器的命令，分别 对摄像头与流媒体服务器进行r t s p 的协商与控制，并将来自摄像头的r t p 数据 转发到流媒体服务器。通过代理服务器，管理员可以对需要上传至流媒体服务器 的r t p 数据进行控制。 用户终端：指安装了浏览器与播放程序的终端，为用户提供目录服务的访问 与视频观看功能