（计算机应用技术专业论文）基于网络损伤和流媒体特征的iptv视频qoe评估方法的研究和应用.pdf

d i s s e r t a t i o nf o rm a s t e rd e g r e eo fs c i e n c e e a s tc h i n an o r m a lu n i v e r s i t y r u n i v i d ：1 0 2 6 9 s t u d e n ti d ：5 1 0 8 1 2 0 1 0 3 5 华东师范大学学位论文原创性声明 郑重声明：本人呈交的学位论文基于网络损伤和流媒体特征的i p t v 视频q o e 评 估方法的研究和应用，是在华东师范大学攻读硕士学位期间，在导师的指导下进行的 研究工作及取得的研究成果。据我所知，除文中已经注明引用的内容外，本论文不包含 其他个人已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均 已在文中作了明确说明并表示谢意。 作者签名： 敛釜 日期：幼f 。年，月】f 日 华东师范大学学位论文著作权使用声明 基于网络损伤和流媒体特征的i p ，r v 视频q o e 评估方法的研究和应用系本人在 华东师范大学攻读学位期间在导师指导下完成的硕士学位论文，本论文的研究成果归华 东师范大学所有。本人同意华东师范大学根据相关规定保留和使用此学位论文，并向主 管部门和相关机构如国家图书馆、中信所和“知网 送交学位论文的印刷版和电子版； 允许学位论文进入华东师范大学图书馆及数据库被查阅、借阅；同意学校将学位论文加 入全国博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇编出 版，采用影印、缩印或者其它方式合理复制学位论文。 本学位论文属于( 请勾选) ( ) 1 经华东师范大学相关部门审查核定的“内部 或“涉密学位论文， 于年月日解密，解密后适用上述授权。 氏) 2 不保密，适用上述授权。 导师签名蕴鸯 本人签名盏肆差 本人签名越龛 2 o l o 年，月2 s 日 “涉密”学位论文应是已经华东师范大学学位评定委员会办公室或保密委员会审定过的学位 论文( 需附获批的华东师范大学研究生申请学位论文“涉密”审批表方为有效) ，未经上 述部门审定的学位论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用 上述授权) 。 堇型显硕士学位论文答辩委员会成员名单 姓名职称单位备注 顾君忠终身教授华东师范大学答辩主席 吕钊副教授华东师范大学答辩委员 杨静副教授华东师范大学答辩委员 华东师范大学硕上学位论文基于网络损伤和流媒体特征的i p t v 视频o o e 评估方法的研究和应用 摘要 随着i n t e m e t 的飞速发展以及流媒体领域的不断突破，备受关注的i p t v ( 交互式网 络电视) 业务已被推向了这个技术时代的尖端。作为一种数字视频业务，口t v 必须和 传统的有线电视竞争。传统的有线电视具有单向广播和频分制的特点，快速的频道切换 时间、不中断的业务可用性及低廉的费用为其主要的竞争力。因此，i p t v 能否保证其 能够带来与传统数字电视相当、甚至更好的视频质量和用户体验，就成为i p t v 成功的 关键。因此，m t v 运营商迫切需要一种能够实时评估视频质量的系统的方案来评估评 价自己的服务水平。 视频质量评估方法可以分为主观评估和客观评估两大类。主观评估由于需要耗费大 量的人力物力，而且实时性不好，故不适合用于i p t v 网络视频质量评估中。而传统的 客观评估方法如p s n r 、m s e 方法是基于像素值级别上的视频序列的比较，其评估结果 与人眼视觉相差较大。m p q m 评估方法相对较准确，但由于计算量大，从而限制了其 应用；m d i 总的来说只是尝试从网络性能的角度去分析当前网络性能，而不是真正的 视频质量评估。因此，提出一种实时性好，计算量较小，又适合网络视频质量评估的方 法迫在眉睫。本文提出基于网络损伤和流媒体特征的i p t v 视频q o e 评估方法：采用基 于帧率与视频时空特征的视频质量评估模型。该模型利用视频流的压缩域信息来估计视 频的时空特性( 时间变化度和空间复杂度) ，通过分析网络损伤状况评估视频帧的受影响 情况，并根据帧率与视频质量之间的关系确定受损视频的质量。利用该模型进行p t v 视频质量评估，无需参考原始视频画面内容，实时性好，资源开销较少，而且基于q o e 进行评分，特别适合对实时传输的视频流进行视频质量评估。实验结果表明，该模型的 评价结果能较好的反应人眼的视觉感知。 本论文受国家科技支撑项目课题( 编号：2 0 0 7 b a h 0 9 8 0 4 ) 和上海市科委重大科技 攻关项目课题( 编号：0 8 d z l 5 0 0 1 1 0 】) 支持。 关键词：网络损伤，流媒体特征，视频质量，帧率，母1 v ，q o e 华东师范大学硕l ：学位论文 基于阏络损伤和流媒体特征的i p t v 视频o o e 评估方法的研究和应用 a b s t r a c t a st h er a p i dd e v e l o p m e n to fi pn e t w o r kt e c h n o l o g y , i p t vh a sb e e nm o r ea n dm o r e p o p u l a rn o w i n t e m e tp r o t o c o lt e l e v i s i o n ( i p t v ) i sd e f i n e da sad i g i t a lt e l e v i s i o nb r o a d c a s t s e r v i c et h r o u g hi pp a c k e t so v e rb r o a d b a n dn e t w o r k t h ea c c e p t a n c ef r o mu s e r sc a no n l yb e o b t a i n e da n dm a i n t a i n e db yu t t e rh i g hv i d e oq u a l i t yo u t p e r f o r m i n gt r a d i t i o n a lt vw h i c hi s b a s e do nc a b l eo rs a t e l l i t et e c h n o l o g y a sar e s u l t ，i ti sn e c e s s a r yt os e tu pe f f i c i e n tv i d e o q u a l i t ye v a l u a t i o nm e a s u r e m e n tf o ri p t va r c h i t e c t u r e t h er e a l t i m em o n i t o rc a nr e f l e c tt h e ，壁查师范大学硕j ：学位论：莲基塑垒擐伤和流媒体特征的i p t v 视频o o e 评估方法的研究和应用 籀要 a b s t r a c t 。 目录 目录 第1 章引言 i m l 1 1 研究背景与意义1 1 2 视频质量评估方法的研究现状及分析2 1 3 本文主要研究工作一3 1 4 本文组织结构3 第2 章相关技术介绍5 2 1 流媒体相关技术5 2 1 i流媒体及其传输技术5 2 。1 2视频编解码技术6 2 1 2 1 m p e g - 2 视频压缩原理6 2 1 2 2 m p e g 一2 视频结构6 2 2 口t v 系统结构8 2 2 1 玎p t v 系统网络架构8 2 2 2 卫p t v 系统功能架构8 2 2 3i p t v 视频质量监控的必要性9 2 3 q o s 亏q o e 9 2 3 1 q o s 与q o e 的定义9 2 3 2 刀p t v 中q o e 与q o s 的对应关系1 0 第3 章现有视频质量评估方法的研究l l 3 1 主观视频评估分析l l 3 1 1 双激励损伤度分级法1 2 3 1 2 双激励连续质量分级法1 2 3 2 客观视频评估分析1 3 3 2 1 全参考评估方法( f u l b r e f e r e n c e ，f r ) 1 3 3 2 2 部分参考评估方法( r e d u c e d - r e f e r e n c e ，r r ) 1 6 3 2 3 无参考评估方法( n o r e f e r e n c e ，n r ) 。1 6 3 3 基于m p q m 模型的质量评估方法1 7 3 4 基于m d i 的质量评估方法18 第4 章基于网络损伤和流媒体特征的视频质量评估模型2 0 m 华东师范火学硕上学位论文 基于网络损伤和流媒体特征的i p t v 视频q o e 评估方法的研究和廊用 4 1 评估模犁的概述2 0 4 2 帧率与视频质量关系分析2 0 4 2 1 详细实验方案设计2 2 4 2 1 1 实验目的2 2 4 2 1 2 详细实验方案2 2 4 2 1 3 实验流程2 5 4 2 2 视频特征参数的度量及计算方法2 6 4 2 2 1 时间变化度1 1 的计算2 6 4 2 2 2 空间复杂度s i 的计算2 6 4 2 3 视频序列的采集2 8 4 3 视频特征与损伤程度分析2 8 4 3 1 视频压缩域信息分析一2 9 4 3 2 基于质量评估的视频流分析2 9 4 3 2 1 丢包所引发的视频序列劣化位置分析。2 9 4 3 2 2 丢包所在的视频特征时间变化度分析3 0 4 3 2 - 3 丢包所在的视频特征空间复杂度分析3 2 4 4 视频质量评估流程3 3 4 5 模型实验3 5 4 5 1 视频特征评估3 5 4 5 2 帧率与视频质量模型3 6 4 5 3 视频流丢包与实际播放帧率模型4 0 4 5 a 视频流丢包与视频质量模型4 1 4 6 ，j 、结4 z i 第5 章总结与展望 5 1 总结4 5 5 2 展望4 5 参考文献 附录一作者攻读硕士学位期间参与的科研项目 附录二作者攻读硕士学位期问发表的文章 4 7 4 9 4 9 1 l j 【谢! ；i i v 华东师范人学硕一 ：学位论文 第l 章引言 1 1 研究背景与意义 第1 章引言 随着i n t e r n e t 的飞速发展以及流媒体领域的不断突破，备受关注的i p t v 业务已被 推向了这个技术时代的尖端。p 1 v 是交互式网络电视的缩写，它利用宽带有线电视网， 通过i p 向用户提供多种交互式数字媒体服务。i p t v 最主要的特点是交互，由于它非 常容易将数字电视服务和互联网浏览、电子邮件，以及多种在线信息娱乐、咨询、 教育及商务功能结合在一起，因此备受人们的青睐。其作为新形态的数字新媒体， 日益被用户所看重并成为不可阻挡的大趋势。 作为一种数字视频业务，口t v 必须和传统的有线电视竞争。传统的有线电视具有 单向广播和频分制的特点，快速的频道切换时间、不中断的业务可用性及低廉的费用为 其主要的竞争力。因此，p t v 能否保证其能够带来与传统数字电视相当、甚至更好的 视频质量和用户体验，就成为口t v 成功的关键。因此，m t v 运营商迫切需要一种能 够实时评估视频质量的系统方案来评估自己的服务水平。口t v 系统运营的是大型流媒 体业务，流式视频业务具有以下特点：对分组丢失、乱序、时延抖动和传输延迟等网络 损伤非常敏感，对带宽和实时性要求高；而分组网络的核心协议一传统口协议只是尽 力而为( b e s te f f o r t ) 的服务类型，它只是尽网络的最大能力传送分组，不提供任何服务 质量保证，因此流媒体在传输过程中不可避免地会出现分组丢失、时延抖动和传输延迟， 这就意味着在p t v 流媒体数据流在分组网络传输过程中潜在着质量损伤的可能性。因 此，为了能够在b e s te f f o r t 的分组网络上实现更为稳定可靠的流式视频服务运营，需要 深入地分析网络损伤和流媒体特征及其对视频质量的影响。而明确口t v 视频质量与网 络损伤和流媒体特征之间存在的关联，是帮助i p t v 运营商准确把握客户需求、改进服 务并最终提高其参与市场竞争的能力和水平的关键。 因此，本文提出了基于网络损伤和流媒体特征的流式视频质量评估算法，主要考虑 流媒体在网络传输过程中出现的分组丢失、乱序、时延抖动和传输延迟等网络损伤，对 这些网络损伤特征进行深入的分析，并根据视频图像的时间变化度以及空间复杂度等视 频的流媒体特征等影响因素，最终用可量化的指标对流媒体质量进行评分，真实表达出 基于用户体验的视频质量。 华东师范大学硕十学位论文第1 章引言 1 2 j 视频质量评估方法的研究现状及分析 视频质量评估从方法上可以分为主观评价方法和客观评价方法，前者凭感知者主观 感受评价对象的质量；后者依据模型给出的量化指标衡量视频图像质量【8 】。其中，最常 用的主观评估方法是由i t u 推荐的m o s ( m e a no p i n i o ns c o r e ) 评估方法。主观评估方法 的评估结果最为真实，因为它以人作为视频质量的评判者。但是它亦存在一定的局限性， 如主观评估方法需要耗费大量的人力物力，实时性不好而且其评估结果因人而异，因此 主观评估方法通常不能用于网络视频质量评估中。 与主观评估方法相比，客观评估方法具有评估结果数值性，过程可重复性及易操作 性等特点，这一特点使客观评估方法一度成为研究热点之一。常用的传统客观评估方法 有：峰值信噪比( p s n r ) 和均方误差( m s e ) 。其主要特点是：通过将原始视频序列与 经编解码后的视频序列中的像素值相比较来评价视频质量。但是，峰值信噪比和均方 误差方法都只是对视频序列在像素级别上进行比较，因此其评价结果对视频空域和时域 上的失真非常敏感；然而人的视觉系统h v s 对某些时空域的失真并不敏感，甚至会被 忽略，因此该方法所得到的评估结果可能会与终端用户的体验结果相差较大。 由于口t v 流媒体业务采用了数字视频压缩与网络传输技术，视频流经网络传输时 发生丢包、延时、抖动等网络损伤都可能会导致视频质量的急剧下降。然而p s n r 与 m s e 方法更多的是比较和评估视频编解码算法及其参数的优劣，而不是针对网络损伤 来评估流式视频质量的情况。因此传统的客观评估方法，如峰值信噪比、均方误差方法 都已无法适应p t v 中视频服务的质量评估的要求。 目前，针对网络视频的视频质量评估方法主要有两种，基于m p q m 模型的评估方 法和m d i 评估方法。其中，m p q m ( m o v i n gp i c t u r eq u a l i t y m e t r i c ) 是基于人眼视觉系 统( h v s ) 基础之上的一种用于评估视频编码质量的视觉时空模型，其主要特点是用一 个三维滤波器组来模拟h v s 的多通道特性，但是由于引入了频率分解，从而导致算法 的运算量增加，使得m p q m 具有计算复杂和耗费时间等不足，从而在一定程度上限制 了它的使用。而m d i 评估方法】是被r f c 采纳的一个判断流媒体传输质量的指标，包 括两个参数：延迟因子( d f ) 与媒体丢包率( m l r ) 。总的来说，m d l 只是试图利用视频流 在网络中的丢包与抖动这两个参数来反映当前或预测未来的网络视频质量，并没有考虑 到所丢失的数据对视频流的影响。由于丢失不同帧类型的数据对网络视频质量的影响是 不同的，比如，丢掉某个i 帧，将导致后面所有参考i 帧的b 帧和p 帧将无法正常解码， 从而对视频质量造成严重的影响。因此，m d i 对网络视频质量评估亦存在一定的偏差。 综上所述，我们需要深入分析网络损伤对视频质量的影响，并设计新型的视频质量评估 2 华东师范人学硕i ：学位论文第1 章引苦 方法。 1 3 本文主要研究工作 目前网络视频质量评估的瓶颈在于如何确定网络损伤与视频质量之间的关系，并且 能够对视频进行实时的视频质量评估。为了解决该瓶颈问题，本文提出了基于网络损伤 和流媒体特征模型的流式视频质量评估算法，主要解决的关键问题包括以下3 个方面： 1 1 根据实际的分组网络损伤状况与流媒体业务的特点建立更适合流式视频业务的基 于网络损伤和流媒体特征的评估模型。流媒体业务具有占用带宽大、实时性要求高的特 点，而且承载流媒体业务的分组网络通常是一个庞杂的异构网络，由于丢包、抖动等网 络损伤而引起的很小错误都有可能导致视频质量的急剧下降，因此传统的客观评估方法 已无法适应网络视频质量评估要求，需要针对网络损伤和流媒体业务的特点，设计更适 合流式视频的质量评估方法。 2 ) 通过实时分析视频压缩域的视频时空特征( 空间复杂度与时间变化度) ，从而建立基 于网络损伤和流媒体特征的视频质量评估算法。视频时空特征的分析对于视频质量的评 估十分关键，而实时性的评估要求使得难以采用传统的通过解码视频数据还原视频序列 再用s o b e l 2 3 】等滤波器解析视频特征的方法，因此本文采用通过分析压缩域中各类型帧、 宏块等组成元素的分布情况以及运动向量的大小与其分布情况评估视频的时空特征。 3 1 通过量化评分，使得视频质量评估的评分能真实地表达出基于用户体验( q o e ) 的视频质量感知情况。基于人类视觉系统( h v s ) 特征的客观评估方法m p q m 需要参考 原始信号信息，进行空域与时域的掩蔽效应衡量、视觉激励分解等操作，其计算复杂耗 时，难适用于流式视频质量评估。因此，本文根据视频序列本身的时空特性建立视频损 伤情况与视频质量评估标准分值之间的关系，相对于m p q m 而言，本文提出的评估模 型计算量较小。 本论文中讨论的流媒体针对的是m p e g 2 视频序列，提出的评估模型也是针对 m p e g 2 的视频质量评估模型。适用于采用d c t 变换的m p e g 2 视频质量评估，并不 适用于采用小波变换的视频质量评估。 1 4 本文组织结构 第一章：主要论述了本文的研究背景和意义，并概述了视频质量评估方法的研究现 状，最后指出了本文主要的研究工作以及解决的关键问题。 第二章：主要介绍了流媒体质量评估的相关技术，如流媒体传输技术，口t v 系统 3 坐查堑蔓叁兰堡主兰竺笙坚一 第1 章引言 一一一一 ：= 架构，以及q o s 与q o e 之i 日j 的关系。并由此引出i p t v 网络视频质量评估的必要性和 重要性。 第三章：主要详细介绍了传统的几种常用的视频质量评估方法，如p s n r 、m s e 等。 并概要介绍了针对网络视频质量评估的m p q m 和m d i 方法，分析其主要特点及其在应 用上存在的局限性，为下一章做铺挚。 第四章：提出了基于网络损伤和流媒体特征的视频质量评估模型，主要包括三个方 面的分析：网络损伤特征分析，流媒体时空特征分析，视频质量评分。通过对当前网络 的损伤特征进行分析，并根据其实时的帧率与视频时空特性之间的函数关系给出其视频 质量评分。 第五章：总结全文，并展望下一步工作。 4 华东师范大学硕一j ：学位论文 第2 章相关技术介绍 第2 章相关技术介绍 这一章将介绍视频质量评估过程中的一些相关技术，包括流媒体相关技术，i p t v 技术的原理和系统架构，剖析q o e 与q o s 之间的关系，并由此引出网络视频质量监控 的重要性。 2 1流媒体相关技术 2 1 1 流媒体及其传输技术 流媒体技术是宽带网络业务的主流技术，在i n t e r n e t 飞速发展的今天，已经获得越 来越广泛的应用。流媒体( s t r e a m i n gm e d i a ) 是指在i n t e m e t i n t r a n e t 中使用流式传输技 术时的连续时基媒体，如视频、音频或多媒体文件【1 4 1 。连续性，时序性和实时性是流媒 体数据流的三大特点。以前人们在网络上观看电影时，必须首先将整个影音文件下载并 存储在本地计算机上，然后才可以正常播放观看。与传统的播放方式不同的是，流媒体 在播放前并不需要下载整个文件，而只是先缓存好部分内容，之后流媒体数据流就可以 做到边传送边播放，既节省了下载时间又节省了存储空间【1 5 】【1 6 1 。 日常生活中的水桶接水的例子形象而生动地说明了流媒体数据传输技术与传统数 据传输方式的不同。将文件传输看作是一个从水龙头接自来水的过程，那么传统的数据 传输方式相当于对用户作了个规定，必须等一桶水接满后才能使用，而这个等待时间要 受到桶的大小和水流量的大小等因素的影响，如图2 1 所示。 匪冷禽锄姆 w 曲服务器 整体读取数据 客户机 图2 - 1 传统传输方式 而流媒体数据传输技术的传输过程则为：打开水龙头，稍等片刻，待水桶中已有一 部分水之后，不必等到水桶装满水，现有桶里面的水可以一边给用户使用，另一边继续 接受水龙头的自来水。因此在这种情况下，用户的使用不必受到水流量和桶的大小的影 响，如图2 2 所示。 s 华东师范大学硕士学位论文第2 章相关技术介绍 霪麓覆霪 2 1 2 视频编解码技术 垦。粤之 w c b 服务器 通过缓冲顺序读取数据 图2 - 2 流式传输方式 客户机 m p e g ( m o v i n g p i c t u r ee x p e r tg r o u p ) 是运动图像专家组的简写，它是国际标准化组 织i e c j t c l s c 2 脚g 1 l 的一个小组。专家组已经制订了m p e g 1 t 3 1 、m p e g 2 1 4 3 和 m p e g - 4 t 5 】标准，保证各个标准向下兼容。由于本文的研究是基于m p e g 2 视频编解码 技术之上的，因此下面详细介绍m p e g 2 视频的压缩原理与视频结构。 2 1 2 1m p e g 2 视频压缩原理 m p e g 2 压缩图像的原理是利用了图像中的两种特性：时间相关性和空间相关性。 一个节目中的一个情节常常由若干帧连续图像组成的图像序列构成，一个图像序列中前 后帧图像间往往存在着一定的关系，这种关系叫作时间相关性；一帧图像内的任何一个 场景都是由若干像素点构成的，因此一个像素通常与它周围的某些像素在色度和亮度上 存在一定的关系，这种关系叫作空间相关性【r 兀。 然而图像的这种时间相关性和空间相关性使得图像内部存在大量的冗余信息，我们 可以利用这两种相关性去除部分冗余信息，在传输过程中仅仅保留少量的非相关信息， 这样就可以大大节省数据传输的频带。而在接收端利用这些非相关信息，按照一定的解 码算法，仍然可以使得恢复原始图像后仍然保证一定的图像质量，这就是m p e g 2 图像 可以压缩后进行传输的原理所在。 2 1 2 2m p e g 2 视频结构 m p e g 2 1 7 j 编码图像帧可以分为三种类型：i 帧，p 帧和b 帧。m p e g - 2 的编码码流 可以分为六个层次，从上至下依次为：视频序列层( s e q u e n c e ) ，图像组层( g o p ：g r o u po f p i c t u r e ) ，图像层( p i c t u r e ) ，像条层( s l i c e ) ，宏块层( m a c r o b l o e k ) 和像块层( b l o c k ) 。其中 6 华东师范大学硕i j 学位论文第2 章相关技术介绍 g o p 为一个图像组由相互间有预测和生成关系的一组i 、p 、b 图像构成，但一个图像 组的第一帧图像总是i 帧。 其中，i 帧为i n t r a - c o d e d ，采用的是帧内编码。帧内编码最大的特点就是它不依赖 于其他帧作为参考图像，因为它只利用了单帧图像内的空间相关性，而没有利用相邻帧 图像之间的时间相关性。在一个视频序列中，包含了多个g o p ( g r o u po f p i c t t a e ) 序列， 而一个g o p 仅有一个i 帧如下图2 3 所示。因此i 帧是周期性出现在视频图像序列中的， 其出现频率是由一个g o p 中所包含的帧数确定的，相对于p 帧和b 帧图像而言，i 帧 图像的压缩倍数相对较低。i 帧主要用于接收端的初始化、节目的切换与插入以及信道 获取。 m a e r o b l o c k 图2 - 3i v i p e g - 2 帧结构图 与i 帧不同的是，p 帧和b 帧采用的是帧间编码方式，即i n t e r - c o d e d 。帧间编码的 主要特点是它同时利用了时间和空间上的相关性，也就是说它需要依赖于其他帧进行参 考。其中，在利用时间相关性方面，p 帧只能采用前向时间预测，因此可通过前向时间 上的相关性提高图像质量和压缩效率。另外，p 帧图像中也可以包含帧内编码 ( i n t r a - c o d e d ) 的部分，即一个p 帧图像中的每一个宏块既有可能是前向预测，也有可 能是帧内编码。而b 帧图像则可采用双向时间预测，即它不仅需要选用前向帧作为参 考，还需要采用未来帧作为其参考，因此相对于p 帧而言，b 帧可以更大地提高图像压 缩的倍数。由于双向时间预测的特性使得b 帧图像需要采用未来帧作为参考，因此 m p e g 2 编码码流中图像帧的显示顺序和传输顺序是不同的，若要分析某视频序列的 g o p ，需要将捕获到的传输序列重新排序才能得到其真正的显示序列。 7 华东师范人学硕i ：学位论文第2 章相关技术介绍 2 2i p t v 系统结构 l p t v ( i n t e r n e tp r o t o c o lt e l e v i s i o n ) ，即交互式网络电视，是指基于i p 协议的电视 广播服务。是一种集互联网、通讯、多媒体等多种技术于一体，以计算机、电视机等为 显示终端的媒体服务，是互联网业务和传统电视业务融合后产生的新业务【1 8 】。i p t v 最 主要的特点是交互性和实时性，主要存储及传送的内容是经过编码的流媒体视频文件， 基于口网络的传输通常要在边缘设置内容分配服务节点，配置流媒体服务及存储设备， 从而实现信号的转发。i p t v 主要利用电脑或“机顶盒+ 电视 作为终端完成信号接收， 并将接收到的信号还原成原始数据，以便在电视或电脑中播放。和传统运营模式单一的 媒体相比较而言，i p t v 的多行业融合应用模式具有无可比拟的优越性，如图2 4 所示。 一起看电视( a m i g o t v ) 多媒体网络游戏 在1 v 上显示未接电话 2 2 1i p t v 系统网络架构 图2 4i p t v 的应用模式 5 。互动虫援 即时投票 s m s 峥1 、， ，远稃控制的个人网络录像 t v - m a i l 6 。视频通信 1 v 视频f u 话 电影和图片共享 视频会议 i p t v 系统技术能用来提供将音、视频流媒体节目从节目中心播出，并通过骨干网、 城域网和宽带接入网传输，直到被用户接收至端到端的完整技术解决方案f 1 釉。 2 2 2i p t v 系统功能架构 i p t v 系统包括内容制作、内容分发、内容加密存储、内容播放和内容终端显示的 各个方面。同时，i p t v 系统也是一个开放的系统，可提供基于中间件形式的系统整合 能力，集成第三方的产品，诸如机顶盒、内容编码器和数字版权管理d r m 系统等【埽】。 华东师范大学硕1 ：学位论文第2 章相关技术介绍 2 2 3i p t v 视频质量监控的必要性 作为流媒体的一种重要应用，i p t v 得到了越来越广泛的推广。然而，i p t v 的运营 商面对如此庞大的流媒体服务运营系统时，却难以实时的掌握视频流经网络传输后的客 户端的视频质量。当视频流经网络传输发生丢包、乱序、抖动时，客户端的视频就很有 可能会出现马赛克、延迟抖动，以及视频响应速度慢等现象。当这些问题发生时，如果 没有实时监控系统，运营商则无法实时地得到问题反馈，导致不能快速地找出问题发生 的原因，从而延长了服务修复的时间，最终容易造成客户的抱怨与人力的浪费等不良后 果。因此，给i p t v 运营商提供一种可以实时评估视频质量的监控系统迫在眉睫，为了 保证口t v 用户最终的用户体验质量，提供一种视频质量监控系统对视频进行实时监控 的必要性日益凸显。 2 3 q o s 与q o e 什么是q o s ? 什么又是q o e ? 它们之间存在什么样的联系，之间又存在什么样的区 别。要理解q o e ，首先必须了解q o s ，然后在q o s 的基础上去理解q o e 。深入研究和 分析m t v 中q o s 与q o e 之间的对应关系，对我们理解i p t v 中网络视频质量评估的必 华东师范大学硕：f j 学位论文第2 章相关技术介绍 质量与用户期望问的差距。通常用m o s ( m e a no p i n i o ns c o r e ) 给q o e 一个定量的描述， 也可以使用优秀、很好、好、一般、差5 个级别作为其量化指标2 1 。 2 3 2 i p t v 中q o e 与q o s 的对应关系 q o e ( 用户体验质量) ，影响用户体验质量的因素有很多种，包括主观人为因素和客 观方面的因素，如音、视频的质量，用户的期望值、口t v 的收费价格、网络性能、业 务质量和用户个性化行为等等，而且该值因人因时而异，有时还与用户当时的心情和注 意力状态密切相关。抛开以上人为的主观因素，仅从技术层面去分析，影响i p t v 用户 q o e 的主要因素包括以下四个组成部分：视频内容质量、i p 网传输质量、视频传送流 质量和用户互动质量。图2 5 反应了i p t v 2 9 1 0 e 用户体验( q o e ) 与服务质量( q o s ) 之间的 对应关系。从i p t v 中q o e 与q o s 之间的对应关系图中可知，总体i p t vq o e t 2 5 】由视频 图像质量和用户互动质量这两个基本领域构成，其中视频图像质量包括内容质量、传输 质量和视频流质量这三个方面；而频道切换性能和v o d 命令响应时延则为用户互动质 量范畴。 雨容剪 艮输厦鹭习 视频流质量i 宙置垂圈 s o u r c ea r t i f a c t s j i t t e r e r r o ri n d ic a t o rc o u n t ；，? ，一， 。7 1 ； i pp a c k e t l o s s 图2 - 5i p t v 中q o e 与q o s 之间的对应关系 理解i p t v 中q o s 与q o e 之间的这种密切的对应关系，对我们分析和研究口t v 的 视频服务情况会有很大的帮助。通过客观评估某服务的q o e ，就可以比较准确地了解真 实的用户体验，然后通过将q o e 指标同网络q o s 指标有效关联，运营商就可以很容易 找到故障的发生点，从而最终达到进一步改善用户体验质量的目标。 l o 华东师范火学硕i j 学位论文 第3 章现有视频质量评估方法的研究 第3 章现有视频质量评估方法的研究 上一章我们介绍了i p t v z 及由此引出i p t v 应用中网络视频质量监控的必要性和 重要性。下面我们将详细介绍视频质量方法中的几种有代表性的评估方法，如客观评估 方法中的p s n r 2 9 1 、m s e 方法，主观评估中的d s i s 方法，评价网络视频的m p q m 、 m d i 方法等等，对它们进行分析和比较。 3 1主观视频评估分析 对于主观评估方法【2 7 】而言，由于它是需要有人参与作为视频的观测者，而人眼的视 觉是评估视频质量优劣的最高评判标准，因此主观评估方法具有最高的准确度。 主观评估方法【2 1 7 】的主体是一定数量的评测者，在给定的一段时间内，对视频质量进 行观测，然后给出其主观的评分。一般来说，主观评估用m o s ( m e a no p i n i o ns c o r e ) 作为度量标准，它是个平均值，是根据评测者的评价结果统计得来，而不是个别评测者 的准确数值，m o s 的取指一般在1 , - - , 5 分之间。其中，5 分为满分，表示视频质量非常 好，用户体验感觉堪比面对面交谈；1 分为视频质量最糟糕，表示根本没有办法交谈。 m o s 值从1 到5 递增，表示视频质量从劣到优的变化。m o s 评分所代表的视频质量如 图3 1 所示。 图3 - 1m o s 值度量视频质量图 华东师范火学硕f ：学位论文第3 审现自视频质量评估方法的研究 3 1 1 双激励损伤度分级法 双激励损伤度分级法( d o u b l es t i m u l u si m p a i r m e n ts c a l e ) 简称d s i s 方法。这个方 法主要是用来评价某失真视频序列的失真程度。因为d s i s 方法的评估过程就是先让评 测者观看原视频序列，然后再观看待评估的失真视频序列，使得评测者可以根据原视频 序列作为基准对失真视频序列进行评估。实际评估过程如图3 - 2 所示，期间可以交替显 示原视频序列和待评估的视频序列，最后评测者根据印象对待评估视频序列评分，评分 见一蒜t l = l o s 瓣 爿卜_ 一t 4 = 5 1 1 s 灰色背景 a 图像对只显示一次b 图像对重复显示两次 表3 - 1d s i s 的5 分制失真测度 得分视频质量分级视频损伤分级 5优( e x c e l l e n t ) 不能察觉( i m p e r c e p t i b l e ) 4良好( g o o d ) 能察觉，但不讨厌( p e r c e p t i b l e b u tn o ta n n o y i n g ) 3可以( f a i r ) 能明显察觉，但可以容忍( s l i g h t l ya n n o y i n g ) 2差( p o o r ) 明显察觉，令人讨厌( a n n o y i n g ) l很差( b a d ) 比较明显，很讨厌( v e r ya n n o y i n g ) 3 1 2 双激励连续质量分级法 双激励连续质量分级法( d o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a l e ) ，简称d s c q s 方法。与d s i s 方法相同的是d s c q s 方法仍然是需要评测者观看两段视频序列原 视频序列和待测视频序列，但与d s i s 方法不同的是，d s c q s 方法在评测过程中并不 会告诉评测者当前播放的视频序列是原视频还是待测视频序列，即其显示方式是随机可 变的，原始视频既有可能出现在前面，也有可能出现在后面。因此，评测者需要对这两 种视频序列都评分，其评分的度量分为非常好、好、还可以、差、非常差五个值。 综上所述，我们可以看到主观评估的主要缺点有：因为评分的主体是人，因此其评 估的结果容易受到评测者的心情、期望值、个人兴趣爱好及其他主观因素的影响。而且， 1 2 华东师范入学硕i ：学位论文第3 章现有视频质量评估方法的研究 主观评估最大的局限性也正是因为人的参与，导致其需要大量的人力物力，从而将主观 评估的应用局限于实时评估之外。因此，对于对实时性要求较高的视频质量评估，需要 另辟蹊径，客观评估方法也就顺势而生。 即便存在着上述缺点，但由于视频评估的最终接收端都是人眼，所以主观评估方法 的结果具有一定的权威性。由于主观评估方法在视频质量评估中取着权威作用，因此研 究者经常采用主观评估方法来作为一些客观评估算法的效果评估标准，在本文中亦为如 此，采用双激励连续质量分级法( d s c q s ) 作为本文模型评估的评估标准。 3 2客观视频评估分析 总的来说，视频质量评估【2 0 】根据是否有人的参与可以分为主观评估方法与客观评估 方法两大类。而客观评估方法又根据是否需要原始视频序列作为评估参考可以分为全参 考评估方法( f u l l r e f e r e n c e ) 、部分参考评估方法( r e d u c e d r e f e r e n c e ) 、无参考评估方法 ( n o n r e f e r e n c e ) ，下面就此分别介绍。 3 2 1 全参考评估方法( f u l l r e f e r e n c e ，f r ) 全参考评估方法f r 的评估过程是将失真视频与原始视频进行逐帧比较，严格地讲 是对两个视频序列中每帧的每个像素进行比较，从而得到失真视频的视频质量。f r 方 法最主要的特点就是它需要提供完整的原始视频序列作为参考，并且其比较的度量单位 为像素级别上的比较，其评估模型结构如图3 3 所示。 图3 - 3 全参考评估方法模型框图 目前广泛使用的客观全参考评估方法有均方# j ! ( m e a ns q u a r ee r r o r ，m s e ) 方法和峰 值信噪比( p e a ks i g n a ln o i s er a t e ，p s n r ) t 8 1 方法。 ( 1 ) 均方差( m e a ns q u a r ee r r o r ，m s e ) t 3 1 】： 1 3 华东师范人学硕l ：学位论文第3 章现有视频质量评估方法的研究 ( 一石) 2 m s e = 堕! 丝! ! ! ! 型 m n 其中，m 、n 分别表示视频帧的高和宽，、分别代表原始参考视频对应帧和 失真视频对应帧。即其定义为原始视频序列与失真视频序列之间的均方误差。 ( 2 ) 峰值信噪e k ( p e a ks i g n a ln o i s er a t e ，p s n r ) ： 厂2 p s n r = 10 1 9 r 1 1 可- _ 丑虬一 面知荟萎善【z ( m , n , k ) 一五( m 后) 】2 其中，z ( m ，z ，尼) 代表原序列在第k 帧中位于( m ，n ) 处的像素值，l ( m ，z ，尼) 代表失真 序列中位于第k 帧( m ，n ) 处的像素值。p s n r 的取值与m o s 视频质量评分之间的对 应关系如图3 4 所示。 缈。7 。”i 。”? 哆粤”哿鸨 ! p s n r d b m o s 匿霎 l 3 75 ( e x c e l l e n t ) i3 1 - 3 7 4 ( g o o