申报书-具有中国移动特色的互联网流量管理策略研究与实践.doc

中国移动科技进步奖励申报书项目名称：具有中国移动特色的互联网流量管理策略研究与实践申报单位：中国移动浙江公司中国移动通信集团公司2011年 10 月 20 日一、项目基本情况项目名称中文具有中国移动特色的互联网流量管理策略研究与实践英文strategy research and practice of internet traffic management with with chinamobiles characteristics主要完成人主要完成单位中国移动浙江公司网络部网管中心主 题 词中国移动特色、互联网、流量管理、流量引导、流量疏导、流控、用户行为分析、策略、研究、实践任务来源a.中国移动通信集团公司计划 b各省、自治区、直辖市公司计划 c申报单位自立项目 d.基金资助 e国际合作 项目起止时间 起始：2010 年 5 月 1 日 完成： 2011 年 4 月 30 日二、项目简介本项目从中国移动互联网发展初期，应对网内内容资源匮乏、网间互联互通链路拥塞、用户感知明显低于其他运营商的互联网发展情境，从“引”、“疏”、“控”三个方面，采取各项技术和方法，达到丰富网内资源、提升用户访问感知目的。“引”是指从网站资源引入的角度，从多维度进行用户行为聚类分析，提取热点资源清单，实施资源引入，提升用户访问感知。“疏”是指针对不同业务流量，采取保障重点业务网络带宽、疏导大流量业务本地访问等流量疏导原则，降低用户对互联互通链路的依赖。“控”是指在流量精细化分析的基础上，采取保证高等级用户、高价值业务流量转发、控制低价值业务流量对带宽的占用原则，实施基于网络出口、用户等级、业务分类的网格化交叉控制措施，改善资源紧张的带宽的合理使用。本项目申请的专利点有三个，分别是一种基于dns日志挖掘的用户行为分析的方法、一种基于拨测的dns智能解析的方法和一种基于负载均衡平台逆向应用的vip业务流量动态疏导方法。本项目涉及“互联互通流量占比”、用户感知等指标。对于业务上需要发展宽带、内容资源上相对贫乏的省份或者其他小运营商均适合采用本项目的技术手段。本项目自2010年8月立项，截止今年9月，已经为浙江移动节约费用达1.64亿，直接经济效益非常可观，间接经济效益难以估量。三、项目详细内容1、 立项背景在全业务发展的大环境下，宽带业务做为一项战略业务，其业务重要性日益彰显。但是网内网站资源缺乏，仅为电信的十五分之一、为联通的八分之一，重要的热门站点主要集中在电信联通，导致移动网内宽带用户的访问绝大部分是跨网访问。而网间链路长期严重拥塞已经成为当前的一个共识、网间链路扩容谈判极其艰难，竞争对手紧把互联互通链路关口。随着移动网内用户增长，互联互通链路丢包严重，忙时到电信丢包超过6%，到联通丢包超过2%。如此严重的丢包，已经严重影响网内用户的使用感知，经拨测系统测试，我们对用户访问的top270个域名进行自动拨测，发现网内用户的网页浏览平均时延是电信的3.6倍，是联通的2.8倍，网内用户的感知明显差于对手。网速慢的投诉量一直居高不下，用户满意度大幅下挫。鉴于以上各种原因，我们把提升互联网流量管控能力、加速网站内容引入进程、优化资源统一调度策略、改善用户使用感知作为本次项目的研究内容。 详细技术内容本项目从“引”、“疏”、“控”三方面着手，主要技术内容如下所示。“引”是指立意分析用户行为、提取热点站点；引入内容网站、达到丰富网内互联网资源的目的；逐步引导用户访问网内资源，降低对互联互通链路的依赖程度。主要技术手段有：第一、多维度评估机制有效提升资源引入针性；第二、bgp对等直连技术快速增加网内资源；第三互联网业务监测系统全方位评估访问质量。“疏”是指针对各种应用特性，分别采取能有效将流量本地化的措施，通过主动推送网内资源等方式，降低往集团疏导的流量。主要技术措施有：第一、“分光”调度”相结合实施流量分层疏导；第二、基于p4p技术打造高效智能缓存；第三、“信令制导”技术疏导网间流量；第四、多方协同机制提升第三方链路效率与安全；第五、基于用户行为分析的推送技术主动疏导用户流量。“控”是指在流量精细化分析的基础上，对用户进行等级分类、对流量进行价值分类、对流向进行内外分类，基于链路的承载能力，实施多种维度的流量控制和转发，优先保证高等级用户、高价值流量、网内访问流量等。主要技术方法有：第一、多维度策略流控低价值网间流量；第二、dpi技术防止外网对网内idc资源访问。主要技术创新点经过梳理，我们提取了六个技术创新点，主要如下：第一、 多维度热点评估提升资源引入针对性。在热点内容引入上，结合流量排名、访问量排名、投诉量排名以及访问感知差排名四个维度，从全省及地市角度出发，提出需要引入站点清单，提升资源引入针对性。第二、 “分光”与”调度”结合的分层立体流量疏导技术。“分光”是在各出口对上行流量进行分光，当内容url请求量达到设定值时，启动内容缓存；而通过分光方式未截取到的请求流量，内容提供商的调度服务器识别用户的运营商归属，将用户数据请求调度到同一网络中的对等peer。通过分光与调度结合的分层立体流量疏导，使得大流量业务能在网内疏导，避开拥塞的网间链路。第三、 基于 “信令制导”的精准流量调度方法。应用nat技术的第三方链路会更改用户的源地址信息，从而导致用户和调度服务器的信令协商出错，将用户的数据请求调度到他网。为改变这一情况，必须将到调度服务器的访问报文从正确的集团互联互通疏导。浙江省分析提取优化了18种业务共198个调度服务器网段，流量本地化效果明显。第四、 基于连接保持的动态游戏加速方法。连接保持的应用主要有三方面：第一、快速转发报文。负载均衡器基于链路质量检测形成转发表，无需对每个目的ip地址进行链路质量检测；第二、动态检测链路质量。周期检测链路质量，形成最新最优的转发表。第三、应对竞争对手干扰。当某电路部分ip地址应用受到质量劣化恶意干扰时，动态质量检测将受干扰流量切换到其他电路，无需中断整条链路。第五、 基于url的用户行为分析及推送技术。从省网出口和radius提取用户访问url、用户ip、用户名等信息形成用户行为url库。在用户访问网站过程中，进行域名不存在触发导航网站推送、用户账号到期信息推送、资费营销信息推送及各种公共信息推送。第六、 多维度流量细分智能控制技术。根据ip五元组、关键字及url特征码识别报文，实施流量分类。有客户级别、流量应用分类、流量流向分类，实施不同的报文转发控制策略。应用情况a) 应用一、缓解互联互通瓶颈影响。通过本项目一系列措施，互联互通瓶颈的影响得到一定程度的缓解。首先、网内内容资源逐步引入，省内直连电路拓宽资源访问途径。目前已完成top200站点引入，top1000站点引入工作是今年的重点，引入域名数4370个，服务全网率达79.4%，idc输出流量逐步提升，流向浙江的流量占浙江总流量的43.81%。省内直连电路建设带宽已达56g，疏导的流量占总流量的5%。其次、分层缓存部署引导p2p大流量本地化，导航网站触发提升网内网站资源感知度。“分光”和“调度”双管齐下的分层缓存，主动检测用户访问内容，通过重定向和调度策略，疏导用户流量本地访问。现分层缓存输出的流量占idc输出流量的38%，大大提升了网内用户视频访问感知。最后、多维度流量流控保证高价值流量转发，降低网间带宽占用。通过流控低价值的p2p流量在各出口的占比直线下降。b) 应用二、应对用户访问感知差问题通过流量“引”、“疏”、“控”可以应对用户访问感知差的问题。网络慢投诉量从3月份的3472起下降到9月的1733起；通过近5个月的游戏优化积累，共疏导123款网络游戏、共23712个游戏地址，游戏平均时延从604ms缩短为124ms，疏导游戏流量约90m，游戏投诉量直线下降。idc已引入资源的http成功率和平均时延接近电信网络，优于联通网络，用户访问感知进一步得到提升。经济效益（单位：人民币万元）项目总投资额800万回收期（年）2 栏目年份新增利润新增税收创收外汇（美元）节支总额2010年-3168万2011年-13610万 各栏目的计算依据：2010年计算依据：按照未优化前互联互通流量占比62%，优化后各月互联互通流量呈下降趋势，201005至201012节约的互联互通流量达29.21g，按集团互联互通结算费129万/g计算，共节约3768万，其中缓存系统支出600万，故节约3168万。 2011年计算依据：按照未优化前互联互通流量占比62%，优化后各月互联互通流量呈下降趋势，201101至201109节约互联互通达114.81g，按集团互联互通结算费129万/g计算，共节约14810万，其中缓存系统支出1200万，故节约13610万。生产、应用单位财务专用章和财务负责人签字 年 月 日6、社会效益a) 挑战竞争对手，改变互联网市场垄断格局。在浙江形成电信、联通、华数、铁通及移动五家宽带运营商的局面。b) 提升用户感知，推动全业务和谐发展。网速慢每万用户投诉比逐步下降，从46下降到16；政府网站及政务应用访问得到保证。 四、本项目曾获奖励情况获奖时间奖 项 名 称奖励等级授奖部门（单位）2010年活力新天地创新金像奖浙江移动本表所填奖励是指： 1.国家设立的科技奖励；2.各省、自治区、直辖市公司设立的奖励3.各省、自治区、直辖市政府设立的奖励；4.经科技部批准的社会力量设立的奖励。 五、申请、获得专利情况表国 别申 请 号专 利 号项 目 名 称中国zj1110009（通过集团评审）一种基于dns日志挖掘的用户行为分析的方法中国zj1110011（通过集团评审）一种基于拨测的dns智能解析的方法中国zj1110010（通过集团评审）一种基于负载均衡平台逆向应用的vip业务流量动态疏导方法 六、主要完成人情况表七、主要完成单位情况 单位名称中国移动通信集团浙江有限公司第 完成单位中国移动通信集团浙江有限公司联系人传真联系电话电子信箱主要贡献制定本项目的需求和实现目标，建立项目研发团队，搭建研发平台，提供项目运作环境，最终达成项目目标。单位公章： 年 月 日八、申报单位意见申报单位中国移动通信集团浙江有限公司通信地址邮编310051联系人基本信息姓名电话部门手机职务传真电邮中国移动浙江公司互联网流量管理策略研究与实践项目，针对网内资源匮乏、网间互联链路长期拥塞的情况，在互联网流量分析的基础上，从提升互联网流量管控能力、加速网站内容引入进程、优化资源统一调度策略、改善用户使用感知角度出发，提出“引”、“疏”、“控”全方位的流量管理策略研究与实践。通过精细化研究互联网流量特性，实施高价值流量引入、低价值流量控制、p2p流量本地化、游戏流量特殊保证的策略，在互联网流量管理策略上具有创新性，并对浙江宽带业务的发展有明显贡献，对提升用户感知有重要作用。因此同意推荐该项目参加中国移动通信科技进步奖励的申报。 申报单位公章 年 月 日 九、用户使用证明单位名称中国移动通信集团浙江有限公司通信地址邮编310051联系人基本信息姓名电话部门手机职务传真电邮用户使用情况说明互联网流量管理策略研究与实践项目在现网运行已超过一年，在互联网流量管理上效果显著，通过多方面立体化管理措施的应用，加强了流量管控能力、提升了内容引入针对性、改善资源调度策略，同时用户感知也大有提升。 单位公章年 月 日 十、证明材料一、 项目专利的证明文件1、 已获授权的发明专利应当提交专利证书，刚刚获得授权且尚未取得专利证书的应提交授权通知书。核心发明专利必须提交专利文献授权文本（包括说明书摘要、摘要附图、权利要求书、说明书、说明书附图）。上述材料不全的，视为未申报专利。2、 暂未获授权的发明专利申请必须提交专利受理