论掌上潍坊wap门户gprs流量统计解决方案

掌上潍坊WAP门户GPRS流量统计解决方案广州全速通信技术服务有限公司二零零七年十一月1、引言1.1编写目的为更好推进“掌上潍坊WAP门户”（以下简称“掌上潍坊”）项目顺利进行，保证掌上潍坊的开发质量，和GPRS流量统计分析功能技术支撑的力度，为后期的门户设计开发及运营推广奠定良好基础，根据潍坊移动及全速公司掌上潍坊项目组初步意向，针对掌上潍坊GPRS流量统计，特编写本技术解决方案。本方案对掌上潍坊GPRS流量做全面细致的用户需求分析，明确所要开发的系统应有功能、性能与界面，使系统分析人员及软件开发人员能清楚地了解用户需求，并在此基础上进一步进行掌上潍坊整体设计的需求分析、可行性分析以及后续的设计/开发/测试工作。本文档预期读者为潍坊移动、全速公司掌上湛江项目组各成员、程序开发人员、测试人员、项目管理人员等。1.2背景随着通信技术的发展，无线互联网成为电子媒体、电子政务的重要发展方向，而如何通过对WAP网站各项指标进行分析，得到当前WAP网站的运营情况，有效地进行调整、优化以及策略营销，显得尤为重要。掌上潍坊GPRS流量统计系统的建设目的在于：提供监测及统计手机用户访问掌上潍坊产生的GPRS流量，为运营人员提供优良的数据支撑，方便运营人员了解用户需求，也为门户的多元化营销提供便利。在此背景下，全速公司就掌上潍坊GPRS统计系统各方面进行了良好的沟通及磋商，初步达成多方面的一致意见。全速公司技术研发中心进行严谨及周全的需求分析及技术研讨，明确本项目开发背景如下：（1） 项目系统名称：掌上潍坊GPRS流量统计系统（2） 项目任务提出者：中国移动通信集团山东有限公司潍坊分公司（3） 技术实施组织者：广州全速通信技术服务有限公司掌上潍坊项目团队（4） 项目系统开发者：广州全速通信技术服务有限公司技术研发中心（5） 项目针对用户：潍坊市移动、全速公司市场部1.3参考资料2、任务概述2.1 目标掌上潍坊GPRS流量统计系统在应用方面，将具备及时性、准确性、权威性、可靠性、安全性。在建设中，将注重网络平台、应用体系、数据库体系和安全体系的规划和建设：应用方面，系统将具有高效的数据采集、分析、整理、存储功能，并给门户整体架构相关功能提供必要的接口及通道；在数据库体系中，具备稳定高效的数据备份和恢复功能；安全方面，建议标准统一、分级别授权管理、适用应用需要、切实可行的网络安全保障体系及系统功能管理体系。2.2运行环境掌上潍坊GPRS流量统计系统在软硬件方面，采用多层的逻辑结构，各层各司其职。包括：l 数据采集层：负责监控WAP应用服务器网络端口，并对网络数据进行采集，递交给数据分析层进行处理。l 数据分析层：对采集得到的数据进行分析、筛选，提取有效数据，并统计出所使用的GPRS流量，递交于数据存储层进行存储。l 数据存储层：负责存储数据、缓冲数据存储等。在服务器方面根据功能细分为4个部分：l 数据采集分析服务器负责运行数据采集层、数据分析层模块。l 数据库服务器负责存储数据（可集成在掌上潍坊的门户数据库中）。l 支撑平台服务器负责提供管理平台，如统计分析功能页面等。（可集成于掌上潍坊的WAP服务器上）可多台服务器共同完成某一功能，也可以一台服务器负责多个功能，根据具体需求进行配置。2.3硬件要求掌上潍坊GPRS流量统计系统所适用服务器可与掌上潍坊门户服务器结合使用，故对硬件配置要求，可参考以下硬件标准（列表不包含掌上潍坊与GPRS流量统计无关的其他功能服务器）。参考标准（理论值）：24小时内最大可处理43,200,000个用户请求（30,000tpmC）。（视实际网络环境）编号用途型号数量厂商参数备注1数据采集分析服务器/ WAP服务器/支撑平台服务器PowerEdge 29501戴尔(DELL)RAID 5 磁盘冗余1 X 146GB SAS 硬盘1 X至强双核5110 1.6G CPU4MB Cache4GB ECC 内存700W 冗余电源2U机架式结构运行数据采集层、数据分析层模块。与WAP服务器、支撑平台服务器共享使用2数据库服务器PowerEdge 29501戴尔(DELL)3 X 146GBSAS 硬盘 1 X至强双核5110 1.6G CPU2MB Cache2GB ECC 内存700W 冗余电源2U机架式结构存放GPRS流量统计数据。与掌上潍坊的门户数据库共享使用。2.4软件要求列表不包括掌上潍坊与GPRS流量统计无关的软件。编号用途型号/版本/语言数量厂商参数备注1服务器操作系统MICROSOFT WINDOWS SERVER20031MICROSOFTN/AN/A2数据库管理系统MICROSOFT SQL SERVER20001MICROSOFTN/AN/A4掌上潍坊GPRS流量统计系统Ver2.01全速通信N/AN/A3、功能划分掌上潍坊根据功能体现分为GPRS流量统计模块、GPRS数据挖掘管理后台两大板块。以下将分别进行划分：3.1GPRS流量统计模块GPRS流量统计模块主要负责监听WAP服务网络端口，捕捉该端口数据包，并进行数据采集、分析，并进行筛选归纳之后，存储到数据存储空间（数据库）。3.2GPRS数据挖掘管理后台GPRS数据挖掘管理后台，是掌上潍坊管理后台其中一个重要部分，主要负责通过页面列表、图表的方式将各访问用户、访问请求的数据展示给运营人员，同时可通过数据统计分析的方式得到更深层面的数据，如用户访问次数、回头率等。（此板块在掌上潍坊需求分析书将加以详细介绍）4、网络架构5、数据描述5.1数据库描述掌上潍坊将采用Microsoft SQL Server2000/2005数据库5.2数据字典（1）数据包信息表字段名称字段描述类型长度ID自增IDINT4IP请求或响应IPVARCHAR30MobileNo手机号码VARCHAR21PacketSize数据包大小INT4DataType数据包类型（TCP/UDP/ICMP/OTHER）VARCHAR10TranferType传输类型：接收/发送VARCHAR10RecvTime接收时间DATETIME8IsAvail是否有效数据：1是0否NUMERIC1记录用户手机号码及数据有效性，以较为精确地统计各地区访问产生的流量。（2）用户日流量表字段名称字段描述类型长度ID自增IDINT4IP请求或响应IPVARCHAR30MobileNo手机号码VARCHAR21UpDataSize上传流量（请求）INT4DownDataSize下载流量（响应）INT4TotalDataSize总流量INT4由用户日流量，可衍生出周流量、月流量、季度流量以及年度流量。6、性能需求6.1数据精确度（1）严格采集网络数据，并对非手机用户访问、非移动手机用户访问、非统计区域移动手机访问产生的数据进行严格筛选，保证数据统计的准确性。（2）数据查询统计时保证查全率，系统提供两种方法进行查询：直接查询和模糊查询，方面进一步的数据统计。6.2时间特性（1） 对每个请求的数据采集、分析、存储，使用的时间应在1秒；（2） 数据统计后台在数据查询时一般操作的响应时间在1-2秒内，复杂的逻辑处理及统计查询也应在可接受的时间内完成。6.3稳定性系统将可保证724小时不间断运行，且不对网络造成阶段性或长久性的影响。7、运行需求l GPRS流量统计系统运行于MICROSOFT WINDOWS NT以上操作系统，并以MICROSOFT SQL SERVER2000/2005做为存储系统支持。l GPRS数据挖掘管理后台：服务端运行环境为可选：（1） WINDOWS SERVER + APACHE + TOMCAT + JDK1.5或（2） WINDOWS SERVER + IIS6 + .NET FRAMEWORKS 2.0客户端运行环境为：（1） X486以上PC（2） IE6.0以上等浏