经营分析系统数据集市业务技术规范.doc

版版 本本 号号 ：1 1. .5 5. .0 0 中中 国国 移移 动动 通通 信信 企企 业业 标标 准准 QB-J-007-2006QB-J-007-2006 中国移动经营分析系统中国移动经营分析系统 数据集市业务技术规范数据集市业务技术规范 中国移动通信有限公司中国移动通信有限公司 发布发布 TheThe DataData MartMart TechnicalTechnical andand BusinessBusiness SpecificationSpecification ofof BusinessBusiness AnalysisAnalysis SupportSupport SystemSystem 2 20 00 06 6- -0 04 4- -3 30 0 发发布布2 20 00 06 6- -0 04 4- -3 30 0 实实施施 目录 1 1范围范围1 2 2引用标准引用标准1 3 3术语和定义术语和定义1 4 4符号和缩略语符号和缩略语2 5 5总体说明总体说明3 5.15.1概述概述3 5.25.2目标目标3 5.35.3原则原则4 6 6体系结构体系结构4 6.16.1体系结构体系结构5 6.26.2网络结构网络结构8 7 7系统功能系统功能9 7.17.1业务功能业务功能9 7.1.17.1.1角色描述角色描述9 7.1.27.1.2功能描述功能描述10 7.1.2.17.1.2.1大客户经理大客户经理10 7.1.2.1.17.1.2.1.1大客户基本信息大客户基本信息 11 7.1.2.1.27.1.2.1.2大客户活动信息大客户活动信息 12 7.1.2.1.37.1.2.1.3大客户预警信息大客户预警信息 13 7.1.2.1.47.1.2.1.4主动服务及营销主动服务及营销 14 7.1.2.1.57.1.2.1.5大客户经理报表大客户经理报表 15 7.1.2.27.1.2.2集团客户经理集团客户经理15 7.1.2.2.17.1.2.2.1集团客户基本信息集团客户基本信息 15 7.1.2.2.27.1.2.2.2集团成员基本信息集团成员基本信息 16 7.1.2.2.37.1.2.2.3集团客户活动信息集团客户活动信息 18 7.1.2.2.47.1.2.2.4集团客户预警信息集团客户预警信息 19 7.1.2.2.57.1.2.2.5主动服务及营销主动服务及营销 20 7.1.2.2.67.1.2.2.6集团客户经理报表集团客户经理报表 21 7.1.2.2.77.1.2.2.7集团客户集团客户 V V 网潜在成员发现网潜在成员发现 21 7.1.2.37.1.2.3产品策划产品策划22 7.1.2.3.17.1.2.3.1资费收益测算资费收益测算 22 7.1.2.3.27.1.2.3.2资费套餐评估资费套餐评估 23 7.1.2.3.37.1.2.3.3目标客户群目标客户群 23 7.1.2.3.47.1.2.3.4短期促销活动分析短期促销活动分析 24 7.1.2.3.57.1.2.3.5新业务产品分析新业务产品分析 24 7.1.2.47.1.2.4渠道管理渠道管理26 7.1.2.4.17.1.2.4.1渠道基本信息渠道基本信息 26 7.1.2.4.27.1.2.4.2资源情况资源情况 27 7.1.2.4.37.1.2.4.3渠道酬金渠道酬金 28 7.1.2.4.47.1.2.4.4渠道评估渠道评估 29 7.1.2.57.1.2.5决策者决策者31 7.1.2.5.17.1.2.5.1日日 KPIKPI .31 7.1.2.5.27.1.2.5.2月月 KPIKPI .32 7.1.2.67.1.2.6经营分析师经营分析师33 7.1.2.6.17.1.2.6.1客户属地化分析客户属地化分析 33 7.1.2.6.27.1.2.6.2竞争对手用户属地化竞争对手用户属地化 34 7.1.2.6.37.1.2.6.3忙时集中系数忙时集中系数 34 7.1.2.6.47.1.2.6.4普通客户离网预警普通客户离网预警 35 7.1.2.6.57.1.2.6.5欠费（含坏帐）分析欠费（含坏帐）分析 35 7.1.2.6.67.1.2.6.6在网客户分析在网客户分析 36 7.1.2.6.77.1.2.6.7中高端客户情况分析中高端客户情况分析 36 7.1.2.6.87.1.2.6.8普通客户的离网分析普通客户的离网分析 37 7.1.2.6.97.1.2.6.9客户投诉分析客户投诉分析 37 7.1.2.6.107.1.2.6.10营销成本分析营销成本分析 45 7.1.2.6.117.1.2.6.11SPSP 客户发展情况分析客户发展情况分析 46 7.1.2.6.127.1.2.6.12梦网业务使用分析梦网业务使用分析 46 7.27.2分析发布工具分析发布工具47 7.37.3界面定制界面定制48 7.47.4即席查询即席查询48 7.57.5流程管理流程管理49 7.67.6互动实现互动实现49 8 8数据存储数据存储51 8.18.1数据存储范围数据存储范围51 8.28.2数据存储粒度数据存储粒度52 8.2.18.2.1明细级数据明细级数据52 8.2.28.2.2汇总级数据汇总级数据52 8.38.3数据存储周期数据存储周期53 8.3.18.3.1明细级数据存储周期明细级数据存储周期53 8.3.28.3.2汇总级数据存储周期汇总级数据存储周期53 9 9数据获取数据获取53 9.19.1数据获取原则数据获取原则53 9.29.2数据获取方式数据获取方式54 9.39.3数据同步与异常处理数据同步与异常处理54 9.49.4ETLETL 过程的管理和监控过程的管理和监控.55 1010数据访问数据访问/ /接口接口55 10.110.1数据访问数据访问55 10.210.2数据接口数据接口56 10.2.110.2.1概述概述56 10.2.210.2.2接口双方责任接口双方责任56 10.2.2.110.2.2.1省级经营分析系统方的责任省级经营分析系统方的责任.56 10.2.2.210.2.2.2数据集市方的要求数据集市方的要求.56 10.2.310.2.3接口实现方式接口实现方式56 10.2.3.110.2.3.1技术原则技术原则.56 10.2.3.210.2.3.2传输方式传输方式.57 10.2.3.310.2.3.3技术协议技术协议.57 10.2.3.410.2.3.4传输过程要求传输过程要求.57 10.2.3.510.2.3.5接口文件分类接口文件分类.57 10.2.3.610.2.3.6接口文件格式及命名规则接口文件格式及命名规则.58 1111系统平台系统平台58 11.111.1主机系统主机系统58 11.211.2操作系统操作系统58 11.311.3存储备份设备存储备份设备59 11.411.4网络设备网络设备59 11.511.5数据库数据库60 1212系统管理系统管理61 12.112.1数据质量数据质量61 12.1.112.1.1概述概述61 12.1.1.112.1.1.1数据质量管理总体架构数据质量管理总体架构.61 12.1.1.212.1.1.2数据质量管理的实现机制数据质量管理的实现机制.62 12.1.212.1.2数据质量管理要求数据质量管理要求63 12.1.2.112.1.2.1接口文件要求接口文件要求.63 12.1.2.212.1.2.2数据质量校验要求数据质量校验要求.64 12.1.2.2.112.1.2.2.1文件级校验文件级校验 64 12.1.2.2.212.1.2.2.2记录级校验记录级校验 64 12.1.2.2.312.1.2.2.3业务级校验业务级校验 65 12.1.2.312.1.2.3数据质量报告要求数据质量报告要求.65 12.1.2.3.112.1.2.3.1日接口提供报告日接口提供报告 65 12.1.2.3.212.1.2.3.2日接口加载报告日接口加载报告 65 12.1.2.3.312.1.2.3.3日异常报告日异常报告 66 12.1.2.3.412.1.2.3.4日接口情况报告日接口情况报告 66 12.1.2.3.512.1.2.3.5月接口提供报告月接口提供报告 67 12.1.2.3.612.1.2.3.6月接口加载报告月接口加载报告 67 12.1.2.3.712.1.2.3.7月异常报告月异常报告 67 12.212.2系统安全系统安全67 12.2.112.2.1网络安全网络安全67 12.2.1.112.2.1.1网络配置网络配置.68 12.2.1.212.2.1.2传输安全传输安全.68 12.2.212.2.2系统安全系统安全68 12.2.2.112.2.2.1口令管理口令管理.68 12.2.2.212.2.2.2系统管理系统管理.69 12.2.312.2.3应用安全应用安全69 12.2.3.112.2.3.1权限管理权限管理.69 12.2.3.1.112.2.3.1.1决策人员决策人员 69 12.2.3.1.212.2.3.1.2支撑人员支撑人员 70 12.2.3.1.312.2.3.1.3分析师分析师 70 12.2.3.1.412.2.3.1.4业务人员业务人员 70 12.2.3.1.512.2.3.1.5应用权限分配应用权限分配 70 12.2.3.212.2.3.2日志管理日志管理.71 12.2.3.2.112.2.3.2.1安全日志记录安全日志记录 71 12.2.3.2.212.2.3.2.2安全日志应用要求安全日志应用要求 71 12.2.3.2.312.2.3.2.3安全日志保存要求安全日志保存要求 72 12.2.3.312.2.3.3安全响应安全响应.72 12.2.412.2.4物理安全物理安全72 12.2.4.112.2.4.1备份安全备份安全.72 12.2.4.212.2.4.2设备安全设备安全.73 12.2.512.2.5实施安全实施安全73 12.2.5.112.2.5.1建设阶段建设阶段.73 12.2.5.212.2.5.2运行阶段运行阶段.73 12.2.612.2.6性能监控性能监控74 12.312.3系统审计系统审计74 12.412.4备份恢复策略备份恢复策略75 12.4.112.4.1备份策略备份策略75 12.4.1.112.4.1.1数据级备份数据级备份.77 12.4.1.212.4.1.2系统级备份系统级备份.77 12.4.1.312.4.1.3备份实施备份实施.77 1313编制历史编制历史77 前言 在总结省级经营分析系统建设经验的基础上，规划数据集市的发展方向，推进经营分析系统应用推广， 充分体现经营分析系统的价值。 本标准由中国移动通信有限公司业务支撑系统部提出并归口。 本标准以中移有限业【2006】78 号印发。 本标准起草单位：中国移动通信有限公司。 本标准主要起草人：吴唯宁、刘虹、段云峰、柳兰屏、高男男、谢志崇、崔洪涛、王敬尧、常冬、赵 静、余疆、刘盾等。 本标准解释单位：中国移动通信有限公司。 1 1范围范围 本规范包含了中国移动经营分析系统地市数据集市的体系结构、数据逻辑模型、数据 存储和访问方式、系统功能、系统管理等方面的内容。 本规范适用于中国移动各省（直辖市、自治区）有限责任公司省级经营分析系统地市 数据集市的建设和工程实施。 2 2引用标准引用标准 中国移动经营分析系统业务规范(1.0 版) 中国移动经营分析系统技术规范(1.0 版) 中国移动二级经营分析系统与源系统接口规范规范(V1.0 版) 中国移动经营分析系统数据仓库逻辑数据模型 (V1.0 版) 中国移动一级经营分析系统省级数据接口规范（V1.3 版） 中国移动经营分析系统与 BOSS 系统互动业务规范（1.0 版） 中国移动经营分析系统与 BOSS 系统互动接口技术规范（1.0 版） 中国移动业务运营支撑系统（BOSS）业务技术规范渠道分册（1.5 版） 中国移动业务支撑系统数据安全管理办法（试行） 省级经营分析系统数据质量控制指导意见 省级经营分析系统数据质量检查细则 中国移动省级经营分析系统规范总册（1.5 版） 3 3术语和定义术语和定义 序号名词解释 1.BOSSv1.5中国移动业务运营支撑系统业务技术规范（v1.5） 2.网管系统网络管理系统 5.经营分析系统 v1.5中国移动省级经营分析系统规范（v1.5） 4 4符号和缩略语符号和缩略语 缩写英文描述中文描述 BOSSBusiness 允许授权的用户分配角色的权限； 允许授权用户修改角色权限； 对用户可以按不同的工作范围和角色来管理其享有的资源及访问的范围等。 权限的颗粒度应足够细，应分为功能权限（如可分为多维分析、数据挖掘、即席查询 等） 、操作权限（如可分为查询操作权限、打印报表操作权限、写操作权限等） 、数据权限 （如可按地区、按时限、按角色设置用户可以访问的数据）等，并能够实现不同权限粒度 的灵活组合。 12.2.3.212.2.3.2日志管理日志管理 应用系统日志管理功能主要是自动记录与应用系统安全相关的信息，通过分析该信息， 从而来检测系统有关安全的潜在和实际问题。对于一些已经明确的安全问题系统可以同步 进行相应的处理，同时日志信息也可用于对员工在系统上的工作情况进行考核。 12.2.3.2.112.2.3.2.1安全日志记录安全日志记录 系统中涉及添加用户（含密码更改）或更改用户属性的事件发生，主要记录添加（或 更改）的时间，以及各个用户的属性，如果是更改用户的属性则同时记录用户更改前的属 性和更改后的属性。 系统中涉及添加角色在系统中（含更改角色属性）的事件发生，主要记录添加（或更 改）的时间，以及各个角色的属性，如果是更改用户的属性则同时记录角色更改前的属性 和更改后的属性。 系统中用户登录事件发生，主要记录用户的登陆时间和登陆的地址（IP） 。 系统中用户注销事件发生，主要记录用户的注销事件和注销的方式（自动注销或超时 断开） 。 系统中用户的操作端属性变更事件发生，主要记录用户的客户端变更（浏览器的版本） 。 系统中用户使用系统中的应用操作事件发生，主要记录用户的操作功能。 系统中任何涉及用户的前台数据倒入事件发生，主要记录用户的导入数据的事件，记 录数（合法数目和非法数目）以及成功与否的标志。 系统中用户自定义对象的创建事件发生，根据用户初建对象属性记录。 系统中用户自定义对象的修改（含删除和变更）事件发生，根据用户初建对象属性记 录变更的情况。 其它自定义的需要系统记录的事件发生，记录相应的情况。 12.2.3.2.212.2.3.2.2安全日志应用要求安全日志应用要求 在查询、统计时，操作日志的各功能要素都可作为查询条件、分类条件、排序条件或 统计要素（一般为次数分类统计） ，提供灵活方便的查询方式和途径。 12.2.3.2.312.2.3.2.3安全日志保存要求安全日志保存要求 在系统的日志记录的事件列表中，仅有系统的管理员可以进行审计事件和事例的选择， 以及审计内容的配置，任何除管理员之外的用户不能够自定义需要记录的内容。 系统记录的日志信息保留在系统中，一般的保存有效期为 6 个月，在有效期内不能清 除任何的系统日志记录信息。 系统记录后的日志信息要删除只能由经过授权的系统管理员进行处理，授权的形式一 般采用管理员的上级领导书面通知的方式。 任何使用人员没有权限删除日志，普通的用户可以浏览和打印自己和下级用户的操作 日志，但不能进行其他处理。 12.2.3.312.2.3.3安全响应安全响应 当有某一用户同时在线数目超过系统中预定义阀值数的事件发生，立即向该用户报警， 且根据系统设定的条件（暂停用户权限，临时关闭用户等）进行处理，同时系统记录日志。 某个用户的用户名经常被其它用户进行尝试性的猜测密码的事件发生，根据系统设定 的预定义固定时间内的可尝试密码猜测数目进行相应的处理，同时系统记录日志（主要包 含猜测密码客户端的地址） 。 系统出现用户在非许可时间内登录，则记录用户的 ID 和客户端的地址。 系统出现其它有关的安全事件发生，根据事件的属性记录相应的日志。 系统每隔固定的工作周期（具体的时间间隔由各地市分公司根据自己的状况制定） ， 由管理员向上级领导提供一份书面的系统运行报告，报告中包含系统的故障处理，运行状 况，入侵状况，系统漏洞分析及建议措施等与安全相关的内容。 12.2.412.2.4 物理安全物理安全 物理安全主要通过系统的机房控制、物理设备、备份、存储介质的保护来保证系统物 理存在环境的安全。 数据集市系统所在的机房必须保证电源的安全和温度湿度的安全范围。并且通过严格 的机房管理制度，保证物理设备的安全。 12.2.4.112.2.4.1备份安全备份安全 备份的介质（磁带或光盘）如果需要放弃使用，必须进行相应的技术处理，确保介质 上的数据已经被删除。 备份的介质（磁带或光盘）如果需要移出设备，必须安全管理存放位置，确保介质不 会丢失。 关键的数据（例如最近的一次全量备份）建议使用镜像介质的方式存储。从而屏蔽物 理介质损坏的情况发生后带来的数据丢失的情况出现。 12.2.4.212.2.4.2设备安全设备安全 系统在运行过程中建立严格的机房安全管理制度。非工作人员未经许可不准进入机房， 从而保证设备的物理安全。 12.2.512.2.5 实施安全实施安全 系统的安全实施管理，主要围绕数据的安全保护为核心。 12.2.5.112.2.5.1建设阶段建设阶段 系统建设阶段主要是指系统发标到初验的阶段。 系统建设阶段，开发商必须与中国移动签订系统建设/实施的保密协议，确保系统的建 设内容不会被泄漏出去。 实施系统的开发商项目组人员要和建设单位签署个人保密协议，避免将系统的建设内 容向外界透露。 提供给实施系统的开发商的测试数据不能外泄。 12.2.5.212.2.5.2运行阶段运行阶段 系统运行阶段主要是指系统初验以后的阶段。 用于开发、测试的系统必须与生产系统严格分开。 系统运行后，必须由本公司的内部正式员工负责系统运行的各种实际数据，从而安全 的进行控制和使用。 系统运行后，系统上需要严格划分所有用户的角色，并据此设定不同的权限，确保用 户只能访问权限许可范围内的资源。 系统运行后，系统涉及所有路由器、交换机的密码及配置应由网络管理员掌握，统一 进行配置。 系统运行后，系统涉及各类主机的管理和对用户以及文件系统的分配、访问权限设置 等工作统一由主机管理员执行。 系统运行后，系统涉及所有数据库的管理和对表、视图、记录和域的授权工作统一由 数据库管理员执行。 12.2.612.2.6 性能监控性能监控 性能监控是系统正常运行的保障，需要从管理、数据处理和信息访问等角度来监控系 统各环节中的网络、服务器系统和应用系统的性能，调整系统资源，协调各个不同数据处 理的优先程度，解决相关资源瓶颈问题。 设置专门的系统管理员负责性能监控，监控数据库执行情况，收集设备和数据库 的活动事件，通过一定的指标和阈值进行筛选。 当有事件突破设定的阈值时，系统可通过多种方式进行报警。例如播放警报声音、 向系统管理员发送电子邮件或手机短消息等。 系统管理员在接收到系统警报后，应及时查看资源利用情况、SQL 语句执行情况 等信息，并通过详细的分析确定产生该问题最主要的原因，采取相应的措施。 系统管理员能够根据历史状况提出改进意见。改进意见实施之前，应进行系统模 拟测试。 系统性能指标和阈值由系统管理员根据需求、经验和系统运行历史数据设置。 12.312.3 系统审计系统审计 各地市分公司必须建立相应的系统审计制度，从而从管理监督各个环节保证系统的安 全。 各地市分公司在系统自动发出报警信号后或得到管理员的书面安全相关的报告后，必 须针对安全问题有效的解决。 地市分公司的系统安全审计人员必须采用不固定的时间间隔，对系统的安全管理项目 进行相应的测试，从而检查安全规定和系统的安全设置的严密性。 定期对系统和网络服务（包括通讯和服务、Web 站点以及防火墙）的安全漏洞进行检 测和扫描，扫描结果生成详细报告，并对每一个扫描到的漏洞的危害和补救办法有详细说 明。 软件程序修改或增加功能时，须提出理由、方案、实施时间，报上级主管部门批准； 程序修改或增加后，须在测试系统上进行测试，确认无误且经上级批准后方可投入生产应 用。 软件修改、升级前后的程序版本须存档备查，软件修改、升级时须有应急补救方案。 系统实际运行后，禁止在生产系统中使用未经批准的应用程序，禁止在生产系统上加 载无关软件，严禁擅自修改系统的有关参数。 系统实际运行后，各类型的管理员必须严格监视系统运行情况，及时审查日志文件， 认真分析告警信息，及时掌握运行状况，对系统可能发生的故障做好应急方案。 固定的时间段内，系统安全审计人员需要检查机房的出入记录和系统运行的物理监控 记录。 12.412.4 备份恢复策略备份恢复策略 12.4.112.4.1 备份策略备份策略 在进行备份之前，首先要选择备份策略，这将决定何时需要进行备份，以及出现故障 时恢复的方式。 通常使用的备份方式有三种： 1.完全备份 每隔一定时间就对系统进行一次全面的备份，这样在备份间隔期间出现数据丢失等问 题，可以使用上一次的备份数据恢复到前次备份时情况。这是最基本的备份方式，但是每 次都需要备份所有的数据，并且每次备份的工作量也很大，需要太多的备份介质，因此这 种备份不能进行的太频繁，只能每隔一段较长时间才进行一次完整的备份。 2.增量备份 首先进行一次完全备份，然后每隔一个较短时间进行一次备份，但仅仅备份在这个期 间更改的内容。当经过一个较长的时间后再重新进行一次完全备份，开始前面的循环过程。 由于只有每个备份周期的第一次进行完全备份，其他只进行改变的文件的备份，因此工作 量小，就能够进行更频繁的备份。 3.更新备份 这种备份方法与增量备份相似，首先每月进行一次完全备份，然后每天进行一次更新 数据的备份。但不同在于，增量备份是备份该天更改的数据，而更新备份是备份从上次进 行完全备份后更改的全部数据文件。一旦发生数据丢失，可以使用前一个完全备份恢复到 前一个月的状态，再使用前一个更新备份恢复到前一天的情况。这样做的缺点是每次作小 备份工作的任务比增量备份的工作量要大，但好处在于，增量备份每天都有备份，因此要 保存数据备份数量太多，而更新备份则不然，只需保存一个完全备份和一个更新备份就可 以恢复故障以前的状态。另外在进行恢复工作时，增量备份要顺序进行多次备份的恢复， 而更新备份只需两次恢复，因此它的恢复工作相对简单。 系统应有良好的备份策略和恢复计划。系统数据和业务数据可联机备份、联机恢复， 恢复的数据必须保持其完整性和一致性。 建议备份策略如下： ETL 数据源 备份频率：每月 备份方式：完全备份 保存期限：3 个月 数据集市 由于已经对 ETL 数