某省联通数据稽核解决方案

某省联通数据稽核 方 案 交 流 2009年 12月 1 目录 1 项目背景 2 需求目标分析 3 综合解决方案 2 背景 在以 2G移动业务为主的时代， BSS系统仅与有限的网元设备进行数据交换，实现的协议和功能也不复杂。但随着 3G业务的全面开展，全业务的融合， BSS、 VAC、 OCS以及 ESS等多个系统的建设， BSS与网元的交互数量增多，需要实现的功能和协议也趋于复杂，交互流程变长，对交互的时效性要求增加。 统一开通系统的时效性要求，导致统一开通系统在处理业务操作的一致性性和完整性方面存在不足，不能完全保证各个业务系统中相关数据的一致性和完整性。 3 项目背景 由于目前没有有效的核对机制，造成各系统之间的用户数据经常能出现数据不一致的情况，从而带来很多问题，包括： 服务不一致，导致用户投诉 网元设备中存在不少无效数据，不能进行准确的资源回收，从而降低资源使用的有效性 作为企业运营关键的用户数据，在关键系统中不能保成良好的一致性，阻碍了用户数据管理水平提升 目前某省联通的 BSS、 HLR、 SCP、 VAC、 OCS、增值如意呼平台、增值炫铃平台业务网元都分布有用户数据： 其中 BSS用户数据是作为计费、收费以及客户服务的基本数据 HLR、 SCP、 VAC等平台的用户数据是作为提供用户相关业务的基本数据，都具有很高的重要性 现状分析 数据不一致导致的问题 4 项目背景 用户投诉 因为数据不一致带来的用户服务投诉、计费错误投诉等 收入流失 收费业务没有在 BSS系统登记却在其他系统存在有效记录，导致漏收费（如来电显示）或错收费双倍返还 (如炫铃 )。 影响业务发展 垃圾数据占用系统空间，不能及时释放、启用系统有限资源，影响系统性能和资源使用效率。 降低客服响应效率 -降低客服响应速度和处理准确率 影响业务营销推广 -信息不健全影响业务营销推广 数据不一致问题带来的影响 5 目录 1 项目背景 2 需求目标分析 3 综合解决方案 6 建设目标 数据比对 数据同步 统计报表 对 BSS、 HLR、 SCP、 VAC、增值如意呼平台、增值炫铃平台系统之间的用户资料数据进行核对，可支持增量及全量比对方式，及时发现各系统用户资料数据之间的差异，以便采取有效技术手段保障数据一致 提供各系统用户数据的同步功能，确保各系统用户数据的准确性、一致性，避免因用户数据的不一致带来客户投诉或业务收入流失。 提供基于数据对帐以及数据同步的各种报告和统计报表，提供对于对帐过程和同步过程的监控和告警，系统具备一定的异常处理能力 通过对 BSS系统的改造，增加数据稽核的组件，解决手工数据对帐及修改时效率低、维护不方便的问题，实现业务流程的不断完善和管理能力提升 数据备份 与统一开通配合进行各网元实时数据同步备份，并要求在指定的恢复窗口时间内恢复 。 7 建设原则 建 设 原 则 保证现有系统的稳定性，最大限度保证现有业务系统不受影响 充分考虑保护现有系统的投资 可扩展性原则：系统设计模块化、可配置，能够适应一定时间内的业务变化，并保证系统在进行扩展时，不影响系统的正常运行 高效性原则：满足未来业务发展需要、满足实时处理的能力，完成多类型业务的综合应用 综合考虑未来 BSS系统业务系统需求与建设规划 8 数据比对要求 比对内容 比对方式 1，比对方式包含全量比对和增量比对 2，全量比对，首次采用，后根据情况定期或不定期采用。 1，针对 BSS中的某项业务 2，涉及 BSS、核心网网元、业务网网元 3，包括用户数据、业务局数据 3，增量比对，定期采用 9 适用范围业务范围 移动业务 用户基础业务 短信 、通话权限（国际、国内、本地）、漫游权限（国际、国内、省内、本地）、来电显示（显示、限制、强显、强显限制）、 呼叫转移、呼叫等待、三方通话、呼叫限制、IVPN、 OCS 、可视电话、数据业务接入点（ GPRS、 HSDPA、 APNID、 EQOSID） 用户增值业务 手机音乐 、手机电视 、手机邮箱 、如意呼 、炫铃 、话费周周报 、彩信话费周周报 、天气预报 、如意邮箱 、一卡多号 、短信防火墙 、短信 SP业务 、彩信 SP业务 业务范围 数固业务 宽带业务 宽带业务 10 适用范围网元范围与数据范围 网元范围 支撑网 主要指 BSS系统（包括一级 BSS、网管、客服等周边支撑系统，是一个整合 BSS的概念） 核心网 主要指 HLR 业务网 与 BSS业务相关的所有业务平台，典型网元如： 智能网平台 VAC平台 SCP等 用户信息 用户基本信息 用户标识 用户订购信息 订购信息标识 业务 局数据 业务局数据标识 数据范围 用户属性 用户状态 手机号码、 IMSI号码、集团 ID等 订购信息属性 订购信息状态 业务局数据属性 业务局数据状态 联系方式、品牌、账号、终端信息、归属地、第三方号码等 用户状态等 用户标识、 SP代码、 SP业务代码等 受理信息、套餐、订购时间、起始时间、终止时间、更新时间等 订购状态、生 /失效时间等 SP代码、 CP代码、 SP业务代码等 SP名称、业务种类、客服信息、业务描述、计费类型等 SP状态、业务状态等 11 网元的交互 业务 网元与交互 数据一致性相关网元 交互方向 宽带业务 宽带业务 BSS、 RADIUS 双向 移动业务 新业务 用户基础业务 BSS、 HLR 单向 用户增值业务 手机音乐 BSS、 VAC 双向 手机电视 BSS、 VAC 双向 手机邮箱 BSS、 VAC 双向 如意呼 BSS、 HLR、如意呼平台 BSS与 HLR之间是单向交互， BSS与如意呼之间双向交互 炫铃 BSS、 HLR、炫铃平台 BSS与 HLR之间是单向交互， BSS与炫铃平台之间双向交互 话费周周报 BSS、相关本地增值平台 双向 彩信话费周周报 BSS、相关本地增值平台 双向 天气预报 BSS、相关本地增值平台 双向 如意邮箱 BSS、相关本地增值平台 双向 一卡多号 BSS、相关本地增值平台 双向 短信防火墙 BSS、相关本地增值平台 双向 短信 SP业务 BSS、联通在信 双向 12 核心网比对数据分类 比对数据分类 说明 一致性要求 用户信息 用户标识 手机号码、 IMSI号码 必须进行有 /无比对，并做标识 签约信息 KI值、停复机状态、长途、漫游、呼叫限制、呼叫转移、来电显示、去电隐藏、呼叫保持、多方通话、短信等 必须进行一致性比对 13 业务网比对数据分类 比对数据分类 说明 一致性要求 用户信息 用户基本信息 用户标识 手机号码、 IMSI号码、集团 ID等 必须进行有 /无比对，并做标识 用户属性 社会属性 名称、类型、性别、联系方式等 无 业务属性 品牌、用户群组、账号、密码等 无 资源属性 终端信息、号码归属地、第三方号码等 无 用户状态 用户状态等 必须进行一致性比对 订购信息 订购标识 用户标识、 SP代码、 SP业务代码等 必须进行有 /无比对，并做标识 订购属性 订购服务信息 受理信息、套餐、订购时间、起始时间、终止时间、更新时间等 无 资费属性 资费编码、资费类型、费率、计费区间、优惠方式、优惠级别、优惠额度等 进行一致性比对 附加信息 操作流水、操作时间、操作来源等 无 服务协议 服务协议编码、服务协议内容、服务协议状态等 无 订购状态 订购状态、生 /失效时间等 必须进行一致性比对 业务局数据 业务局数据标识 SP代码、 CP代码、 SP业务代码等 必须进行有 /无比对并做标识 业务局数据属性 SP名称、 SP描述、 SP类型、业务编码、业务种类、客服信息、业务描述、访问模式、价格、计费类型、业务使用方法描述、业务的介绍网址等 进行一致性比对 业务局数据状态 SP状态、业务状态等 必须进行一致性比对 14 目录 1 项目背景 2 需求目标分析 3 综合解决方案 15 业务处理流程 HLRSMP/C彩 铃MISC数据采集数据预处理数据对帐对帐稽核不一致处理营 帐系 统统 一 开 通 系 统数 据 汇 总 告 警 处 理界 面 展 现用 户 数 据 优 化同 步 系 统HLR SMP / SCP 炫铃 VAC 数 据 采 集 数 据 预 处 理 数 据 比 对 比 对 稽 核 不 一 致 处 理 营帐 系统 统一开通系统 数据汇总 告警处理 界面展现 用户数据优化 同步系统 16 功能架构设计 展现及交互界面 查询统计 数据对帐管理 配置管理 系统管理 采集 接口 数据采集 数据预处理 BSS接口 HLR接口 其他网元接口 数据比对 比对稽核 数据同步 数据汇总 比对参数配置 稽核参数配置 任务管理 权限管理 系统监控 17 系统接口 采集 HLR系统的全量用户数据以及增量变更数据，建议采用文件方式。 XX目前可以支持目前多种主流 HLR设备提供的文件格式，包括爱立信、华为 HLR设备提供的文件格式。 实时查询 HLR系统用户数据，可与 BSS连接 HLR的接口共用。 采集 SCP系统的全量用户数据以及增量变更数据，建议采用文件方式。 实时查询 SCP系统用户数据，可与 BSS连接 SCP的接口共用。 同时也要向 SCP系统进行数据同步，可与 BSS连接 SCP的接口共用。 采集营帐系统的全量用户数据以及增量变更数据，建议数据库接口表方式。 同时也要向营帐系统进行数据同步，可采用数据库接口表的方式。 建议数据一致性稽核进行数据比对后，如果需要向 HLR、 SCP等网元设备同步数据，可采用向统一开通系统发送工单，由统一开通系统完成相关指令操作。 与 BSS营帐模块的接口 与 BSS统一开通系统的接口 与 HLR的接口 与 SCP的关系 与炫铃平台的关系 采集炫铃平台的全量用户数据以及增量变更数据，建议采用文件方式。 实时查询彩铃平台用户数据，建议采用实时查询接口。 同时也要向彩铃平台进行数据同步，可采用接口表或文件方式，具体可双方协定。 。 18 数据比对方式 全量对帐 适用条件： 因部分操作流程不规范、服务开通入口不统一，各网元建设以来一直没有进行过系统数据比对同步处理，以及其他种种原因导致存在较多数据不一致情况，所以需要通过采用全量比对方式进行初始化处理，以后根据实际业务情况和系统能力定期（每季度或半年）进行全量比对处理 接口：实时接口、接口表或文件接口 触发方式：自动、手动。 增量对帐 适用条件： 系统间接口、系统故障、数据库故障等原因会导致各网元间产生数据差异，需要对客户数据变更的增量数据进行比对同步处理，通过事后方式尽快解决数据差异，减少甚至避免因数据差异引发客户功能使用、计费或服务办理等投诉 以文件接口为主、实时接口 触发方式：自动、手动。每日 19 稽核方式 在线式稽核 online 离线式稽核 offline 两者关系 在 线 采 集离 线 采 集轻 量 比 对批 量 比 对修 复预 处 理预 处 理20 比对稽核功能 比对稽核是针对对帐过程中的数据完整性和平衡性的判断验证。 比对稽核主要是判断出入口数据的平衡关系以及日志。 BSS比对数据总量比对出口的通过数据数量比对出口的不通过BSS数据数量比对异常的 BSS数据数量。 21 备份管理方案 统一开通业务 备份与同步 模型管理 按照业务类型，实现业务、网元、区域模型的基础数据管理功能。 策略管理 按照生产系统的要求，提供多种备份策略管理。包括业务类型、时间窗口、区域、自动 /手工等多种策略的组合。 同步与核查 按照备份策略提供开通业务数据的备份。 模型管理 备份策略管理 同步与核查 22 网元的主备模式支持 目前，指令直接往网元发送。在增加备机的情况下，根据指令发送的日志进行重新处理发往备机。一套系统支持解决多个不同网元的实时备份。 主机 备机 生成日志 统一开通 指令 统一开通（备） 23 数据备份与恢复 如果只有一台主机（或者主备机同时故障），则按照以下模式途径处理数据备份和恢复的问题： 恢复模式 恢复途径 1， 统一开通按照恢复的模式重新发送指令 2， 按照网元的要求格式生成批量的文件，交由网元处理 1， 支持全量恢复 2， 支持指定用户（号段）的恢复 3， 指定时间段的恢复 备份模式 1， 各网元备份自己网元的数据； 2， 根据 BSS的订购关系进行备份。 24 建设重点与难点 数据全量备份 用户规模 500万用户备份策略 网元特性 对 IP的限制 单一 IP限制方案：通过 BSS平台实现实时数据稽核。 多 IP支持：直接与网元进行数据交互。 对文件接口方式的支持 获取网元的备份文件实现数据备份 实时查询 支持实时查询：爱立信、华为 不支持： VAC 25 数据稽核 同步规则 业务网元 核心网元 HLR/AUC OCS VAC 其它 移动用户 1： 针对收费业务， BSS中用户订购信息的同步处理，需向用户 进行 业务订购确认 2：针对用户状态（停复机、欠费、销号等）的同步处理，一律以 BSS为准向网元进行同步 3：涉及多个网元的同步处理，需拆分成 BSS与核心网数据同步、 BSS与业务网数据同步 4：全量同步之后的增量数据（除用户 IMSI）都以BSS为基准进行同步 5：先同步用户标识与用户状态，再同步用户订购信息的顺序展开同步处理 同步规则 业务订购确认 客服电话 短信通知 其他方式 数据一致性管理 数据稽核流程 数据采集 服务开通 同步处理 数据对比 统一接口层 针对业务的数据不一致分类 1， BSS和网元中都有数据，但数据不一致 2， BSS中有数据，网元中没有数据 3， BSS中没有数据，网元中有数据 数据稽核过程中 遵照的同步规则 26 比对稽核流程 统一接口表 稽核任务 数据上载 数据比对 差异结果输出 接 口 数 据 表 1 接 口 数 据 表 2 接 口 数 据 表 . . .稽 核 任 务起 始读 稽 核 任 务 表解 析 比 对 数 据 源 表原 始 数 据 列 表 2 原 始 数 据 列 表 . . .原 始 数 据 列 表 1数 据 上 载 、 排 序 数 据 上 载 、 排 序 数 据 上 载 、 排 序差 异 结 果 输 出数 据 比 对27 数据修复流程 同步数据提取 网元解析 查询工单 返回结果分析 比对 同步工单 起 始号 码 列 表 ( 比 对 差 异结 果 )网 元 1网 元 2网 元 . . .解 析 网 元查 询 工 单同 步 工 单结 束返 回 结 果 比 对对差异结果，直接修复；用在时差比较小的情况下 对差异结果，再次取标准方数据作为标准，进行修复；用在时差比较大的情况下。（标准方由用户确认） 对有差异的号码，取 BSS数据作为标准销户重建；用在时差比较大，数据问题比较严重，的情况下 28 例 1：全量数据实时比对同步处理流程（以 BSS HLR为例） HLR 比对校正平台 BSS 按号段启动新任务 1 判断网元是否空闲?如果空闲开始取数据 2 根据手机号码查询 HLR用户数据 3 根据手机号码查询 BSS系统用户数据 4 数据比对：判断用户数据是否一致？ 5 记录数据比对结果 6 数据同步： 对不一致数据进行自动校正 7 同步请求：根据 BSS用户数据自动校正 HLR数据 8 数据更新 9 同步响