移动省级NG2-BASS3.0_技术规范_元数据管理

中 国 移 动 通 信 企 业 标 准 中国移动省级 NG2-BASS 技术规范 元数据管理分册（征求意见稿） 版本号： 3.0.0 QB-J-XXX-XXXX The Metadata Management Fascicule of New Generation Business Analysis Support System 中国移动通信有限公司 发布 2010-XX-XX 发布 2010-XX-XX 实施 QB-J-XXX-XXXX I 目 录 1. 范围 . 1 2. 规范性引用文件 . 1 3. 术语、 定义和缩略语 . 1 4. 经营分析系统元数据概述 . 3 4.1. 经营分析系统元数据的概念 . 3 4.2. 经营分析系统的元数据管理 . 3 4.2.1. 元数据管理的目标 . 3 4.2.2. 元数据管理的范畴 . 4 4.3. 经营分析系统元模型 . 5 4.3.1. 经营分析系统元模型概述 . 5 4.3.2. CWM 概述 . 6 4.3.3. 经营分析系统元模型与 CWM 的关系 . 9 4.3.4. 经营分析系统核心元模型概述 . 9 5. 元数据管理体系结构 . 10 5.1. 功能结构 . 10 5.2. 技术结构 . 12 6. 元数据管理功能要求 . 13 6.1. 元数据获取 . 13 6.1.1. 元数据获取 方式 . 13 6.1.2. 元数据自动获取管理功能 . 15 6.2. SQL 脚本自动解析 . 16 6.2.1. 运行日志的输出要求 . 18 6.2.2. SQL 词法语法分析 . 27 6.2.3. SQL 语义分析与元数据生成 . 28 6.2.4. 元数据入库处理 . 48 6.2.5. SQL 脚本上下文处理 . 49 6.2.6. 多路径问题和信息丢失问题的处理 . 54 6.3. TCL 脚本自动解析 . 54 6.4. 元数据存储 . 56 6.4.1. 元数据存储内容 . 56 6.4.2. 元数据存储方式 . 63 6.5. 元数据基本功能 . 64 6.5.1. 元数据维护 . 64 6.5.2. 元数据变更管理 . 64 6.5.3. 元数据查询 . 64 6.5.4. 元数据统计 . 65 6.5.5. 元数据使用情况统计 . 65 6.6. 元数据分析功能 . 65 6.6.1. 血缘分析 . 65 6.6.2. 影响分析 . 66 6.6.3. 数据地图展现 . 66 6.6.4. 实体关联分析 . 73 QB-J-XXX-XXXX II 6.6.5. 实体差异分析 . 73 6.6.6. 主机拓扑分析 . 73 6.6.7. 指标一致性分析 . 74 6.7. 元数据质量管理 . 74 6.7.1. 元数据质量检查概述 . 74 6.7.2. 元数据一致性检查 . 74 6.7.3. 元数据关系健全性检查 . 77 6.7.4. 元数据属性检查 . 78 6.8. 元数据服务接口 . 78 6.8.1. 元数据服务接口概述 . 78 6.8.2. 元数据封装技术实现 . 79 6.8.3. 元数据封装服务原语 . 80 6.8.4. 元数据封装接口应用 . 85 6.9. 元数据权限管理 . 95 7. 元数据应用要求 . 95 7.1. 指标库管理 . 96 7.1.1. 指标库管理内容 . 96 7.1.2. 指标库规范化要求 . 96 7.1.3. 指标库管理功能 . 96 7.2. 业务术语自助学习 . 97 7.2.1. 本地自助学习 . 97 7.2.2. 在线自助学习 . 98 7.3. 维表库管理 . 98 7.3.1. 管理范围 . 99 7.3.2. 功能要求 . 99 7.3.3. 管理场景 .107 7.4. 接口管理 .108 7.4.1. 管理范围 .109 7.4.2. 功能要求 .109 7.5. 两级经营分析系统元数据互通 . 112 7.5.1. 整体架构 . 112 7.5.2. 元数据互通内容 . 113 7.5.3. 元数据互通接口标准 . 114 7.5.4. 功能要求 . 114 7.6. 辅助应用优化 . 115 7.6.1. 应用开发与上线阶段 . 115 7.6.2. 应用评估与优化阶段 . 115 7.6.3. 应用退出与恢复阶段 . 117 7.7. 辅助安全管理 . 117 7.7.1. 数据敏感度管理 . 117 7.7.2. 敏感度服务接口 . 119 7.7.3. 客户隐私信息管理 .122 7.7.4. 客户隐私信息服务接口 .122 7.8. 基于元数据的开发管理 .123 QB-J-XXX-XXXX III 7.8.1. 开发过程与元数据的关系 .124 7.8.2. 开发过程各阶段功能 .126 7.9. 数据质量管理 .132 8. 元数据变更流程管理 .133 8.1. 元数据变更流程定义 .133 8.2. 元数据变更流程管理的功能要求 .134 8.3. 元数据变更流程的执行 .135 8.3.1. 指标库管理中的元数据变更流程 .135 8.3.2. 开发过程中的元数据变更流程 .135 9. 系统技术要求 .136 9.1. 元数据管理遵循标准的要求 .136 9.2. 元数据质量管理要求 .136 9.2.1. 元数据库中的数据质量要求 .136 9.2.2. 元数据获取过程的质量要求 .137 9.3. 元数据管理工具的要求 .137 9.3.1. 元数据抽取工具 .138 9.3.2. 元数据展示及分析工具 .138 9.3.3. 元数据维护工具 .138 9.4. 元数据存储与备份要求 .138 9.4.1. 元数据库存储要求 .139 9.4.2. 元数据库备份要求 .139 9.4.3. 元数据文件存储要求 .140 10. 编制历史 .140 附录：工程实施指导 .145 QB-J-XXX-XXXX IV 前 言 本规范的制订是为了更好地实现元数据的管理，为包括数据质量管理子系统和经营分析系统的各类基础技术和应 用提供支撑，加强经营分析系统数据的管控力度，支撑经营分析系统与源系统数据质量协同，增强系统自身管理能力。 本规范主要包括以下几方面的内容：经营分析系统元数据概述、元数据管理体系结构、元数据功能、元数据应用、元数据变更流程管理和系统技术要求。在元数据功能部分，着重描述了元数据获取、元数据质量管理和元数据服务接口等功能。在元数据应用部分，重点介绍了两级经营分析系统元数据互通、维表库管理和接口管理等应用。 本标准的附录一为规范性附录。 本标准由中移有限业 XX 号文件印发。 本规范由中国移动通信有限公司业务支撑系 统部提出并归口。 本规范由归口部门负责解释。 本规范起草单位：中国移动通信有限公司。 本标准主要起草人：段云峰、何鸿凌、付峰、汪峰、尚晶、张韬、易剑光、杨秋雁、崔洪涛、陈涛、曾成、金骏、朱伟胜、秦晓飞、赵静、徐少飞、邓青、赵洪松、李倩、谢志崇、田长江、余疆、陶涛、肖建明、张红星、魏春辉。 QB-J-XXX-XXXX 1 1. 范围 本标准规定了中国移动省级经营分析系统元数据管理的建设内容，供中国移动内部和厂商共同使用；适用于中国移动各省（直辖市、自治区）公司省级经营分析系统 元数据管理 的建设。 2. 规范性引用文件 下列文件中的条款通过本标准的引用而 成为本标准的条款。凡是标注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准。然而，鼓励根据本标准达成协议的各方对是否使用这些文件的最新版本进行研究。凡是不标注日期的引用文件，其最新版本适用于本标准。 1 中国移动省级 NG2-BASS技术规范总册（ v3.0） 中国移动通信有限公司 2 中国移动省级 NG2-BASS技术规范数据质量管理子系统分册 （ v3.0） 中国移动通信有限公司 3. 术语、定义和缩略语 下列术语 、 定义适用于本标准 ： 字母 名词 解释 C CWM CWM标准是 OMG组织定义的数据仓库和相关系统的国际元数据标准， CWM 标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互。 E ETL 特指从数据源系统到经营分析系统的数据抽取、转换和加载。 G 管理元数据 描述经营分析系统中管理领域相关概念、关系、规则的数据，主要包括人员角色、岗位职责、管理流程等信息。 H 核心元模型 经营分析系统核心元模型是指以 CWM 元模型为基础扩展而成的，针对经营分析系统进行精确定义的元模型规范，是企业级QB-J-XXX-XXXX 2 字母 名词 解释 的元模型规 范。 J 技术元数据 描述经营分析系统中技术领域相关概念、关系、规则的数据。主要包括对数据结构、数据处理方面的特征描述，覆盖 经营分析系统数据源接口、数据仓库、 ETL、 OLAP、数据挖掘、前端展现等全部数据处理环节。 S 数据处理过程 包含了从数据源系统到经营分析系统，以及经营分析系统数据仓库内部的数据抽取、转换和加载。 S 数据质量监控 自动获取经营分析系统各环节的数据质量信息，结合元数据库中的有关检查规则，对数据质量情况进行诊断，并及时向数据质量监控人员报告。 S 省公司 中国移动通信集团各省移动 通信有限责任公司。 S SQL 脚本 自动解析 经营分析系统的 SQL 脚本中所含的数据处理元数据属于技术元数据。 SQL 脚本自动解析指通过对 SQL 脚本的词法、语法和语义分析，自动生成满足 CWM 规范要求的数据处理元数据的功能。 Y 业务元数据 描述经营分析系统中业务领域相关概念、关系、规则的数据。主要包括业务术语、信息分类、指标定义（指标口径）、业务规则等信息。 Y 元模型 元模型是构建模型的公共语义基础，元模型必须达到一定的语义要求，以确保它能对问题领域的各个方面进行建模。必须遵循一系列已有的规则（抽象语言 ）来构建元模型，以保证经营分析系统中的各个软件产品和工具对元模型具有相同的理解。对于所有希望用元模型解释共享元数据的产品和工具来说，元模型的含义必须是一致的。 Y 元数据 元数据（ Meta Data）泛指描述领域概念（ Domain Concepts）、领域关系（ Domain Roles）、领域规则（ Domain Rules）的数据，其中，领域语义（ Semantics）和知识（ Knowledge）也属于元数据的范畴。 QB-J-XXX-XXXX 3 下列 略缩语 适用于本标准 ： 缩写 英文描述 中文描述 AST Abstract Syntax Tree 抽象语法树 BOSS Business Operation Support System 业务运营支撑系统 ODS Operational Data Store 操作型数据存储 CWM Common Warehouse Metamodel 公共仓库元模型 ETL Extraction Transformation Loading 抽取、转换和加载 OLAP On-line Analysis Process 在线分析处理 XMI XML Metadata Interchange XML 元数据交换 BI Business Intelligence 商务智能 REST Representational State Transfer 表述性状态转移 4. 经营分析系统元数据概述 本章概要介绍了经营分析系统元数据的概念和管理要求，并介绍了经营分析系统中元数据的基本模型。 4.1. 经营分析系统元数据的概念 元数据（ Meta Data）泛指描述领域概念（ Domain Concepts）、领域关系（ Domain Roles）和领域规则（ Domain Rules）的数据。领域语义（ Semantics）和知 识（ Knowledge）也属于元数据的范畴。 经营分析系统元数据泛指描述中国移动经营分析领域中的概念、关系和规则的数据。 4.2. 经营分析系统的元数据管理 4.2.1. 元数据管理的目标 为增强元数据管理模块的基础支撑能力，助力经营分析系统提升数据质量管控能力，NG2-BASS3.0 经营分析系统元数据管理的建设目标是： QB-J-XXX-XXXX 4 建立经营分析系统核心元模型，规范数据处理过程的结构化描述 根据经营分析系统的技术特点和实际建设需要，对 CWM 标准定义的元模型进行扩充和细化，建立经营分析系统核心元模型，细化对数据处理过程的结构化描述，优化 SQL 脚 本自动解析技术，进一步提升数据处理过程元数据的自动获取能力。 实现两级经营分析系统元数据互通，促进重点接口数据处理过程规范化 加强对省级经营分析系统生成一级经营分析系统重点接口的数据处理过程元数据的管理，基于互通元数据接口标准实现重点接口元数据的下发和重点接口数据处理过程元数据的上传，促进两级系统对重点接口统一理解和数据处理过程规范化。 为经营分析系统基础技术模块提供支撑，扩充元数据服务接口 元数据管理模块为数据封装和安全管理等经营分析系统的基础技术模块提供支撑，存储数据封装、数据敏感度和客户隐私信息等相关 元数据内容，扩充元数据对外服务接口内容，向外部模块或子系统提供元数据内容和元数据分析服务。 服务经营分析系统数据质量管理子系统，为源系统联动机制提供基础支撑 基于元数据管理模块统一管理指标、接口单元和维表等关键数据对象，建立相关应用和管理维护机制，提升关键数据对象的元数据质量，为数据质量管理子系统以及源系统协同管理提供元数据内容支撑和应用功能支撑。 4.2.2. 元数据管理的范畴 中国移动经营分析领域可宏观划分为三个子领域：技术子领域、业务子领域和管理子领域。相应地，经营分析领域的元数据可以划分为三类元数据：技术元数据 、业务元数据和管理元数据。这三种元数据的具体描述如下： 技术元数据 技术元数据是描述经营分析系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖 经营分析系统数据源接口、数据仓库与数据集市存储、 ETL、 OLAP、数据封装和前端展现等全部数据处理环节； 业务元数据 业务元数据是描述经营分析系统中业务领域相关概念、关系和规则的数据，主要包括业务术语、信息分类、指标定义和业务规则等信息； QB-J-XXX-XXXX 5 管理元数据 管理元数据是描述经营分析系统中管理领域相关概念、关系和规则的数据，主要包 括人员角色、岗位职责和管理流程等信息。 经营分析系统元数据用于支持经营分析系统的技术活动、管理活动和业务活动，其应用覆盖经营分析系统技术、管理和业务等各个方面，如 图 4-1 所示。 数 据 采 集 服 务 器门 户 服 务 器数 据业 务 系 统外 部 数 据手 工 补 录数 据 仓 库 /数 据 集 市O L A P 服 务 器W E B 服 务 器应 用 服 务 器源 数 据 层 数 据 采 集 层 数 据 存 储 和 管 理 层 应 用 服 务 层 门 户 管 理 与 用 户 层源 系 统 信 息 ：系 统 运 行 结 构库 表 信 息接 口 信 息维 度 信 息E T L 过 程 ：D W 映 射 关 系E T L 程 序 信 息数 据 转 换 规 则数 据 清 洗 规 则D W 信 息 ：数 据 仓 库 数 据 处 理 流 程D W 物 理 模 型 数 据 结 构数 据 字 典 及 程 序 库敏 感 级 别 及 客 户 隐 私 信 息数 据 库 目 录应 用 服 务 层 信 息 ：K P I 关 键 业 务 指 标数 据 分 析 模 型数 据 库 目 录门 户 管 理 ：安 全 认 证访 问 控 制帮 助 文 档 结 构一 级 经 营分 析 系 统元 数 据 库图 4-1 经营分析系统元数据管理范畴 4.3. 经营分析系统元模型 本节介绍经营分析系统元模型的内容，具体内容参见附件一：中国移动省级 NG2-BASS技术规范元模型规范。 4.3.1. 经营分析系统元模型概述 经 营分析系统元模型是经营分析系统元数据管理模块建设的基础，用于规范元数据库内部对象、关系、规则和操作等多方面的内容，其主要包括四个层面：基础层元模型、获取层元模型、数据层元模型和访问层元模型。此外，根据情况还可以包括可选元模型。 经营分析系统元模型需满足以下要求： 开放性 经营分析系统元模型以 CWM 作为基础模型，能够与其他各类 IT 系统进行互操作； QB-J-XXX-XXXX 6 适用性 经营分析系统元模型支持在 CWM 基础上进行扩展，从而描述经营分析系统自身特有的内容； 标准性 面向两级经营分析系统元数据互通的需要，以 CWM 为基础建立经营分析系统核心元模型，形成关键元数据对象的统一元数据标准。 经营分析系统元模型组成关系示意如 图 4-2 所示。 图 4-2 经营分析系统元模型组成和关系 以下分别介绍 CWM、经营分析系统元模型与 CWM 的关系，以及经营分析系统核心元模型。 4.3.2. CWM 概述 公共 仓库元模型 （ CWM: Common Warehouse Metamodel） 是为数据仓库及商业 智能环境间方便地交换元数据而制定的一个标准， 其主要目的是在异构环境下，实现不同的数据仓库工具、平台和元数据知识库之间的元数据交换 。 CWM 标准为数据仓库和商业智能（ BI）工具之间共享元数据，制定了一整套关于语法和语义的规范，它主要包含以下四个方面的内容： CWM（ Metamodel）：描述数据仓库元数据的模型； CWM XML： CWM 元数据的 XML 表示； CWM DTD：用来验证 CWM XML 文档； CWM IDL： DW/BI 共享元数据的应用程序访问接口（ API）。 4.3.2.1. 规范涉及的业界标准 CWM 标准是 OMG 组织定义的数据仓库和相关系统的国际元数据标准，目的在于使数QB-J-XXX-XXXX 7 据仓库和商业智能软件的元数据在分布异构的数据分析工具、数据仓库平台、元数据存储等系统之间进行交换。目前，这个元数据标准得到了 IBM、 Unisys、 NCR、 Oracle 和 SAS 等厂商的支持。 CWM1.1 标准涉及以下几个国际标准： XMI 1.1； MOF 1.4； UML 2.0。 UML 用来描述元模型本身和一些对象元数据， CWM 中，和元数据相关的类定义是借助 UML 语言进行表述的。 MOF 用来定义 CWM 的体系结构和元模型语言的语义。 XMI 是XML 形式 的元数据接口定义语言，它是元数据管理体系中默认的元数据交换文件形式。 4.3.2.2. CWM 结构 CWM 的体系结构如 图 4-3 所示，包括五个层次：对象模型层、基础层、资源层、分析层和管理层。 图 4-3 CWM 体系结构 对象模型层（ Object Core） ：构造和描述其它 CWM 包中的元模型类。 基础层（ Foundation） : 包括表示 CWM 概念和 结构的模型元素，这些模型元素又可被其他 CWM 包所共享，它由以下六个子包组成： 业务信息（ Business Information）包：包括表示模型元素业务信息的类与关联； 数据类型（ Data Types）包：包括表示建模者可以用来创建所需数据类型的结构的类与关联； QB-J-XXX-XXXX 8 表达式（ Expressions）包：包括表示表达式树的类与关联； 键和索引（ Keys and Indexes）包：包括表示键和索引的类与关联； 软件部署（ Software Deployment）包：包括软件如何在数据仓库中发布的类与关联 ； 类型映射（ Type Mapping）包：包括表示不同系统之间数据类型映射的类与关联。 资源层（ Resource）： 用于描述数据资源的包，它包括以下四个子包： 对象（ Object）包：包括表示其他类型数据资源的元数据的类与管理； 关系（ Relational）包：包括表示关系型数据资源的元数据的类与关联； 记录（ Record）包：包括表示记录型数据资源的元数据的类与关联； 多维（ Multidimensional）包：包括表示多维数据资源的元数据的类与关联； XML 包：包括表示 XML 数据资源的元数据 的类与关联。 分析层（ Analysis）： 它由以下五个子包组成： 转换（ Transformation）包：包含表示数据抽取和转换工具的元数据的类和关联； OLAP 包：包含表示 OLAP 工具的元数据的类与关联； 数据挖掘（ Data Mining）包：包含表示数据挖掘工具的元数据的类与关联； 信息可视化（ Information Visualization）包：包含表示信息可视化工具的元数据的类与关联； 业务术语（ Business Nomenclature）包：包括表示分类业务的元数据的类与关联。 管 理层（ Management）： 用于描述数据仓库管理的包，它包括以下两个子包： 仓库过程（ Warehouse Process）包：包括表示仓库过程的元数据的类与关联； 仓库操作（ Warehouse Operation）包：包括表示仓库操作结果的元数据的类与关联。 CWM 作为数据仓库领域的元模型标准，在元数据的集中管理、元数据互操作和元数据交换方面发挥重要作用。但是 CWM 作为一个国际性、厂商无关、平台无关的规范，只提供一个公共的元模型框架，将数据仓库领域的公共特性纳入元模型中。 CWM 对于物理实现精确定义的细 化程度不足，而且对业务和管理信息的描述无法满足经营分析系统实际建设需要。因此，经营分析系统元数据管理模块需要对