数据中台数据模型建设方案V2

1、数据地图元数据第三方小数据呈在线交互，交换数据呈较大、定期或一次性大批府用高实时性要求低实时性要求呈数据要求soap/wtp;FTP 个V1o（|bc/k）bc服务模式数据服务API接口模式发布订阅模式数据库模式数据版务1数据服务2眼务策略管理访问队列管E认振务目录维护访问雜管控负载均衡服务检索访问过程管控统计分析一服芬路由服务运行縱访问缓存管控安全及自身管理管数据服务管理与发埋数据中台数据模型建设方案目录 TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 第1章综述3 HYPERLINK l bookmark3 o Current

2、Document 项目背录3 HYPERLINK l bookmark4 o Current Document 建设目标31. 2.1数据资产自动汇聚、一键发布3数据资产可视、可用、可管理42. 3数据质量可控、可视、可追溯5 HYPERLINK l bookmark5 o Current Document 建设思路5 HYPERLINK l bookmark6 o Current Document 第2章建设方案7 HYPERLINK l bookmark7 o Current Document 2. 1采集层71.1采集适配模块72. 1.2数据处理适配器72. 1. 3数据采集策略的定制

3、管理8 HYPERLINK l bookmark14 o Current Document 2.1.4数据补采10 HYPERLINK l bookmark16 o Current Document 2. 1.5采集调度模块11 HYPERLINK l bookmark40 o Current Document 数据模型层20 HYPERLINK l bookmark41 o Current Document 2. 2.1建模方法思路21 HYPERLINK l bookmark47 o Current Document 数据模型分层架构设计24 HYPERLINK l bookmark48

4、o Current Document 数据治理功能262. 3.1统一数据标准管理26 HYPERLINK l bookmark49 o Current Document 2. 3.2统一数据建模26 HYPERLINK l bookmark50 o Current Document 2.3. 2. 1统一数据加工272. 3.3统一数据资产272. 3.4统一数据质景管理272.3. 4. 1统一数据共享与开放28 HYPERLINK l bookmark51 o Current Document 能力开放292.4.1数据资产开放29 HYPERLINK l bookmark52 o Cu

5、rrent Document 2.4. 2指标开放292.4. 3数据服务超市29 HYPERLINK l bookmark53 o Current Document 网管迁移方案30 HYPERLINK l bookmark54 o Current Document 2.5.1BI 工具302.5. 2话务及数据专业报表明细整理33第1章综述1.1项目背景在20年集团网络工作部署，明确提出构建网络中台，推进业务拉通和数据共 享。打造数据业务化、业务数据化、技术通用化的网管中台架构体系。以业务与 数据治理为核心，存量系统共性能力按需解耦改造、新增能力遵循分层架构建设。1.2建设目标针对本次系统

6、接管与替换，在整体架构上考虑以中台支撑现有系统的发展， 基于智慧平台构建的0SS数据中台，实现数据专业整合，打通专业信息壁垒和数 据孤岛，提升数据规范化水平。实现数据集中存储和业务逻辑的数据处理，包括 按时间粒度和维度组合的数据汇总。同时数据中台中的数据可根据需要封装后直 接对上层应用开放。1.2.1数据资产自动汇聚、一键发布数据资产多手段自动汇聚通过三种手段实现数据处理相关的接口、模型、任务、服务、指标各环节元 数据及血缘关系的自动获取，同时发布为数据资产。血缘关系自动获取，自动获取数据实体间的上下游信息，字段之间转换 关系。血缘关系登记录入：在无法自动获取血缘关系的场景下，提供血缘关系登记

7、录入界面，以补充完整数据血缘关系。/元数据登记录入：支持数据实体的批量录入功能，能够满足物理实体及其元数据信息的快速创建。指标库 标签库数据资产一键发布依托统一的元数据库，将开发完成的标签、指标数据一键发布到标签库、指 标库、。标签库：展现企业的标签数据，用于包括开发人员、业务人员、运维人员理 解系统标签库的现状，支撑其进行数据订阅使用、生命周期管理等应用。指标库：展现企业的指标数据，用于包括开发人员、业务人员、运维人员理 解系统标签库的现状，支撑其进行数据订阅使用、生命周期管理等应用。1.2.2数据资产可视、可用、可管理强化元数据管理能力将数据开发过程和元数据登记录入过程融合，实现元数据信息

8、的自动录入。 实现数据开发的统一管控数据生产各环节的开发工作基于数据管理模块实现，各环境的元数据信息自 动获取，并同步给其他应用系统，确保应用系统的元数据信息与数据管理模块一致。数据资产应用审批确保数据资产安全，上层应用或用户申请数据使用时，需要通过流程审批。数据对内开放信息完整提供样例数据査询，字段级统计数据齊询，以方便开发人员选择所需数据资1.2.3数据质量可控、可视、可追溯数据标准落地结合湖南移动网络运维与业务发展要求，梳理适合本地的数据标准，井基于 数据管理模块完成数据标准的IT落地。数据血缘关系可视通过数据生产各环节的元数据信息自动获取，形成端到端的数据血缘关系， 通过可视化手段呈现

9、数据血缘关系。端到端数据质量监控依托数据标准与数据血缘关系的构匙建立数据质量稽核告警与端到端可视 化呈现机制，质量情况可监控，可量化。1.3建设思路集咨曲务数据 幵放腿专:ik采獮移a巨闕番缅客户ms砌贼81制n向性析移功网数幵放冢客錄棚幵放新让捕据开放团向赃棚IK 辨用户行为识3!授型瞞专般舞核心专采集集客Ik务设番采集工作台元数超管理腿可视化雜析网堪眼务授娶用硼触1%计算系祝翻脉触系统整体分为数据采集层、数据模型层、能力开放层及功能域。数据采集层：采集层采用模块化设计思想，从业务功能上分为采集适配器、数据处理层、采集调度层、数据共享层四个层次，并通过系统自身管理模块实现自身的业务逻辑控制和

10、管理，通过多维监控和质量管理，实现对系统平 台的实时多角度监控与数据质量管理；同时，开放标准化的外部管理接口，以实现对外的可管理性。业务功能层面，每层只需要关心本层的数据、业务 逻辑和业务实现，层与层之间通过标准接U进行交互，能更好地实现系统的 可扩展性。数据模型层：结合业界规范和多年的0数据数据建模经验，综合考虑了数据 特点、存储方式、处理效率、处理复杂度、访问效率及模型扩展性等方面，采用了模型分层设计的思想，分为原始数据层、基础数据层、融合信息层、 应用数据层四层，实现了数据源和加工处理过程的分离，保证了数据流向清 晰，提髙了数据访问效率等。 能力开放层：主要提供发布订阅模式、异步模式、同

11、步模式等不同模式的数 据开放共享。数据治理功能域：提供对数据的统一治理能力，主要包括数据标准管理、元数据管理、数据资产管理、数据安全管理和数据质量管理等能力。第2章建设方案2.1采集层2.1.1采集适配模块采集适配模块实现网元直连网管接口采集和OMC北向接口适配采集；采集适 配器层接收采集任务，实现与设备侧的接口协议适配，从设备侧获取原始数据， 进行数据采集，采集适配器的功能组成如下：协议适配、数据获取，并支持被动 接收设备侧发送的数据。采集的源数据通过适配器北向接口向上共享。采集适配器支持实时数据、非实时数据；协议接口类型支持文件接口、数据 库接口、指令接口、Syslog接口、NetFlow

12、接口、SNMP接口、C0RBA接口等主流 网管接口类型，同时支持接口类型的扩展。系统提供釆集适配器的注册、动态加载及注销功能，并提供采集、处理适配 器参数配置界面，以及适配器状态查看功能。并对适配器进行手工的状态变更， 比如启动、停止、重启等操作。2. 1. 1. 1 采集过程数据检测能够及时检测设备侧发送过来的文件准备好消息通知或者原始数据准备情 况，数据准备好消息接收到后立即进行采集；数据始终未达到设定的完整标准， 也能把部分准备好的数据进行采集，可配合厂商侧的情况，尽最大可能完整及时 的采集数据。2.1.2数据处理适配器数据处理适配器接收调度中心的数据处理命令，将采集适配器生成的数据进

13、行处理、关联运算，通过ETL过程将数据录入到数据库中。数据处理适配层接收处理任务，对数据进行解析、格式化，并根据需要进行，风暴抑制、数据上报、KPI指标计算。原始数裾、格式化数裾、KPI指标均可以 推送到数据共享层，可以文件、数据库、消息等方式进行传送和保存。可以有选 择地提供告警数据过滤能力。2.1.3数据采集策略的定制管理根据第三方应用，或者定制的配置、性能和告警数据的特性，采用不同的策 略利用导航方式创建采集流程，描述了在何时到何地采集什么样的数据。以向导式根据不同业务需求创建合适的采集策略。根据性能、配置和告警数据的特性，采用不同的策略创建流程，明确创建过 程，降低用户输入错误率。采f

14、t性能数据注棚賓般細&棚.实炒雄布.is分仲小时一f.分 3湖玄时.教发和通11C0R8A摄格ae设备於进行极主轵tor在則，采助i_i了没备的扁中城方穿憧怜給於g采隹比较传好.fi论一忘.因此采集的任务移fi眼芳的投*上 WLAN数 （AP，一级热点.二级热点）用W5?. BJS忙.超闲AP.进行WIANMM3奇:倍令数据数之间卿好瀟:采ttKE数解*力天实集一次.荈用期发起请氏+鉚Egg?供分数据（用户终媒、迗华、a数用户8*倍e用子分析用户行为.用P蛇小区棚使用驚兄.新计对性TO!破：创建策略的步骤有采集数据（数据源和数据集）、处理数据（标准化和制定策略。描述了在何时到何地采集什么样的数

15、据。采累取据迎理取据话荣G*JRBWiS5D5FTP3*RUSK 至FTP；IFTP首先选择数据源，即到何地采集，也可以直接创建一个新 数据源。主要是通过FTP服务方式获取报告，但不限于此。 之所以采用服务的方式进行描述，而不是OMC ,是因为通 用性更好，扩展性更强。采霣妇据划理敢据制定策略8fES 爆棚突5棚校苗战15伸ICRM 1咖供rU* rOMC.MM冪钃Q BMWMVXM1MT-9!其次选择数据集，即采集的什么数据。数据集是根据集团:规范预先定义好，他包括了哪些报告，4报告中应该具! :备明陛count,所以需避免策略创建过程中的滥用,否则不; !利于规范化进程。I开肪对采鬣的行疼

16、灌化采累馭据划理飲据话荣番番下一歩 涵涵函三不释 Si否遍涵福i涵報聂S理。如果报告已经是标准文件格式，则可以不需要标准化 处理。话束m采爾铵据划理叙据S称：10哎件：糊Rr23 : 15W3 次贼棚：60 采戴曲2W抄效缺球时长:300秒灌求/授示59SX9 : C边百 卯gm功的助现 S :番略 朌砘沁字糸斟鋼S燧字糸，SSSS&?字米W烟枷菇皿咎字米乏燕7J、洚葙字米罢碧g薛lHImss。汫抖：皿;SIH : B?s;iln -111図測君a図邮雞猫a-3蝱-&皿咨alfgm沏 3孬.裏擊|雜；漾麗浮猫；議-|字雜 H来義七薄，硌S1沌缝_3来楚葙觉1 戽，ssllleff渲糸絲篛-#捏

17、H#泽耳，浒帘隊ftw咎字糸，3-s 沙皿&wi胳米義，a砌丑44讲曠_民鵁X, sssss 米，鱗汫米鞭蹄3雖此浮_描围雖緬冷奇nwMs,到淳瞄陈3雜米迪冷掛抖wi-k犍冰漭，W敗舡它淳瞄薄贺3#耷-7-;3棼議 浮崗，粱1糸峋政炒箱囊菊肤驾楚議3糸練一E碑，SSSSS SN碑糸痒錨。2. 1. 5. 5 状态监控对下发到采集机上的采集任务的执行情况监控，如有某一采集任务某次采集 有问题，及时进行处理保证数据采集的连续性。实时监控任务全生命周期各个环节：未下发任务、正在执行的任务和异常结朿的任务，提供单个任务的流程拓扑图，端到端査看相应环节的执行情况。当出现异常任务吋，系统除支持自动补救以外

18、，还可以进行手工的补救以及分环节的补救。2. 1. 5. 6 采集节点负荷异常的影响范围控制系统考虑了采集的数据分级，在紧急情况下能保证高级别数据的采集完备 性；对于采集节点的负荷也进行分级监控，采集的新增、调整、停止也充分考虑 到各个采集机的负荷情况，调整机制完备；极限情况下，低级别采集任务的停止、 或是否新增能够提示管理员进行干预，同时支持未干预条件下的自动执行机制， 机制合理、安全。2. 1. 5. 6. 1高安全平台容灾机制调度屮心池可承载多个调度屮心，从而达到调度屮心级别容灾。调度中心池可以为一个适配器启动多个实例，从而达到适配器级别容灾。此两者容灾的能力将使整套架构均能达到每一层的

19、容灾能力，即任何一层 中的设备宕机都不会对系统运行造成致命的影响。2.1.5. 6. 2更高效负载均衡能力系统采用最优适配器算法，即根据采集机负荷的评估动态选择合适的适配 器实例，可以有效的利用分布式资源，从而髙效的进行任务调度，确保采集任 务的及时、高效。tnspur2. 1. 5. 6. 3热插拔式升级和扩容能力新増的调度中心可即时分担调度工 作，升级则可以将原来的重启,可实现24小时运行0務。新増的适配器实例可即时分担采集 工作，升级则可以将原来的重启,可实现24小时运行务。此两者容灾的能力将使整套架构均能达到每一层的扩容能力，即任何一层 中的服务都可以随时增加，而不会对系统运行造成致命

20、的影响。2.2数据模型层结合业界规范和多年的大数据建设经验，浪潮提供完整、合理、准确的数据模型建设方案。a立统一和标港的业务定 义和数据绝织.统一实体，统 -銘,统一规范实体属性和 关系2、建立全局数据视图匿盖 资源.业务、客户、运维等层 面及各层面之间的关联关系.采用了模型分层设计的思想综合考虑了数据特点、存储方式、处理效率、处理复杂度、访问效率及模型 扩展性等方面，采用分层的模型设计思想，按照原始数据层、基础数据层、融合 信息层和应用数据层建设。“自顶向下”和“自底向上”相结合的建模方法采用“自顶向下”和“自底向上”相结合的建模方法，对数据模型体系结构 分层设计。遵循“概念模型-逻辑模型-

21、物理模型”的三阶段五步实施法每层模型通过概念-逻辑-物理的三个阶段，按照概念模型设计、数据源系统 评估、逻辑模型设计、物理模型设计与实施、模型验证与优化的五个步骤进行实 施落地。逻辑分层、物理分布式存储的模型存储设计基于数据的分层模型结构，结合实际技术选型，数据采用逻辑分层，物理分 布式存储的方式，并对典型数据的处理流程、访问流程进行设计规划。合理的模型存储计算部件选择结合各层数据的特点（数据量、访问频度、存储周期等）和各项技术的特性（存储、计算、查询、扩展等方面），对各层模型的存储计算部件进行合理 规划。2. 2.1建模方法思路数据中台数据建模的基本思想：采用概念模型、逻辑模型、物理模型三阶

22、段建模方式； 自顶向下”方式为主，从业务需求出发，分析研宄业务需求 中的业务场景，提炼业务数据，界定系统的数据范围，划分主题域， 对业务数据进行分类，构建抽象实体，最终梳理出业务实体，以及实 体之间的关联关系，通过实体及实体间关系表示业务规则；“自底向上”方式为辅，从源系统入手，研宄和识别源系统 内的数据实体，并对数据实体进行分类；将实体以及实体的分类结果 与“自顶向下”方式梳理出的结果进行对比，验证建模结果的合理性， 并进行修正；“自顶向下”和“自底向上”两种方式相互协作，不断迭代 演进，逐级细化，构建出数据模型；充分考虑未来的业务分析需求，对于一些通用概念和结构采 用相同的模型设计，从而保

23、证了公用和未来扩展的需求；遵循业界通用标准和方法论（SID）,保证模型的适用性；2. 2.1.1模型设计思路遵循模型设计规范要求，采用“自顶向下”和“自底向上”相结合的建模 方法。根据业务需求设计应用层模型，根据数据源模型设计ODS、BDS、CIS 层模型，在CISADS间实现数据的结合。数据源原始数据层基a瞰据层融合信自层应用数据层数跡系统済洗业务分析指标飾醐归一4E1 1)摄口旅Ss1f分析颇=i画2. 2.1.2模型设计原则标准化、规范化原则数据模型应遵从统-的主题域划分和实体命名规则，保证模型的标准化和 规范化：先进性原则要求逻辑模型在设计上吸收业界、国内外优秀的建模经验与方法，确保模

24、 型的先进性； 一致性原则数据模型的设计要能够确保数据的一致性，消除各数据源的数据不一致 性，以保证数据模型内的信息是关于整个企业一致的全局信息；扩展性原则要求数据模型具备良好的可扩展性，支持对模型的迭代性演进。当业务需求提出新问题或有新的数据加入模型时，要求数据模型能够确保现有的数据和 应用都不发生改变，更不得导致系统崩溃；自上而下的设计与自下而上的验证原则数据模型是为业务分析服务的，所以在创建模型时，应以业务需求为驱动。 根据业务需求采用自上而下的方法设计并实现数据模型，并且采取迭代演进的 模式，逐步丰富数据模型，逐步求精。同时，为了验证设计与实现的合理性与 正确性，要求以实际数据对模型进

25、行自下而上的验证；简单可识别原则实体命名等要遵循简洁、能直接识别出业务意义的原则。2. 2.1.3数据建模步骤数据建模五步法如下:i模型设计数据源g快浮怙19招授型ifiit物理授型设计与实施授型验II与优化分析业劳需求.评估数据质垣与明确逻播模型实珪立物理授型，按醒劳罟求was确定范围定义提供能力.进行体、居性，主提映射文生成的支淳能力、效垄等生成指标隹.区字段理性取舍、.关联珪授语句、数S进行獅分基本涵.衍整台确定实two我貝R射脚本优化调费授型结构.娜标，作为业明确接规范法.新堪.惨改饥行脚本进行物形成最终授型劳元数据桎理确定业劳授型理桎型落to明确頊需求概念模型设计：分析业务需求，确定

26、范围定义，确定概念模型生成指标集，区分基本指标、衍生指标，作为业务元数据梳理明确接口需求数据源系统评估评估数据质量与提供能力，进行字段属性取舍、整合明确接口规范确定业务模型逻辑模型设计明确逻辑模型实体、属性、主键、关联确定实体加载算法，新增、修改物理模型设计与实施建立物理模型，映射文档；生成建模语句、数据映射脚本执行脚本进行物理模型落地模型验证与优化按照业务需求对模型的支撑能力、效率等进行验证2.优化调整模型结构，形成最终模型2. 2.2数据模型分层架构设计2. 2. 2.1分层架构设计原则结合业界规范和多年的大数据建设经验，综合考虑了数据特点、存储方式、 处理效率、处理复杂度、访问效率及模型

27、扩展性等方面，采用了模型分层设计的思想，分为原始数据层、基础数据层、融合信息层、应用数据层四层，实现了数据源和加工处理过程的分离，保证了数据流向清晰，提高了数据访问效率等。XXX舰应用数据层(ADS)应用数据mt数摘助费进行新俎粘is,专蜃个性化脣求.快速wa用户霈乳采用祕it的曲轘方式议长明存ttSt合信皂层(CIS)越础数据层(BDS) 原始数据层(ODS)存场汇.S飲摘.为用户曰主分析提供史霣采用罐焴if槽方式.支持SS橘型和；檑型:寘中让务相关性絞败荈力充衷数珀番议至少保S年做为的數耐.主要咨妇一；处連(败拍的濟洗、关馱投也 蠘mbwi位 析O 采用关JRIMI . asai籌算三范式

28、数M筘番行数K保捋 数作为数K冲fc .臧少对败鑽_1力:ft于间困3鱗及数癱折处 _ 与M耐算的帽罘数初S番议保番7天原始数据层作为数据缓冲区，减少对数据源系统压力；便于问题回溯及数据重新处理与数据源的模型保持一致基础数据层做为稳定的基础数据层，主要做归一化处理(数据的清洗、关联整合、编码统一据单位统一等)，釆用实体-关系建模，模型遵循第三范式融合信息层存储汇总数据，为用户自主分析应用提供支撑采用维度建模方式，支持星型模型和雪花模型；其中业务相关性较高的数据合并为宽表*应用数据层对汇总数据层数据进行重新组织满足部门、地市、专题个性化需求，快速响应用户需求。采用反范式的建模方式2. 2. 2.

29、 2数据模型分层设计基于数据的分层模型结构，结合实际技术选型，数据采用逻辑分层，物理分 布式存储的方式。各层模型存储原始数据层：数据存储在接口层内，物理上存储在接口机磁盘及 Kafka集群内。基础数据层：用户详单数据（信令相关）存储在HBase集群内，经清洗归一化后的非用户详单数据存储在MPP数据库内。融合信息层：经汇总后的各类数据存储在MPP数据库内。应用数据层：针对上层应用的数据存储在关系型数据库内。2.3数据治理功能2. 3.1统一数据标准管理按照数据中台新建数据标注内容，实现对数据标准的统一管控。针对青海移动数据标准体系中规定的各类数据对象分类、数据分层、数据分 域、数据命名规则、数据

30、编码规则等各类标准进行界面化统一管理，指导。数据标准管理模块对数据标准提供系统工具支撑，包括标准管理、标准展示、 标准监控三大功能。面向数据管理者提供标准发布、审批管理等功能；面向数据 维护者提供标准维护、稽核、版本管理等功能；面向数据提供者和消费者提供查 询、提取、核对及分析等功能，全面提供数据标准服务能力。2. 3. 2统一数据建模基于数据标准和元数据管理体系，提供可视化的建模工具，构造最优的数据 库模式，建立数据库及其应用系统，能够有效地存储数据，满足大数据治理需求。系统提供基于元数据管理图形化数据建模工具，提供模型的设计、审核、实 施、验证；包含物理模型的设计、指标模型、分析模型的设计

31、等。设计库与实际数据库逬行比对，二、通过业务应用进行验证。2.3. 2. 1统一数据加工根据业务需求及各类技术特点，对平台内的不同类型数据釆用不同的数据处 理技术及流程，主要分为大数据处理流程、传统数据处理流程、实时流数据处理 流程。2.3.3统一数据资产数据资产是指己通过数据清洗规则配置，并进行任务校验后的有效数据或是 系统中的资产数据，以不同的方式呈现给用户，或供用户使用。数据资产以资产 的角度开展数据管理工作，为解决目前普遍存在的需求分散重复、口径模糊等问 题，实现成果和经验的共享和积累，方便实现应用和数据的生命周期的自动化管 理。数据资产化包含了数据资产梳理盘点和数据价值评估的过程。2

32、. 3. 4统一数据质量管理系统支持对、Ik务数据进行全面的质量管理，通过数据质量的管理办法、组织、 流程以及评价考核规则的制定，及时发现并解决数据质量问题，提升数据的完整 性、及时性、准确性和一致性，从而提升数据的价值。基于数据架构体系，为平台提供全程的端到端数据质量管控;2. 3. 4. 1统一数据共享与开放以独立的功能组件“数据共享模块”统一实现对外的数据共享，通过采用层 次化、面向开放共享的技术架构，将系统的应用与数据解耦，形成相对稳定、独立、开放的数据共享模块，支撑上层各类应用及外部系统的数据需求，实现“一个数据平台，支撑多样化内、外部应用”的目标。数据地图元数据第三方小数据a在往交

33、豆.交换数涯B较大、定期戒一次性大批府用亮实时性求低实时注要求锯貶求soap/Atp:FTP O(|BC/jbBC瞟_ 口模式-发布订阅模式数据库模式 -H数鋤22.4能力开放数据开放门户实现了对共享平台的指标、模型、数据开放服务的统一管理、 展示及在线申请订阅功能。2. 4.1数据资产开放从模型角度展示平台数据资产，展示当前平台内己具备的模型情况，提供分 领域、分专题的导航2. 4. 2指标开放从指标角度展示平台数据资产，展示当前平台内己具备的指标情况，提供分 领域、分专题的导航。实现对平台管理的指标进行统一呈现，包括对指标进行全 局搜索、按照接入系统对指标进行分类统计、按照维度实现对指标的过滤等等功 能。2. 4. 3数据服务超市展示平台对外发布的服务信息，支持服务的申请及调用。2.5网管迁移方案话务网管建议不再考虑单独建设，基