数据中台解决方案20190929

1、数据中台介绍数据中台的概念由阿里巴巴首次提出，它是一个承接技术，引领业务，构建规范定义的、全域可连接萃取的、智慧的数据处理平台，建设目标是为了高效满足前台数据分析和应用的需求。数据中台是涵盖了数据资产、数据治理、数据模型、垂直数据中心、全域数据中心、萃取数据中心、数据服务等多个层次的体系化建设方法。数据中台概念数据服务化数据中台是培育业务创新的土壤，是利用数据促进业务创新的保障数据标准化“书同文，车同轨”，避免了“重复数据抽取和维护带来的成本浪费”数据智能化通过大量智慧算法训练数据细胞，形成数据大脑，产生智慧的力量，预先洞察未来数据资产化数据不断的在补充，数据模型不断的进化，只有在滋养中才能从

2、最初的字段单一到逐渐成长为企业最为宝贵的模型资产数据中台的内核包括两方面：一个是应用数据的技术能力，另一个是数据资产的管理。数据中台概念全流程一体化从数据采集到数据服务全链路通向上多样化赋能场景通用产品+行业产品+专享产品向下屏蔽多计算引擎公共云+专有云+混合云双向联动业务与产品&技术协同互助One DataOneIDOneService数据标准化数据规范定义从业务源头标准化技术内核工具化规范定义、建模研发、调度运维、元数据驱动智能化半自动化智能化规划计算和存储技术驱动数据连接基于超强ID识别技术连接数据技术内核工具化超强ID识别、高效标签生产、业务驱动价值化孤岛高质量高价值主题式数据

3、服务主题逻辑表屏蔽复杂物理表统一但多样化数据服务一般查询+OLAP分析+在线服务跨源数据服务屏蔽多种异构数据源数据中台建设方法高内聚和低耦合主要从数据业务特性和访问特性两个角度来考虑：将业务相近或者相关的数据、粒度相同数据设计为一个逻辑或者物理模型；将高概率同时访问的数据放一起，将低概率同时访问的数据分开存储。数据可回滚处理逻辑不变，在不同时间多次运行数据结果确定不变。核心模型与扩展模型分离建立核心模型与扩展模型体系，核心模型包括的字段支持常用核心的业务，扩展模型包括的字段支持个性化或是少量的应用的需要，不能让扩展字段过度侵入核心模型，破坏了核心模型的架构简洁性与可维护性。公共处理逻辑下沉及单

4、一越是底层公用的处理逻辑更应该在数据调度依赖的底层进行封装与实现，不要让公共的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。成本与性能平衡适当的数据冗余换取查询和刷新性能，不宜过度冗余与数据复制。开发过程规则表命名需清晰、一致，表名需易于消费者理解和使用，相同的字段含义在不同表中字段命名必须相同，必须使用规范定义表中的名称。数据中台设计原则规范定义是指以维度建模作为理论基础，构建总线矩阵，划分和定义数据域、业务过程、维度、度量/原子指标、修饰类型、修饰词、时间周期、衍生指标等。一般指标组成体系可以划分为：原子指标、衍生指标、修饰类型、修饰词、时间周期。原子指标时间周期修饰词衍生指标修

5、饰类型数据规范定义设计数据地图管理，是对整个数据中台内的数据进行统一查询、管理的“地图”，数据地图主要面向数据开发者，汇聚用户所有数据信息，通过元数据信息收集、数据血缘探查、数据权限申请授权等手段，帮助数据中心专有云完成数据信息的收集和管理，解决有哪些数据可用、到哪里可以找到数据的难题，并且提升数据资源的利用率。基本管理自动探查平台内存在的表信息，记录表名、字段、分区、存储等信息，同时支持数据预览。血缘关系管理根据任务、脚本等因素自动建立血缘关系，实现数据链路的可查询、可跟踪。生命周期管理覆盖全部数据的自动化生命周期管理，提高存储系统利用效率。权限管理表级、字段级的权限授权、审批等流程，从更高

6、层面保障数据安全。支持多级表类目管理，实现最快时间找到最需要的数据。类目体系管理对同步任务产生的脏数据统一查看与管理。脏数据管理对新建、删除、变更表结构等操作自动记录，实现数据操作踪迹可查询。操作记录管理数据资产管理数据模型管理，主要是为解决架构设计和数据开发的不一致性，是为了约束平台使用者的表名、字段名的规范性，架构师从工具层合理的进行模型分层和统一开发规范，包括2部分，一个是规则配置，另一个是对表名、字段名的定期校验。规范化检测中心模型设计基础配置表级l 模型层级（ODS/DWD/DWS）l 主题域（销售、库存、用户）l 刷新频率（天、周、日）l 增量定义（全量、增量）l 模型生成规则字段

7、级l 原子指标l 衍生指标l 规则生成层级主题域刷新频率自定义+示例：ODS_sales_D_customAnalyl 模型检测l 模型不规范原因分析l 字段检测l 字段不规范原因分析数据资产管理在实际生产中，数据计算任务没有告警，但不代表数据就是正确的，比如源数据异常、代码逻辑修改等原因都会造成结果数据错误。数据质量就是保障数据正确性的工具，主要包括这么几部分：一是支持准确性校验规则，二是支持双表校验，三是输出校验报告。支持的数据源l 目前已支持6种数据源，符合绝大多数场景下的质量校验校验规则l 基于数据生产的实战经验，内置20余种校验规则l 支持表级、字段级2类规则质量报告l 支持字段级、表级校验报告，具备历史数据统计功能，辅助定位数据质量的问题根源数据资产管理以云计算，大数据，人工智能技术为基础平台，搭建全域、实时、智能的数据中台。网站统计移动统计客流统计DMP价格监测品牌卫士经营分析管理决策市场洞察广告营销反黄牛接待大屏媒体大屏接待大屏行业定制数据应用数据中台数据资产数据研发数据地图数据血缘资产分析资产管理资产运营数仓规划指标规范模型构建数据同步数据开发日志分析用户画像推荐引擎营销引擎智能风控舆情分析分析