大数据技术架构解决方案

大数据分析技术架构解决方案大数据分析平台产品技术架构典型行业应用案例技术基础研究方向研究方向关键任务制高点大数据可视化挖掘1）新型内存迭代数据挖掘算法2）数据挖掘可视化开发平台3）房地产、金融、电信等机器学习模型研究1）基于内存计算的机器学习算法2）行业大数据深度机器学习模型3）大数据可视化挖掘大数据内存计算1）基于内存的迭代算法研究2）内存大数据高速统计分析技术1）基于大数据内存的计算技术2）国内产品领先大数据语义分析1）大数据自然语言识别2）非结构化数据的知识发现、集成技术大数据平台的可视化集成目前是空白领域大数据云计算技术1）大数据云计算平台技术2）商业智能云平台技术1）云BI技术及大数据平台的核心技术研究2）大数据云BI在国内应用是未来趋势，有望建成国内第一家云BI平台-技术基础研究方向开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，在国内外杂志、会议发表了多篇高水平论文。获得视频识别，知识学习与推理相关发明专利2项，申请发明专利7项。大数据环境下的无重叠视域跟踪大数据技术，解决视频领域的知识识别，知识发现，知识集成与跟踪，推理等关键技术问题。多项国家自然科学基金大数据技术来实现国家经济免疫系统数据接口大数据知识推理系统疑点数据审计数据中心审计跨12个行业，跨地区数据源传统审计大数据审计无法跨地区、跨行业审计跨行业、跨区域审计事后审计、周期性审计连续审计复杂性隐蔽问题难以发现智能化，具有预测功能依据小样本经验地毯式排查大数据分析，建立抵御和预防手段审计行业大数据知识推理系统房地产大数据利用大数据建模技术，实现房地产价格指数、房地产评估模型碳交易利用大数据建模技术，建立全省碳排放计量监测体系的数据体系、技术体系、模型体系和评估体系，形成满足碳排放计量关系方程和参数目录联合实验室大数据分析平台产品技术架构典型行业应用案例数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理相关的模型、与风险控制相关的模型、与生产销售预测相关的模型等数据挖掘应用领域产品名产品ETHINK可视化挖掘概要通过在浏览器内，鼠标拖拽形式实现加载数据、转换、建模、评估、图形以及结果输出特点通过视觉工作方式轻松获得此界面可以保障操作的灵活性在最短的时间内形成最多样的模型大数据挖掘，速度快关系型数据库数据挖掘模型算法库/语义分析Hbase/Hive/Hdfs

可视化数据挖掘平台多维自助分析调度管理SQL接口JDBC/ODBC内存计算服务Scala/Java/PythonOLAPServer手机平板电脑批处理实时流处理交互式查询统计分析平台ETHINK产品架构特点一一丰富建建模方方法特点可拖拽拽式建建模JDBCWebServicesRestfulapi可扩展展性强强自定义义模型型，扩扩充组组件特点传统的的关系系型数数据(mysql、Oracle等)列式数数据库库(Hbase)非结构构化数数据(Hdfs、文件件系统统)大数据据（Hbase、Hive）特点二二大数据据处理理特点开放型型平台台BS结构，，一站站式建建模、、评估估、部部署基于Spark平台内存计计算运算速速度快快特点GBPB特点三三大数据据处理理能力力特点基于Spark平台内存计计算执行数数据挖挖掘时时，方方法论论非常常重要要.因为准准确的的方法法论能能够提提高作作业速速度,能系统统地减减少各各种进进展状状况，，所以以选择择正确确的方方法论论是很很重要要的.CRISP-DM方法论论是全全球认认可的的数据据挖掘掘的标标准执执行方方法论论.功能模块金融电信行业1.信用卡用户流失预测2.基于客户分群的精准智能营销3.基于公司价值评价的证券策略投资电力行业1.电力负荷预测2.自适应防窃漏电实时诊断互联网行业1.电子商务网站用户行为分析2.基于用户行为分析的定向广告投放3.企业信息系统用户服务感知评估

制造业行业1.制造设备生命周祺管理2.制造业投入产出预测公共服务业

1.空气质量预测2.卷烟消费者购买行为分析3.纳税人偷税漏税评估场景应用用（实验验室模拟拟实验课课题）目录联合实验室大数据分析平台产品技术架构典型行业应用案例交互式查询实时在线处理实时流处理

批处理基于spark内存的计计算模型型，同时时支持批批处理、、交互式式处理、、流处理理。技术架构构解决方方案-要解决的的问题技术架构构解决方方案-分布式内内存计算算批处理应应用（分钟级级别~小时级别别）OLTP/在线事务务处理应应用（毫秒~秒级别））OLAP/在线交互互式分析析应用（秒级别别）实时流处处理（持续不不断）技术架构构解决方方案-交互式查查询通常的时时间跨度度在数十十秒到数数分钟之之间按数据维维度进行行统计、、聚合根据历史史数据进进行拟合合和预测测计算数据据之间的的相关性性和模式式等适合提供供高速在在线分析析服典型应用用场景政府各部部门数据据证券交易易银行保险险企业ERP/CRM等适用于数数据量在在GB到TB的高速数数据分析析技术架构构解决方方案-实时在线线处理通常的时时间跨度度在数百百毫秒到到数秒之之间数据来源源多、高高并发、、数据处处理量达达分析结果果快速响响应典型应用用场景社交网络络分析、、关联关关系分析析用户分类类、用户户行为预预测高并发查查询按主键毫毫秒级检检索按多维度度秒级检检索按照关键键字秒级级检索事件驱动动计算模模型，系系统处于于持续不不断计算算之中，，事件响响应延迟迟在毫秒秒~秒级。流式计算算系统处处理应用用的处理理逻辑是是由源源源不断的的数据流流驱动。。典型应用用场景有金融在在线欺诈诈预警广告CTR推荐系统统技术架构构解决方方案-实时流处处理技术架构构解决方方案-批处理及及离线挖挖掘时间跨度度在数十十分钟到到数小时时之间。。离线挖掘掘主要用用于，多多维统计计预测，，准实时时分析以以及对客客户进行行聚类、、分类等等数据挖挖掘应用用。典型应用用场景电子商务务推荐引引擎流失客户户预测挽挽留日志清洗洗、ETL用户行为为分析目录联合实验室大数据分析平台产品技术架构典型行业应用案例项目需求求将总行下下发的数数据及核核心业务务数据，，经过数数据整理理、加载载到省级级数据中中心，并并进行各各项业务务快速应应用开发发数据源某省公积积金中心心，近五五年的操操作、交交易记录录，共10亿条左右右。系统环境境4台X86架构的PC服务器，，共128G内存单台服务务器，8核CPU,32G内存解决方案案Hbase导入海量量数据，，并支撑撑大数据据查询可视化设设计、可可视化报报表实现现了数据据的实时时分析行业应用用案例-金融行业应用用案例-金融系统由对对公客户户综合积积分子系系统、展展业通客客户综合合收益分分析子系系统、授授信客户户资金结结算子系系统、对对公柜面面交易流流水分析析子系统统等组成成行业应用用案例-金融项目需求求整合第三三方支付付数据资资源，分分析挖掘掘客户交交易、反反馈信息息、交易易行等数数据，实实现精准准营销，，最大限限度地提提升产品品价值数据源某第三方方支付平平台交易易、反馈馈数据，，月交易易记录量量1亿条。系统环境境６台X86架构的PC服务器，，共96G内存单台服务务器，8核CPU,16G内存解决方案案Hbase导入海量量数据，，并支撑撑大数据据查询Hive对历史交交易数据据进行分分析可视化设设计、可可视化报报表实现现数据的的实时分分析基于ETHINK可视化挖挖掘平台台，完成成精准营营销建模模持卡客户户多维分分析：持卡客户户人口统统计特征征分析持卡客户户交易行行为模式式分析持卡客户户应用场场景分析析特约商户户多维分分析：商户基本本信息分分析/商户业务务收益分分析商户价值值贡献度度评估／／商户收收单风险险分析持卡客户户和特约约商户双双向分析析特定特征征客户特特定时间间消费商商户分布布分析特定时间间在特定定商户消消费的客客户特征征分析行业应用用案例-金融项目需求求烟草工业业企业目目前积累累了大量量的数据据信息，，管理方方式由粗粗放式管管理转为为精细化化管理，，产生了了利用大大数据技技术收集集、管理理和展示示分析结结构化和和非结构构化的数数据和信信息的诉诉求，于于是如何何利用这这些数据据创造更更大的价价值、为为领导决决策和企企业精益益管理提提供有力力支撑成成为重要要的课题题。数据存储储近1年数据，，每秒钟钟10000个数据采采集点系统环境境硬件环境境：数数据库库服务器器1台+4台分布式式pcserver单台4核，16G内存解决方案案流处理模模块处理理设备实实时数据据流事件预警警开发平平台，实实现问题题预警基于ETHINK数据挖