公共信息平台技术方案.docx

.公共信息平台技术方案文档版本V1.0发布日期2014.03.07目 录1.系统架构12.软件架构23.硬件架构34.软硬件配置需求45.系统功能55.1.数据共享系统55.1.1.数据采集55.1.2.采集任务管理55.1.3.信息处理55.1.4.数据服务65.1.5.接口检测65.1.6.数据统计分析报表65.1.7.自身管理75.2.数据交换系统75.2.1.数据交换与访问75.2.2.发布流程管理95.2.3.访问流程管理95.2.4.参数配置95.2.5.信息使用行为统计报表9精选范本1. 系统架构公共信息平台的总体架构如下图所示：图1 系统总体架构图如上图所示，公共信息平台由数据共享系统和数据交换系统两个子系统组成。数据共享系统实现对公共数据、以及各智慧应用需要共享出来的数据进行统一采集和集中存储，为综合门户和手机APP等应用提供基础数据支撑。数据交换系统实现对数据共享系统的对外接口以及各智慧应用的对外接口进行集中调度和管理。2. 软件架构公共信息平台的软件部署架构如下图所示：表示层数据共享系统数据交换系统数据来源文件用户操作界面数据库KETTLE数据库WebServiceHTTP信息流DB数据流MuleESBOther数据采集数据服务流程引擎平台管理模块发布流程访问流程图3 软件部署架构图3. 硬件架构公共信息平台的硬件部署架构如下图所示：图2 物理部署架构图如上图所示，公共信息平台需部署三台服务器和一台PC终端，分别为数据共享系统服务器、数据交换系统服务器、数据库服务器、管理终端。.4. 软硬件配置需求序号业务名称台数CPU内存硬盘操作系统（小版本号）中间件部署（小版本号）其他软件或要求1数据共享系统服务器1Intel E5 26808核8G600GWindows 2008Tomcat 6Kettle2数据交换系统服务器1Intel E5 26808核16GB600GWindows 2008Tomcat 6MuleESB3数据库服务器1Intel E5 26808核16GB1TWindows 2008无Oracle 10g4管理终端1Intel i3 2核4GB100GWindows 7无.5. 系统功能5.1. 数据共享系统5.1.1. 数据采集数据共享系统支持对组织机构域、公共域、平台域、基础设施域、业务应用域和综合域等六个域的信息数据进行采集，针对不同的采集方式提供相应的WebService适配器、文件适配器、数据库适配器等适配器进行数据的采集。为了使系统具备良好的可扩展性，充分适应未来变化的数据管理需求，系统提供了高可扩展性的数据适配框架。WebService的Server端、Client端，以及其它适配器，都作为数据适配框架的插件而存在。未来如果出现需要扩展的其它适配技术，只需要增加新的插件即可。无论插件的增加、移除，均不影响适配框架的正常运行。5.1.2. 采集任务管理为了使系统具有更好的灵活性，系统采用基于策略的采集技术和任务化的采集方式，支持管理员灵活设置采集周期、执行时间、采集接口等参数，同时对于采集任务，支持增加、修改、删除、启用、停用等操作。5.1.3. 信息处理信息处理包括对采集到的数据进行语法检查、语义分析、格式转换、持久化存储等环节，具体来说：语法检查：根据数据接口规范的要求，系统对采集的数据进行语法检查。检查的内容主要包括：数据格式的正确性、数据的完整性、数据类型的正确性、数据是否可空等。如果检查不通过，则在记录本批次的数据异常信息，以便后续的分析。语义分析：系统对采集到的数据进行语义解析和处理。格式转换：将数据从元数据模型转换为物理模型可接受的数据，同时对数据进行统一化处理，转换单位、保留小数等。持久化存储：对转换为物理模型的数据进行数据库存储。系统采用开源的ETL工具Kettle进行信息处理，Kettle以元数据驱动的方式提供强大的抽取、转换和加载(ETL) 能力，并且提供了简单易用的图形界面设计器。Kettle本身支持各种数据源，包括数据库、文件、LDAP、WebServcie和RSS等数据源。Kettle提供了一组Java接口，可以通过应用控制Kettle的执行过程，并对Kettle的执行信息和结果信息进行监控。5.1.4. 数据服务数据共享系统对综合门户和手机APP等应用等第三方应用系统提供访问系统内数据的服务。5.1.5. 接口检测数据共享系统提供接口检测的功能，通过周期性巡检的方式，对各数据采集接口和数据服务的接口进行检测，当发现接口异常时，自动记录日志便于维护人员进行分析。同时，对于数据服务的接口支持自保护的功能，当接口检测发现数据服务接口异常时，通过自动重启该接口服务的方式，快速恢复数据服务运行。5.1.6. 数据统计分析报表数据共享系统提供数据统计分析报表，对系统中的数据进行汇总分析，通过宏观全景的分析报表来表现用户关心的数据，并支持将报表导出为Excel、PDF等格式的文件。5.1.7. 自身管理数据共享系统提供自身管理的功能，主要包括数据自动备份、采集日志管理、访问日志管理等对于系统自身的管理功能。数据自动备份，系统定期对数据库中的数据备份为库文件或SQL文件，用于防范当系统故障时，可以快速进行数据恢复。采集日志管理，系统自动记录数据采集接口的日志，主要包括接口名称、接口地址、采集时间、采集结果等参数。同时，系统提供支持管理员对采集日志进行查询和导出。访问日志管理，系统自动记录数据访问接口的日志，主要包括接口名称、接口地址、访问者地址、访问时间、访问结果等参数。同时，系统提供支持管理员对访问日志进行查询和导出。5.2. 数据交换系统数据交换系统实现对数据共享系统的对外接口以及各智慧应用的对外接口进行集中调度和管理。从功能上来讲，主要包括数据交换与访问、发布流程管理、访问流程管理、用户与角色管理、权限管理、日志管理、参数配置、信息使用行为统计报表等。5.2.1. 数据交换与访问数据交换系统以开源组件Mule-ESB为基础，提供数据交换与访问的服务。Mule ESB是一种基于java的、轻量级的企业服务总线和集成平台，并且允许开发者快速的、简单的连接应用，并能够实现数据的转换。Mule-ESB的数据交换功能示意图如下所示：图5 Mule-ESB数据交换示意图数据交换与访问的功能主要包括：1) 服务目录：用Mule ESB作为一个服务容器来暴露可访问的服务。2) 服务调解：隐藏服务消息的格式和协议，将业务逻辑从消息中独立出来，并可以实现本地独立的服务调用。3) 消息路由：基于内容和规则的消息路由、消息过滤、消息合并和消息的重新排序。4) 数据转换：在不同的格式和传输协议中进行转换数据。无论数据共享系统还是各智慧应用对外提供的数据接口都统一在数据交换系统中注册，对于综合展示门户和手机APP等数据使用方直接通过数据交换系统来访问数据。数据交换系统在接受到数据使用方的调用请求时，通过消息路由功能，将此请求转换至数据提供方的接口进行响应。5.2.2. 发布流程管理为了方便后期系统功能的扩展，系统提供发布流程管理功能，对服务的发布过程进行管理，新服务的发布需要经过申请、审核，批准后才能执行发布，执行发布后更新服务目录。5.2.3. 访问流程管理访问流程管理是对服务访问方首次访问服务之前的申请及审批过程进行管理，访问请求被批准后用户需要更新权限信息，然后服务访问方才能访问相应的服务。5.2.4. 参数配置参数配置功能时对系统中的关键参数进行设置的功能，具体包括：1) 系统启动参数：最大内存占用量，服务IP地址，总线参数等。2)