永洪科技云计算技术白皮书.docx

2011永洪科技永洪科技Z产品云计算技术白皮书永洪科技Z产品云计算技术白皮书1产品介绍，包括技术优势和功能简介3产品平台和指标的软硬件配置3Z产品云计算体系架构及工作原理4产品核心功能介绍6便于计算的存储方式6结论6Z产品是北京永洪商智科技有限公司面向海量数据分析型应用领域，定位于实时发现型敏捷的商业智能解决方案。Z产品系列包括以下几个相辅相成的产品线, 分别是数据仓库，数据加速器，即席查询&报表，打印。下面介绍Z产品的云计算技术。产品介绍，包括技术优势和功能简介从企业角度看，日益增长的信息已经很难存储在标准关系数据库甚至数据仓库中，例如，怎样查询一个十亿行的表，怎样跨越数据中心所有服务器上的所有日志来进行一个数据查询，更为复杂的是很多数据是非结构化或者半结构化的，这就更难查询了。Z产品基于分布式架构，包括了分布式计算、分布式存储、分布式通信等模块，为海量数据的存储、计算、分析提供了底层支撑。分布式地操纵大量数据，在海量数据处理上具备了很多的优势：1. 高容错性：从设计上Z产品云计算技术已经假设了各服务器节点可能宕机，或者网络可能分割。这些问题会导致某些机器不可用。Z产品通过如下手段实现了高容错性：1.1文件复制；1.2 数据完整性检测；1.3 元数据多源备份及Log机制；1.4 集群均衡。2. 高伸缩性： Z产品通过集群可以从一台机器扩大到上千台机器。具备很强的应对业务变化的能力。这里的业务变化可以是几个小时之内业务量从波峰到波谷之间的转换，也可以是中长期的业务增长或者变化。3. 高效分布式计算：Z产品将商业智能分析行为拆分为可分布式计算的模块，交由云端节点分布计算并汇总，真正意义上做到了海量大数据的即时响应。Z产品的云计算技术为永洪的数据仓库提供了支持，可以为数据仓库提供导入数据，分布式存储，分布式计算功能，使得永洪的数据仓库可以高效的工作。产品平台和指标的软硬件配置操作系统：任何支持JDK1.5（或以后版本）的操作系统，包括：windows 2000/XP/2003/vista/win7，Linux，Unix (AIX、FreeBSD)，Solaris，Mac OS X。数据库 支持各种主流数据库，包括Oracle，MYSQL，DB2，SQL Server，Derby，Informix，Access。用户也可以提供满足JDBC的驱动来连接其它数据库。WEB 应用服务器：支持主流的应用服务器，包括：Tomcat, Weblogic, Websphere,jboss。 JDK 环境, 全面支持JDK1.5 及以后版本。浏览器: Internet Explorer 6 及以后版本, Firefox1.2 及以后版本, chrome，safari。 响应时间：页面响应时间小于3 秒、报表分析查询时间在1-5 秒内。Z产品云计算架构介绍及工作原理将多台机器联网，调配成云平台。一台配置成Client服务器，一台配置成Naming服务器，一部分配置成Map服务器，一部分配置成Reduce服务器。 Client服务器：负责接收客户请求，并把分析处理需求分解，交给Map-Reduce框架处理。Client服务器自行制定Job（任务），并通知Reduce服务器和Map服务器执行Task（子任务）。 Naming服务器:负责命名工作。它知道当前有多少台Map服务器和Reduce服务器，及这些服务器的配置状况。Map服务器和Reduce服务器会定期发送各自配置情况，workload(工作量)，CPU，内存等信息。 Map服务器:负责处理Map Task。它被预先部署了客户的原始数据，也被预先部署了Map Task的代码文件集，当它接收到Client服务器发送的Map Task，可以直接执行该任务。 Reduce服务器:负责处理Reduce Task。它被预先部署了Reduce Task的代码文件集，可以直接执行该任务。每台服务器总是开启了伺服进程，由于执行的代码文件集已经被预先部署，当接收到请求时，不用再开启/停止进程。伺服进程能够自行管理，并在线程池中执行任务。服务器之间的通讯机制采用自主研发的通讯方式。该通讯方式的特点是多路，复用，异步。通过该通讯方式提高海量数据传输交换的稳定性，减少CPU、内存的开销，提高节点间的传输效率。产品核心功能介绍l 高效的分布式管理框架及通讯机制l 强大的向下推送方式的函数分解计算，将商业数据分析行为分解为分布式计算l 精心设计的存储结构以利于高速运算l 特有的跨粒度计算、内存计算、列计算，并行计算技术来加速数据的计算海量数据，实时分析海量结构化/非结构化数据，传统的数据仓库方案难以应对时至今日，大数据时代(BigData)的来临已经毋庸置疑，尤其是在电信、金融等行业，几乎已经到了数据就是业务本身的地步。互联网行业的风生水起，推进着数据社会化（SocializationofData）。从论坛到游戏社区再到微博，从互联网到移动网再到物联网，已经产生而且还将继续产生越来越多的数据。这些数据蕴藏着极其丰富的商业价值。在基础的清洗整理工作之后，更好地分析这些数据，及时发现商业异常、共性、以及市场变化，就能避免重大损失，创造巨大财富。高成本的软硬件投入或许可以暂时应对，例如采购传统BI巨头IBM、Microsoft、TeraData等公司的产品，但问题也不少。传统商业智能解决方案的问题 巨大投入。传统商业智能解决方案寄希望于强大的服务器来存储和处理数据。这种大主机思路能够解决一时的问题，但在财力和人力上，意味着巨大的投入。令人沮丧的是，这种投入不是一时的，而是长期的、持续的。 无法应对海量数据的增长。不断增长的海量数据，有时候是指数级增长，意味着需要比以前强大数倍甚至数十倍的服务器，这种感觉对谁来讲都很坏。 无法满足数据分析的敏捷需求。部署这种复杂的商业智能方案，往往需要半年到一年的周期，而其部署的数据模型之刚性，难以承受商业运作的变化。风云变幻的市场环境，最需要敏捷商业智能平台的强力支撑。永洪云计算技术，打开了一扇窗永洪科技基于实时云计算架构的BISolution，能在轻松处理海量数据的同时，满足了用户对实时性的关键性需求。这种BISolution有这样一些优势： 支持海量数据。云计算架构天生很好地支持了海量数据存储和计算。 性价比高。低成本硬件+低成本软件+低成本运维，确实做到了。 灵活性大。数据增长，可以再添加一些低成本服务器，PC机也可以。假设商业模式变化了，需要一分为二，那么商业智能系统也可以很快地、相应地一分为二，继续强力支撑BI需求。 实时分析。用户提交的分析请求，大多可以在一秒钟之内返回结果，达到准实时(NearRealtime)的响应能力。用户完全可以将这种BI平台当成交互系统来使用。强大、准确、快捷的数据分析能力，将能为用户最大地创造商业价值。独有多项专利技术，处于国际领先地位，为用户的大数据问题提供最优性价比的解决方案基于自主研发的多项云计算技术专利，永洪科技的Z产品在存储，通讯，计算等等云计算关键技术都有独特的设计，为用户低成本，扩展性好的搭建项目提供了可能，并能使系统响应尽可能快的展现分析结果。便于计算的存储方式传统的关系型数据库都是按照行来存储的，这种设计对于事务处理等方面有着良好的性能表示，但是对于数据分析等应用来说，列存储有着更明显的优势，现在很多数据库厂商也开始提供列存储的产品，比如HP的vertica