互联网云计算及P2P技术研究报告.doc

中国通信标准化协会课题编号： 互联网云计算与P2P技术研究报告目 录研究报告要点31.背景42.云计算的应用情况52.1 各厂商云计算计划52.2对上述云计算应用的评述73.云计算应用类型94.云计算的主要技术104.1 分布式计算技术104.2 Web Service技术（待补充）154.3 虚拟化技术155.云计算的业务场景 （TBD.）156.云计算对互联网的影响156.1对技术发展的影响156.2 对业务发展的影响166.3 对行业监管的影响167.云计算存在的主要问题168.P2P与云计算（分布式计算技术方面）的技术比较179.在电信网络中结合使用P2P与云计算 (TBD.)189.1 技术思路189.2 技术方案189.3 使用场景18附录：云计算与网格的技术比较 (待补充)18研究报告要点本研究报告详细讨论了云计算中的主要技术，比较了云计算技术与P2P技术的异同点并提出了在未来电信网络中将二者结合应用的思路和方案。首先该报告针对目前互联网领域的热点技术云计算进行介绍和讨论，描述内容主要包括研究背景、应用情况、主要技术、业务场景和存在问题等内容。此外，该报告从技术角度分析了云计算技术与目前电信运营商积极推动采用的热点技术P2P之间的关系，指出了二者在本质上的一致性，并列举了二者在应用上的异同点。最后，该报告讨论了结合两种技术的优势，并应用于电信领域的思路以及初步技术方案等。1. 背景随着互联网技术的飞速发展，互联网上的数据急剧增多，同时硬件配置水平也显著提高，如何更安全地存储数据，更合理地利用计算资源，已成为当前研究的热点内容。针对上述问题，人们在分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)等研究领域进行了大量的研究工作，并取得了一定的研究成果。云计算（如图1所示）作为一种基于互联网的新兴应用模式，可以说是上述技术的商业实现。它集中了所有的计算机资源，采用按需分配的资源配置模式，为用户提供了一个强大的计算与存储平台。图1 云计算由于云计算技术具有分布式、可扩展性、高可靠性、高性价比和高度灵活性等优点，相对于传统数据库中心的计算模式，具有巨大的应用潜力和优越性。此外，云计算引入了全新的商业模式，必将对互联网产品的开发和应用带来巨大的影响。市场研究公司IDC称，云计算不仅为互联网服务供应商创造了新的机会，而且推动了传统IT产品的转变。在未来五年里，IT云计算服务开支将增长近三倍，到2012年将达到420亿美元。云计算的收入将占五个关键细分市场收入的9%。 更重要的是，云计算开支在整个预测期内的增长速度将加快，到2012年占整个IT开支增长的25%，在2013年将占整个IT开支增长的将近三分之一。 2. 云计算的应用情况2.1 各厂商云计算计划图2 Amazon云计算图亚马逊最早推出了云计算服务。其云计算产品总称为Amazon Web Services（亚马逊网络服务，参见图2），主要由4部分组成：S3(Simple Storage Service, 简单的存储服务）；EC2(Elastic Compute Cloud, 可伸缩计算云）；SQS（Simple Queuing Service，简单信息队列服务），以及SimpleDB。在2008年8月，Amazon 又推出了EBS（Elastic Block Store，弹性块存储）以完善EC2的云存储功能。早在2006年，亚马逊就推出了首个云服务，即简单存储服务S3，它能提供无限量的文档，照片，视频和其他数据的存储。该服务被许多软件公司采用为客户提供下载和网络存储服务，并在不到一年的时间里，就存储了50亿个对象。由于亚马逊的云计算产品价格便宜，吸引了大批中小企业，甚至纽约时报、红帽、晟碟等大型公司，为亚马逊带来了丰厚的利润。目前云计算的服务对象多是企业，亚马逊也在尝试将其应用到政府、科研等研究领域和大型企业的关键应用当中亚马逊推出了针对大型数据库的简单数据库服务，该服务在安全性、登录管理、账户管理方面都有独特的设置方式。尤其在账户管理方面，不仅有整体的账户，还会有分账户的复杂管理。该服务将按照字节单独计费。值得一提的是，美国某些地方的个税系统已经开始应用云计算架构，也许让云架构涉及核心应用已经为时不远。图3 Sun云计算Sun公司也基于云计算理论提出，未来的数据中心不会再被局限在拥挤而闷热的机房里，而是一个个可移动的集装箱，企业可以把它移动到包括“郊外”在内的各种地方，降低机房的开支。2008年5月，Sun在2008JavaOne开发者大会上宣布推出“Hydrazine”计划（参见图3）。至此，集结在“云计算”旗帜之下的软件供应商又增加了一位重量级成员。基于“Hydrazine”计划，Sun希望利用其核心技术打造一个包含网络环境、数据中心和其他基础设施组件在内的完整解决方案，如Sun的JavaFX丰富互联网应用程序技术、Sun的Glassfish应用服务器、Sun企业服务总线、Sun目录服务器、MySQL、“廉价存储”和Sun的硬件，从而使得开发人员利用Sun平台创建托管应用与服务，并且不用到任何其它地方就可以利用这些应用程序和服务赚钱。此外，作为“Hydrazine计划”的一部分，Sun还推出了“Insight计划”。这个分析功能可以让开发人员知道谁在使用他们的产品，并利用这个功能注入广告赚钱。图4 Google的云计算Google则以开源的姿态推广它的云计算平台，这使得用户可以得到这个平台的代码并修改它。2006年，Google使用MapReduce技术，通过40台服务器集群构建了第一个云。Google的数据中心在节能、速度、成本方面很有优势，因而Google能够以极低的成本增添运算能力。如图4所示，其云计算架构主要包括集群管理和控制系统(Cluster)、分布式并行计算(MapReduce)、分布式数据管理(BigTable)、分布式文件存储(GFS)、分布式数据并发访问控制(Chubby)和工作队列(GWQ)等。此外，在2007年10月，Google还和IBM达成协议，同美国卡耐基-梅隆大学、麻省理工大学、斯坦福大学、加州大学伯克莱分校、马里兰州大学和华盛顿大学等六所大学展开合作，为其计算机专业学生和研究人员提供硬件、软件和服务支持。Google-IBM云将会提供由数百台计算机组成的数个集群，这些计算机包括Google的定制机器、IBM的BladeCenter和System X服务器。图5 IBM蓝云计划除了与Google合作，为美国高校提供相应云服务，推动云计算的研究，IBM在2007年也推出其云计算计划，即蓝云计划（Blue Cloud），参见图5。它基于由IBM软件、系统技术和服务支持的开放标准和开源软件，包括一系列的云计算产品。而且，IBM还计划将大多数服务器产品都升级为支持蓝云的产品，将蓝云渗透到IBM的软件、硬件以及服务之中。谷歌和IBM两家公司也计划将他们的云合作拓展到企业级领域。在云计算领域，IBM有着许多得天独厚的优势，如在其产品线中，应用服务器、存储和管理软件样样具备。此外，IBM还可以绕开数据从本地转移到互联网过程中的安全问题这一障碍，通过向客户出售云计算方案与终端，为企业建立属于自己的云计算数据中心来发展这一计划。IBM已拥有了最为完整的包括硬件、软件与服务的云计算解决方案，来帮助企业客户利用云实现成本与效率的优势。近日，IBM在全球获得了伊丽莎白雅顿、Nexxera、美国高尔夫协会 (The United States Golf Association) 、Indigo Bio Systems以及 TOTVS等5家云计算客户。IBM最新软件产品可管理并确保云计算环境安全；IBM全球服务部(Global Services)不仅为企业提供可安全测试应用的全新IBM云环境，还将通过云为企业提供数据保护方面的软件服务；IBM与 Juniper Networks 联手合作混合云能力，演示“溢流云(overflow cloud)”。图6 Windows Azure 提供计算及存储服务在PDC2008的主题演讲中，微软首席软件架构师Ray Ozzie宣布了微软的云计算战略以及云计算平台Windows Azure。如图6所示，Windows Azure提供了一个基于Windows的虚拟计算环境和存储，可以把Windows Azure理解为云端的操作系统。它的底层是数据中心中数量庞大的Windows 64位服务器。Windows Azure通过底层的结构控制器（Fabric Controller）有效地将这些服务器组织起来，给前端的应用提供计算和存储能力，并保证其可靠性。在Windows Azure之上，Azure services Platform提供了很多针对不同用途的服务，如图7所示。Live服务：微软将Windows Live的很多功能和资源，通过Live服务器封装以后提供给软件厂商和开发人员使用。通过Live Services，可以存储和管理Windows Live用户的信息和联系人，将 Live Mesh中的文件和应用同步到用户的不同设备上去。 .NET服务：最初被命名为BizTalk服务，它提供了一个基础架构，来构建基于Internet的分布式应用，初步实现了Internet服务总线的一些功能。不仅可以提供给云计算平台使用，同时企业自由的服务器程序也可以使用。.NET Services由访问控制、服务总线和工作流三个模块组成。 SQL服务：是一个云计算平台之上的数据库服务。现在，提供了类似于SQL Server的数据存储、查询能力。不就的将来，会提供报表、数据分析、数据同步等功能。SQL服务是构建在企业级的SQL Server数据库和Windows服务器之上。 图7 Azure Services Platform2.2对上述云计算应用的评述总体而言，微软、Oracle、IBM、Sun、英特尔等IT巨头都面临着云计算的挑战，而Google则依靠其搜索引擎后来居上，在此领域一枝独秀。Google能有与微软等软件巨头竞风流的实力，有如下几个重要的客观理由：1）数据是实现云计算的根本，有了“数据”的云，才有计算的云。搜索引擎就是从海量数据中寻找信息的技术。随着信息量的增多，用户的增加，搜索引擎技术只有将更多的硬件和软件组成群集参与计算，才能支撑如此规模的计算。这就是云计算的雏形。全球数以亿计的用户和Google的搜索平台形成了这样的关系：用户只需要通过IE这种简单的客户端就能享受Google提供的搜索服务。这正是“云计算”的软件服务模型，也形成了Google现在的商业服务模式。相对而言，微软、Oracle、Sun等专注于功能软件的研发，这些功能软件必须依靠单台PC或者服务器，给用户带来了一种复杂和冗余的体验。2）应用是云计算得以普及和发展的催化剂。Google的搜索引擎现在成了每个人都需要的工具，并成为全球最大的搜索引擎平台，拥有全球的用户。谷歌通过运营搜索引擎，能分析出网民最关心什么，最感兴趣的是什么以及这些人的范围和特点，这样也更容易推出受关注和喜欢的应用。反观微软、Oracle、Sun等长期专注于某一功能软件的研发，他们的产品不是在寻找信息、搜索信息，而是用于产生信息、输出电子文档，就人的需要程度而言远远比不上Google的搜索平台。 3）微软、Oracle、Sun等云计算技术的自身局限。微软在98年之前就提出了Windows DNA，即基于Windows平台的网络分布式应用体系结构，还在COM（组件对象模型）上提出了DCOM，COM，也就是分布式的组件对象模型。后来微软又提出了.net，.net的思想是扩展服务器和客户端模型为松耦合服务的丰富的、分布式计算范例；今天的.live也是基于这样的一种考虑。由上可见，微软的分布式是一种基于组件之间的分布式，重点在于应用程序之间的协同和调用。与此类似，Oralce、Sun、IBM等所谓的“云计算”也与此类似。微软、Oralce、Sun、IBM的云计算之所以局限于应用程序的层次上，主要是因为它们长期依靠这样的商业模式：客户通过购买软件介质安装在PC上实现单点服务，软件功能越多价值就越高。这让用户体验过程变得复杂、繁琐，也不是软件即服务的简洁模式。因此不论从概念上，还是技术上，他们的云计算与Google的云计算存在层次上的差别。 3. 云计算应用类型图8 云计算应用类型如图8所示，根据目前主流云计算服务商提供的服务，云计算依据应用类型可分为： 1）软件即服务（SaaS） 此类云计算主要是采用multi-tenant架构，通过网络浏览器将单个的应用软件推广到数千用户。从用户角度来说，这意味着他们在前期无需针对服务器或软件许可证授权进行投资；从供应商角度来看，与常规的软件服务模式相比，维护一个应用软件的成本要相对低廉。迄今为止S是企业应用软件领域中最为知名的供应商，SaaS在人力资源管理软件方面运用比较普遍。2）效用计算（Utility computing） 此类云计算的想法本来并无新意，但由于有了Amazon、 Sun,、IBM和其它从事存储服务和IT随需访问的虚拟机厂商的参与，其焕发出了新的生命力。早期的企业主要将效用计算作为补充，不会应用在关键性任务上。但是时至今日效用计算逐渐在数据中心开始占据一席之地。一些供应商向用户提供解决方案，以帮助IT企业从商业服务器开始创建数据中心，比如3Tera的AppLogic和Cohesive Flexible Technologies的Elastic Server都可提供此类随需服务。Liquid Computing公司的LiquidQ也有类似的服务，能帮助企业将内存、I/0、存储和计算容量通过网络集成为一个虚拟的资源池来使用。 3）云计算的网络服务 网络服务与SaaS密切相关，网络服务供应商提供API来帮助开发商通过网络拓展功能，而不只是提供成熟的应用软件。其服务范围从提供分散的商业服务（如Strike Iron和Xignite）到涉及到Google Maps,、ADP薪资处理流程、美国邮电服务、Bloomberg和常规的信用卡处理服务等的全套API服务。 4）平台即服务（PaaS） 平台即服务（Platform as a service）是SaaS的一种特殊形式，此类云计算将开发环境作为服务来提供。用户可以创建自己的应用软件，并在供应商的基础架构上运行，然后通过网络从供应商的服务器上传递给其它用户。乐高公司（Legos）即采用这种形式实现。但此类服务会受到厂商设计和容量的限制，因此用户就没有足够的自由。代表公司包括S的F和Coghead。 5）管理服务管理服务是云计算最古老的形式之一。它是面向IT厂商而并非最终用户的一种应用软件，可提供用于电子邮件的病毒扫描服务或者应用软件监控服务等。由SecureWorks、IBM和Verizon公司提供的管理安全服务即为此类服务。类似产品还有被Google收购的Postini公司反垃圾邮件服务以及CenterBeam和Everdream提供的桌面系统管理服务等。 6）服务商业平台 服务商业平台是SaaS和管理服务供应商（MSP）的混合体，这种云计算服务提供了一种与用户相结合的服务采集器，在贸易领域中应用最为普遍，如费用管理系统可允许用户在其设定的规格范围内从普通平台上订购与所要求的服务和价格相符的旅游产品或者秘书台服务，此类功能类似一个自动化服务局，知名公司包括Rearden Commerce和Ariba。 7）网络集成 云基础服务的网络集成尚处于初始阶段。软件服务供应商OpSource已推出了OpSource Services Bus，使用的就是被称为Boomi的云集成技术。软件即服务供应商Workday最近收购了这一领域中的另外一家公司CapeClear，这家ESB（企业服务总线）供应商主要从事B-TO-B商业模式的服务。此外，Grand Central公司也致力于向用户提供集成解决方案，日前被Google所收购。 通过分析目前的云计算业务，我们大致可以判断：未来的云计算服务提供商主要会提供三个层次的服务：1. 云端的软件服务目前，广大用户普遍使用的Gmail、Yahoo Mail、Wikipedia、Encyclopedia Britannica以及各类搜索引擎就属于云端的软件应用。服务提供商在互联网上向用户提供一些软件服务，用户通过登录认证来享用这些服务。用户无须考虑自己的计算及存储资源是由谁，在哪里以及是如何提供的。这也正是上面提到的软件即服务（SAAS）。它将是云计算的基本的服务提供方式。2. 云端的开发平台云端可以给开发人员提供一个全新的开发平台。开发人员可以开发各类不同的应用，然后将相关的代码上载到云端运行。比如，Google App Engine以及F。云计算给这些应用带来的一个最大的好处就是：当这些应用的规模增大的时候，云端会相应地分配更多的存储及计算资源给这些应用。也就是说，云端的扩展性会非常好。3. 云端的信息基础设施云计算的一大优点就是可以将各类资源，比如服务器、存储、网络产品整合起来，以池的形式组合到大型云当中，并按照需要提供资源。这样可以明显降低成本和提高资源使用率。用户可以按需租用云端的计算和存储资源，从而可以简化资源获取流程，避开繁琐的系统维护与管理工作，将精力集中在主营业务上。4.1 分布式计算技术l GFS图9 GFS系统Google File System (简称GFS) 是由 Google设计并实现的一个分布式文件系统，也是基于大量安装有Linux操作系统的普通PC构成的集群系统。整个集群系统由一台Master(通常有几台备份)和若干台TrunkServer构成。GFS中的文件被分成固定大小的Trunk，这些Trunk分别存储在不同的TrunkServer上。每个Trunk有多份拷贝，也存储在不同的TrunkServer上。Master负责维护GFS中的 Metadata，即文件名及其Trunk信息。客户端先从Master上得到文件的Metadata，根据要读取的数据在文件中的位置与相应的 TrunkServer通信，获取文件数据。高可靠性是GFS最重要的特点。l HDFS图10 HDFS架构Hadoop文件系统（HDFS）是一个运行在普通的硬件之上的分布式文件系统，它和现有的分布式文件系统有着很多的相似性，然而它们之间的区别也是很明显的。HDFS是高容错性的，可以部署在低成本的硬件之上。当访问应用程序数据时，HDFS可以提供高吞吐量，因而它适合大数据集的应用程序。l MapReduce图11 MapReduce技术MapReduce是Google开发的C+编程工具，用于大规模数据集（大于1TB）的并行运算。概念Map（映射）和Reduce（化简），及其主要思想都是从函数式编程语言和矢量编程语言借鉴而来的。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。l BigTable图12 BigTable技术BigTable是Google 内部开发的一个用来处理大数据量的系统。这种系统适合处理半结构化的数据（如 RSS 数据源）。它的设计使它能够管理250 bytes（petabytes）数据，并可以部署到上千台机器上，从而完成了应用广泛、可扩展、高性能和高可用性等目标。其实现让Google在提供新服务时的运行成本降低，最大限度地利用了计算能力。BigTable 是建立在 GFS 、Scheduler、Lock Service 和 MapReduce 之上的。l Chubby图13 Chubby结构Chubby系统提供粗粒度的锁服务，并且基于松耦合分布式系统设计可靠的存储。软件开发者不需要使用复杂的同步协议，而是直接在程序中调用chubby的锁服务，来保证数据操作的一致性。这种锁是建议性的，而不是强制性的锁，具有更大的灵活性。客户端缓存数据，减少对主服务器的访问量。主服务器通过通报机制，定期向客户端发送更新消息。Chubby系统本质上是一个分布式的文件系统，存储大量的小文件。每一个文件就代表了一个锁，并且保存一些应用层面的小规模数据。用户通过打开、关闭和读取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息。l Google Work Queue Condor_collectorCondor_negotiatorCentral ManagerControlling DaemonsscheddSubmit ManagerCondor_shadowCheckpoint fileSaved to diskControlling Daemonsstarterd/starterExecution MachineUsers JobUsers CodesCondor_Syscall_LibSystem callsPerformed as RPCs图14 Condor架构目前无公开的Google Work Queue的文档说明，但我们从一些材料可以知道，Google Work Queue 和Condor 具有类似的结构和功能。所以目前以Condor的情况说明Google Work Queue的架构。Condor是一个用来管理计算密集型的任务的批处理队列系统。这是通过提供一个 高吞吐量的计算（HTC）环境实现的。HTC 环境在为这些任务提供高吞吐量的同时，可以有效且最好地利用所有的可用资源。它提供了传统的队列和调度功能，以及创新技术，例如资源分类。在典型的使用情景中，用户将任务提交给 Condor，它会对任务进行排队并监视，然后在任务完成时将结果表示出来。历史上提供这种功能的批处理系统使用单个组织所有的专用机器。4.2 Web Service技术Web services是建立可互操作的分布式应用程序的新平台。Web Service技术的出现，提供了一个跨语言，松散耦合，开放的技术架构，使分散在不同技术平台上的资源，采用不同技术实现的功能，以服务的形式进行动态的交互。与SaaS有些类似，WEB服务厂商通过提供API让开发人员来开发互联网应用，而不是自己来提供功能全面的应用软件。这种云计算的服务范围非常广泛，从分散的商业服务(诸如Strike Iron和Xignite )，到GoogleMaps、ADP薪资处理、美国邮政服务、Bloomberg和常规信用卡处理服务等的全套API服务。如图15所示，基本的Web服务架构包含了SOAP、WSDL、UDDI等支持服务请求者与服务提供者进行交互，以及用于Web服务发现的规范。服务提供者通常用WSDL来描述它所提供的Web服务，然后将该WSDL描述发布；服务请求者可以通过UDDI或其他注册库（registry）来获取WSDL描述，并通过向服务提供者发送一个SOAP消息来请求执行服务。图15 基本的Web服务架构基本的Web服务技术包括：l XML（Extensible Markup Language，可扩展标记语言）和XSD（XML Schemas Definition，XML结构定义）可扩展的标记语言(XML)是Web service平台中表示数据的基本格式。XML是一种简单的数据存储语言，使用一系列简单的标记描述数据，而这些标记可以用方便的方式建立，虽然XML占用的空间比二进制数据要多，但XML易于掌握和使用。XML主要的优点在于它既与平台无关，又与厂商无关，它是当前处理结构化文档信息的有力工具。XML解决了数据表示的问题，但它没有定义一套标准的数据类型，更没有说怎么去扩展这套数据类型。W3C制定的XML Schema(XSD)就是专门解决这个问题的一套标准。它定义了一套标准的数据类型，并给出了一种语言来扩展这套数据类型。Web service平台就是用XSD来作为其数据类型系统的。当用某种语言(如VB.NET或C#)来构造一个Web service时，为了符合Web service标准，所有使用的数据类型都必须被转换为XSD类型。l SOAP（Simple Object Access Protocol，简单对象访问协议）SOAP是在分散或分布式的环境中交换信息并执行远程过程调用的轻量级协议。Web service建好以后，其他人就会去调用它。简单对象访问协议(SOAP)提供了标准的远程过程调用( RPC)方法来调用Web service。SOAP规范定义了SOAP消息的格式，以及怎样通过HTTP协议来使用SOAP。SOAP也是基于XML和XSD的，XML是SOAP的数据编码方式。SOAP包括四个部分：SOAP封装(envelop)，封装定义了一个描述消息中的内容是什么，是谁发送的，谁应当接受并处理它以及如何处理它们的框架；SOAP编码规则（encoding rules），用于表示应用程序需要使用的数据类型的实例；SOAP RPC表示(RPC representation)，表示远程过程调用和应答的协定；SOAP绑定（binding），使用底层协议交换信息。l WSDL（Web Services Description Language，Web 服务描述语言）WSDL是Web Services的描述工具，以XML为基础，可以将任何语言开发的Web Service进行描述，包括数据类型，消息结构和使用的传输协议，具有与开发语言无关的特点。WSDL文件就像服务的说明书一样告诉服务的消费者如何同服务进行交互。一些最新的开发工具既能根据你的Web service生成WSDL文档，又能导入WSDL文档，生成调用相应Web service的代码。l UDDI（Universal Description，Discovery，and Integration，统一描述、发现和集成）面对极度丰富的服务，最常出现的问题是“在哪里以及如何找到需要的信息”。统一UDDI规范在底层协议的基础上又定义了一层，在这一层，不同的企业能够以相同的方式描述自己提供的服务和查询对方提供的服务。UDDI是一套基于Web的、分布式的、为Web服务提供的信息注册中心的实现标准规范，同时也包含一组使企业能将自身提供的Web服务注册以使别的企业能够发现的访问协议的实现标准。l WSFL(Web Services Flow Language，网络服务流程语言)WSFL由IBM制订，包括流程模型（Flow models）和总体模型（Global models）。流程模型说明了如何使用网络服务所提供的功能，并叙述商业交易流程。而总体模型则详细说明所有交易伙伴的交易情形，即网络服务如何与其它网络服务作交谈。基本的Web服务标准，已经适于构建基于SOA的应用了，但还不足以构建其他应用。除基本的Web服务规范（SOAP和WSDL）以外，其他各种用于安全性（security）、可靠性（reliability）、事务性（transactions）、元数据管理（metadata management）以及服务编制（orchestration）等方面的补充Web服务规范也正在标准化的过程之中，这些都为基于SOA的解决方案提供了必需的企业级服务质量，以支持各类任务关键型（mission-critical）、企业级的项目。详见图16。图16 web service 协议栈 4.3 虚拟化技术图17 VMware Infrastructure虚拟化是一个抽象层，它允许具有异构操作系统的多个虚拟机在同一台物理机上独立并行运行，从而物理硬件与操作系统彼此分离。VMWare解决方案可简化 IT，使公司可以充分利用它们的存储、网络和计算资源来控制成本，并提高响应速度。VMware Infrastructure是部署范围最广、通过虚拟化优化和管理业界标准IT环境的软件套件，也是唯一可用于生产的虚拟化软件套件。它可以提供内置管理、资源优化、应用程序可用性和操作自动化功能，不仅可节约改造成本，也可提高运营效率、灵活性和IT服务级别。VM管理工具主要包括 VMware DRS、Platform Orchestrator、IBM Director、 Novell ZENworks、Enomalism和Xenoserver等。Xen VMM(virtual machine monitor)是由剑桥大学计算机实验室开发的一个Open Source项目，主要目的是为了建立更多的虚拟机器。Xen 直接工作在系统硬件上，它将上层对硬件的操作封装在 Xen Hypervisor 中，架构图如下：图18 Xen的体系结构一个 Xen 的虚拟环境中包含以下部件：l Xen Hypervisor Xen Hypervisor 位于所有虚拟操作系统之下，硬件之上。它将底层硬件进行抽象，同时负责各虚拟机的 CPU 调度和内存的分配，它还控制着各虚拟机所共用的进程运行环境。l Domain 0 Domain 0 本质上也是一个虚拟机，但它是唯一的，它需要运行在其它虚拟机之前。同其它虚拟机一样，Domain 0 也工作在 Xen Hypervisor 上，但是它还拥有操作 I/O 资源的特权，同时它还要与其它的虚拟机（Domain U）进行交互。l Domain U Domain U 分两种类型：PV Guest 和 HVM Guest。PV Guest 是准虚拟化的虚拟机实例，它要求操作系统来配合虚拟环境执行硬件操作，因此操作系统需要考虑如何与 Hypervisor 交互，所以一般在 PV Guest 实例上运行的客户操作系统是修改过的 Linux。HVM Guest 是完全虚拟化的虚拟机实例，在此实例上运行的操作系统会认为是工作在真实硬件环境中，因此不需要修改客户操作系统，就可以在上面运行。l Domain Management and Control (Xen DM&C) 在 Xen DM&C 中提供了一系列用于 Domain 管理和控制的 daemon 和工具，管理命令都是通过命令行传递给 Domain 0，最终作用于 Xen Hypervisor 上的。对于云计算来说，虚拟化是不是“必须”的，但它对于绝大多数云计算公司来说是需要的。实际上，正是虚拟化技术的出现加速云计算的发展。4月16日，X宣布Xen3.4RC2。在4月21日，X发出Xen4.0功能收集请求，将在近期为Xen3.4最终发布进行测试。因此，3.4版的Xen将会在在今年发布，它可能增加以下功能：加速的虚拟机网络，更好的迁移控制，VM硬件容错检查，支持OVF，GPU的虚拟化，USB2.0支持，虚拟机内存和磁盘LVM快照等。4. 云计算的业务场景 （TBD.）云计算有着狭义和广义之分。狭义的云计算，指的是厂商通过分布式计算和虚拟化技术搭建数据中心或超级计算机，以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务，比如亚马逊数据仓库出租生意、微软的SSDS等。广义的云计算，则指厂商通过建立网络服务器集群，向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务。显然，广义的云计算包括了更多的厂商和服务类型，例如以八百客、沃利森为主开发的在线CRM软件，国内用友、金蝶等老牌管理软件厂商推出的在线财务软件，谷歌发布的Google应用程序套装等，都可纳入这一范畴。l 高效低成本的计算企业可以以极低的成本投入获得极高的计算能力，不用再投资购买昂贵的硬件设备，负担频繁的保养与升级。例如，美国的房地产网站G希望建立一个数据库，计算67万个家庭在12年间购入沽出房产的的数据，以便为消费者提供更好的建议。如果他们自己动手，初步预计，需要花费6个月的时间和数以百万计的美元。而最后，他们租赁了A所提供的“弹性计算机云”服务，通过使用Amazon强大数据分析能力，这个项目的完成仅用了3个星期，费用不到5万美元云计算的妙处之一，即是按需分配的计算方式能够充分发挥大型计算机群的性能。如果你只需使用5%的资源，就只需要付出5%的价格，而不必像以前那样，为100%的设备买单。l 云存储 云存储（cloud storage）这个概念一经提出，就得到了众多厂商的支持和关注。Amazon在两年前就推出的Elastic Compute Cloud（EC2：弹性计算云）云存储产品，旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。内容分发网络服务提供商CDNetworks和业界著名的云存储平台服务商 Nirvanix发布了一项新的合作，并宣布结成战略伙伴关系，以提供业界目前唯一的云存储和内容传送服务集成平台。半年以前，微软就已经推出了提供网络移动硬盘服务的Windows Live SkyDrive Beta测试版。近期，EMC宣布加入 道里可信基础架构项目，致力于云计算环境下关于信任和可靠度保证的全球研究协作，IBM也将云计算标准作为全球备份中心的3亿美元扩展方案的一部分。总之，有了云，一切数据都可存放于专业的服务器上，不管你北上京城还是南下广州都可随时取得自己的数据。在我们选择的数据存储服务器端，有个人电脑无法比拟的专业存储设备，更有技术过硬的维护团队。而且还可存储多份以保证绝对安全。 l 云安全“云安全（Cloud Security）”计划是网络时代信息安全的最新体现，它融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念，通过网状的大量客户端对网络中软件行为的异常监测，获取互联网中木马、恶意程序的最新信息，推送到Server端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。瑞星、趋势、卡巴斯基、MCAFEE、SYMANTEC、江民科技、PANDA、金山、360安全卫士、卡卡上网安全助手等都推出了云安全解决方案。瑞星基于云安全策略开发的2009新品，每天拦截数百万次木马攻击。势科技云安全已经在全球建立了5大数据中心，几万部在线服务器。据悉，云安全可以支持平均每天55亿条点击查询，每天收集分析2.5亿个样本，资料库第一次命中率就可以达到99%。借助云安全，趋势科技现在每天阻断的病毒感染最高达1000万次。l 现代远程办公云计算的供应商把服务放在网上，通过HTTP、REST或SOAP等标准协议，让消费者可以借助互联网来享用服务。有了云，可通过网络连接到对应的服务器直接调用软件，使用这些软件可能会按需付费、按时付费。对终端用户，可有效降低软件使用成本，还可避免随时更新的麻烦。网上软件提供服务已初见端倪，比如谷歌(/)、百会(/)的网上办公，只要注册一个账号即可创建、保存、上传、下载与MS Office完全兼容的Word、Excel、PowerPoint文件。与在本地电脑上安装并应用办公软件相比，网上办公更容易实现文档的远程共享，适合现代远程办公的需要。总之，云计算可以依靠其海量的存储能力、强大的计算能力提供各种各样的在线服务。终端用户仅仅借助于一条网线就可以享受这些服务。5. 云计算对互联网的影响5.1对技术发展的影响1）互联网的端到端理念面临巨大挑战。目前，用户不断通过升级硬件和软件来享受更多的互联网服务。当云计算时代到来以后，用户端将变得越来越简单，几乎所有的计算和存储资源都集中到了云端。云端与用户端在资源的配置上存在着严重的不对等现象。2）提出了新的并行计算模式和面向商用的计算模式。Microsoft、IBM、Oracle等传统软件厂商一般通过出售软件介质来盈利。这些软件都安装在用户的PC上，软件功能越多价值就越高。在云计算时代，用户无须关心软件的维护和升级，这些工作都由云计算服务提供商来完成。用户通过浏览器接入云端就可以享受各项服务。云计算服务提供商仅对服务进行收费，软件一般是开源且免费的。3）提出了基于分布式存储和非结构化数据存储的新存储模式。目前，数据一般存储在个人和企业私有的存储介质里。由于受计算机病毒等因素的影响，其安全性不高。如果用户将数据转移到云端，这些数据就可以得到专业人员的精心维护，数据的安全性大大提高。4）提出了新的容错管理模式和可靠性理念，认为采用多个低级服务器即可实现高容错和高可靠的系统。在硬件不可靠的情况下，通过软件技术，将多个低级服务器组合成集群，就可以实现与大型服务器相同的功能 ，但商业成本却大大降低。这也是Google云计算的一个显著特点。5）提出了结合虚拟技术的新业务实现方式。虚拟基础架构在计算、存储器和网络硬件以及在其上运行的软件之间提供了一个抽象层，简化了 IT 计算体系结构，可以控制成本，并提高响应速度。 使用虚拟基础架构，应用程序和服务可以调配到任何 x86 系统上，并在条件发生变化后可以轻松地在服务器间转移。 5.2 对业务发展的影响1）带来互联网虚拟化运营的大发展，促进互联网业务的进一步繁荣。可进一步减低业务创新的门槛，进一步增强网络能力，并使得用户的使用方式更加灵活多样。2）为信息服务业提供了良好的发展契机，促进了电信运营商的进一步转型。电信网络将与水、电一样成为社会基础设施的一部分，电信运行商将与互联网服务提供商展开业务竞争。云计算的出现将加速这一进程，电信运行商将与Google、Amazon这样的互联网巨头同台竞技。电信运行商的优势在于拥有对底层通信网络的控制权，另外，丰富的运营经验以及良好的客户关系也将帮助电信运行商在云计算时代占有一席之地。3）促进了产业链的细化与整合，推动了新型ISP（如资源出租、虚拟ISP）的出现。依靠出售PC硬件或单机软件的传统IT厂商将受到云计算的强烈冲击，因为用户无须再像以前那样无休止地升级PC的硬件或软件。更多的服务提供商会基于成本考虑将各类业务转移到云计算平台上来。建有大型云计算数据中心的厂商将有偿提供计算及存储资源出租。由于准入门槛大幅降低，各类新兴的互联网业务将雨后春笋般涌现出来4）产生了XaaS(如Securiy/Platfrom/Infrastructure/Hardware等)新概念，对服务理念产生了巨大影响。5.3 对行业监管的影响1）虚拟运营带来了诸多监管问题，如对云计算服务提供商的管理、对虚拟业务运营商的管理等。2）采用资源的跨地域存储，与本地化监管之间产生了矛盾。3）同时带来了新的行业垄断问题。6. 云计算存在的主要问题1） 安全问题云计算的安全性包括两个方面：一是自己的数据不被泄露，二是自己在需要时能及时、准确地获取这些数据。虽然云计算产业链上的厂商和一些第三方的调查咨询机构都一再宣称公众对于云计算安全性的疑虑有点夸大，试图以此来打消用户的顾虑，但从近年来发生的种种事故可以明显看出云计算的安全问题并没有得到根本解决。 互联网巨头Google近年来多次发生数据泄露事故：2005年1月，研究者发现了Gmail里的几个安全漏洞，令用户名和密码很容易被盗窃，外来者可以窥探用户的电邮。2005年12月，研究者发现Google桌面以及IE浏览器的一个漏洞，令Google用户的个人数据很容易暴露给恶意网站。2007年1月，安全专家发现在Google桌面存有一个安全漏洞，有恶意的人不仅可以远程持续地侵入Google桌面用户的敏感信息，甚至可以控制用户的整个电脑系统。而除了信息泄露造成的损失之外，关键时刻无法访问云计算服务器也是用户所不愿看到的情况。微软的云计算平台Windows Azure就曾出现过运作中断的现象。Windows Azure是微软目处在测试阶段的云计算平台，其计划是使企业可以直接在网络上使用商业软件，并储存数据。即使这两个问题都能得到解决，人们接着当心的是云计算服务提供商是否会破产。因为云计算服务提供商一旦破产，存储在云端的数据的安全性就无法得到保证。2） 网络带宽瓶颈如果采用云计算的模式，那么目前使用的宽带是远远不够的。比如一部高清电影，在我们的电脑上运行的时候,是直接从硬盘上提取,其传输延迟几乎为零。但是一旦使用云计算服务，电影存储在一个距离遥远的数据中心，即使网络带宽达到1MB/S（目前，大多数用户的带宽低于这个水平），电影的传输延时也会令用户无法接受。不只是个人用户，企业用户在使用云计算服务时同样会遭遇带宽瓶颈。一家地区性银行在成功试用Salesforce公司的服务后，决定大面积推广使用，但是由于它没有规划好带宽需求，所以付出了惨重代价：员工的网络连接速度突然间变得奇慢无比。由于网络数据传输量激增，网络链路被阻塞，再好的云计算服务也会变得可望而不可及。网络带宽不是唯一的潜在问题，数据的长途传输也会引起人们对延迟的担忧。由于互联网络的复杂性、网络流量的动态变化和网络路由的动态选择，网络延时不可能被消除。试想，在向客户展示新产品时，销售人员半天打不开存储在云端的PPT胶片，那将是一个多么令人难堪的场面！因而，目前的网络状况将是开展云计算业务的一大障碍。3） 可靠性问题云计算的应用中应考虑并提供容灾管理。事实上，Gmail在今年出现的服务失效问题已经使这一问题凸现。4） 标准化问题如何推动云计算相关技术的标准化进程，以顺利解决多个云之间的互联互通。目前包括Google、Yahoo、Amazon都有各自的云计算技术，企业可透过不同业者提供的技术架构，来开发各种网络服务应用。如此一来，在某个系统中开发的应用程序便无法拿到另一个系统使用。因此，建立一个可让数据彼此互通的标准已成了当务之急。5） 演进和过渡问题需要考虑随着技术演进产生的