IT支撑系统云计算技术方案与规范

中国移动集团重点 /联合研发项目结题汇报报告 2011年 03月 04日 项目名称： 项目编号： 2010_ 2页 研究课题组 研究单位及角色 负责人及联系方式 研究院（牵头单位） 杜宇健， 华斌， 江公司（协助单位） 张式勤， 坤， 川公司（协助单位） 杨孝平， 宁公司（协助单位） 郑军， 南公司（协助单位） 董长清， 海公司（协助单位） 王翔， 东公司（协助单位） 曹璐， 祥磊， 西公司（协助单位） 卢山， 苏公司（协助单位） 来晓阳， 3页 一 . 开题计划完成情况 目 录 二、主要研究成果 第 4页 国移动 着用户和业务的发展，系统所需硬件资源越来越多，机器 数量规模越来越庞大 ，占用面积越来越大 - 山东公司 2台 配或满配）、 22台 半配或满配），经分系统有4台满配 595、 2台半配 570，并且每年都以接近 50 60个主机（分区）以上的量级在增长 在 了避免厂家绑定，采购的主机及存储设备型号众多，在生产环境中面临 异构 主机和阵列的环境 应用层 网络层存储层 主机型号众多，操作系统不统一 存储设备品牌、型号众多 - 2009年辽宁公司的利润增长已经只有百分之十几，而公司在 0%的增长 硬件资源的投入成本上以 小型机和阵列存储为主 - 辽宁 储：网络基本为4： 4： 2，而其中服务器中 是投资占六成。以 辽宁移动 009年第三方软硬件扩容工程 项目为例， 两路刀片与四路机架）共 66台， 每四颗 个单位计算） 19个单位，前者投资 540万，后者投资 800万 第 5页 面临的问题和挑战 资源共享问题 ： 烟囱式建设模式下，各个系统资源之间互为孤岛，资源固定 - 项目建设方式下根据业务峰值规划系统资源需求，容易造成占用资源大，设备利用率低 - 系统压力不均，由于电信业务的峰值特点，造成同类设备的利用率存在较大的波动。由于资源无法共享，公司只能被动的采购更大容量的设备进行扩容 - 异构阵列环境下不同的存储采用不同的数据复制、数据迁移软件，导致不同品牌阵列之间数据无法自由复制和迁移 挑战： 打破资源孤岛 ，实现资源有效共享和动态调整 利用率 50 利用率 99 利用率不足 10 应用层 存储层 文件服务器 数据库服务器 不够用啦 负荷过高 部署周期问题： 支撑新业务周期长，部门间容易产生矛盾 - 随着移动业务的高速发展，新业务层出不穷，传统的新业务支撑需要从立项、采购、安装、开发、测试、上线等一系列流程，需要周期长，业务部门意见大，无法快速满足一线和市场竞争的需求 - 其是服务器， 之用户和业务发展存在不确定因素较多，往往未达到设计目标，部分系统已不堪重负，经常发生提前扩容的情况 - 在这种情况下，市场部门面临业务支撑落后于市场开拓的问题，计划建设部门面临扩容频繁的问题，业务支撑部门面临运维、研发压力过大的问题 挑战：建立新的资源规划使用模式，达成业务需求响应迅速、投资节省、系统稳定 的共赢 第 6页 面临的问题和挑战 资源配置不合理： 系统粗放部署方式带来资源浪费 - 业务系统的性能和可靠性要求各不相同，对于主机和存储的需求存在不同的需要 - 由于早年的 量应用一直部署在小型机上，没有根据近年 成建设成本的浪费 - 一些系统将多类数据的存放收敛到单个阵列，造成某些对性能和可靠性要求较低的数据也使用了中高端阵列，造成建设成本的浪费 挑战：硬件资源 物尽其用 厂家隐性绑定问题： - 传统数据迁移与灾备工程中的存储绑定：在传统阵列级的数据迁移和灾备工程中，由于受到厂商限制，不但各厂家阵列之间甚至同 一厂家不同型号的阵列间也是很难实现的，通常在灾备中心配置一台与生产相同的阵列 - 主机到存储的链路管理一般使用磁盘阵列厂商所提供的链路管理软件，一旦该阵列的存储容量达到容量瓶颈，用户只能选择向同一厂商新购阵列，或进行复杂的数据搬迁工作 来适应新购异构阵列的情况 挑战：实现资源层面的多厂家 完全竞争 运维问题： 维护标准化程度差，维护效率低，成本高 - 法实现统一管理， 量的设备之间疲于奔命 - 在设备增长前提下，采用传统管理和技术方式管理数量庞大设备必然难以精细化管理 挑战：建立自动化运维体系，统一管理资源层， 提高运维效率 扩展性问题： 集中处理模式下系统在大规模事务处理和海量数据分析场景出现资源瓶颈 - 服务器和阵列设备单点的 挑战：利用分布式技术构建 足业务发展对处理能力的需求 第 7页 项目开题确定的研究目标 1 2 3 4 提出在 成中长期指导 技术研究 对关键技术进行测试验证，为试点实施提供技术可行性数据 结合省公司 云计算在 策略规划 研究 行原理分析和厂家方案的对比分析，并制定相关技术方案和规范，为云计算在 测试验证 试点实施 研究目标 第 8页 要研究内容及分工 “ 全面引入虚拟化技术 虚拟化的引入可以从简单的存储系统、 步扩展到 最终实现异构、异地的存储和服务器资源虚拟和共享，通过 集中管理 实现智能化的资源调度，提高硬件使用效率，降低能耗和维护管理成本，提升业务的安全性和可靠性。” “ 在管理信息系统、网络管理系统、业务支撑系统中引入虚拟化和云计算技术，为企业内部 之旅”总结 心技术是对资源的虚拟化 ，实现资源的动态调度、按需分配，以促进资源的有效使用 课题主要研究内容，围绕三个系统，聚焦虚拟化技术 和 硬件标准化 ，结合测试和试点工作提出 略研究测试试点硬件虚拟化 分布式存储 技术分析第 9页 项目组对研究课题的分解和整合 省公司 项目名称 山西 辽宁 企业数据中心云计算应用研究 上海 浙江 测试环境存储资源整合及资源池构建的研究与实现 湖南 云计算在网管系统中应用研究 四川 服务器虚拟化在业务支撑中心的影响与前景研究 江苏 云计算技术在网管系统基础架构中的综合应用 山东 云计算在 原始课题 技术分析 究院） 研究院） 存储虚拟化技术规范和分析报告 （研究院） 策略研究 浙江） 苏） 湖南） 东、浙江、四川） 存储虚拟化在 浙江） 存储虚拟化在业务支撑系统的引入策略和方案研究（山西） 存储虚拟化在网络支撑系统的引入策略和方案研究（上海） 分布式云存储系统在网络支撑系统中的引入策略和方案研究 （江苏） 86服务器对 宁） 第 10页 联合项目分工和输出成果 单位 分工内容 输出成果 研究院 （牵头） 项目研究架构规划和项目成果的总结 牵头技术分析工作，完成虚拟化技术研究和相关技术规范编制 存储虚拟化技术分析报告 存储虚拟化技术规范 试规范 试报告 辽宁 86 服务器对 86 服务器对 告 山东 牵头） 试规范 试报告 江苏 分布式云存储系统在网络支撑系统中的引入策略和方案研究 告 分布式云存储系统在网络支撑系统中的引入策略和方案研究 报告 第 11页 联合项目分工和输出成果 单位 分工内容 输出成果 山西 存储虚拟化在业务支撑系统的引入策略和方案研究 存储虚拟化在业务支撑系统的引入策略和方案研究 报告 存储虚拟化 测试规范 存储虚拟化 测试报告 浙江 存储虚拟化在 配合） 存储虚拟化在 告 存储虚拟化 测试规范 存储虚拟化 测试报告 四川 配合） 试规范 试报告 湖南 告 上海 存储虚拟化在网络支撑系统的引入策略和方案研究 存储虚拟化在网络支撑系统的引入策略和方案研究 报告 存储虚拟化 测试规范 存储虚拟化 测试报告 第 12页 题计划完成情况总结 经集团技术部统筹规划，研究院牵头，协同山西、辽宁、上海、江苏、浙江、山东、湖南、四川 8个省公司，依据开题的分工和时间计划， 按时完成 了各个子课题的试点和研究任务，以及 所有研究文档的输出 。 研究成果 技术分析报告 3篇，技术规范类 11篇，涵盖服务器和存储技术规范，以及对各类虚拟化技术的测试规范 完成 8项测试工作和测试报告 8篇，对各类虚拟化技术进行了测试验证 在技术分析和测试验证基础上，各省公司开展 9项相关试点 完成研究报告 12篇，对 第 13页 项目创新 项目针对前沿云计算技术，结合中国移动 出了应用型创新工作 - 对 - 在三大 - 提出了中国移动 专利情况：山西公司在项目研究中提出一项专利 - 专利的公司编号： 所属项目编号： 2010_ 专利名称： 一种实现详单快速存储检索的逆向链表实现装置及方法 专利申请主要解决的问题是在虚拟化存储平台上解决海量详单存储检索效率问题 第 14页 一 . 开题计划完成情况 目 录 二、主要研究成果 第 15页 主要研究成果 目录 1 2 3 4 技术引入方案和策略 课题总结与展望 第 16页 研究技术体系架构： 本课题聚焦于 研究通过虚拟化技术构建云计算资源池，通过动硬件资源向低成本和标准化方向发展，最后利用云计算资源的管理平台实现资源对上层应用的灵活交付 云资源池的管理 存储虚拟化 分布式存储 服务器资源池，首先着眼于 次推动 于无法替代的小型机，利用虚拟化技术提高系统效益 存储资源池， C 此首先采用存储虚拟化技术整合 上提供动态容量和不同性能的标准存储服务，然后放眼整体存储架构，通过分布式存储的引入，探索存储层面向标准化服务器集群演进的途径 资源池的管理，基于云计算的资源服务需求明确管理目标，结合产品的现状构建资源池管理平台 第 17页 主要研究成果 目录 1 2 3 4 技术引入方案和策略 课题总结与展望 第 18页 服务器虚拟化技术分类 隔离性高 灵活性高 W W 作系统级虚拟化 在硬件之上构建虚拟层，建立多个逻辑分区或虚拟机 硬件级虚拟化 在硬件架构上实现物理隔离分区，电气化隔离 应用级虚拟化 在同一操作系统内，创建应用隔离容器 HP HP D， 19页 操作系统级虚拟化 应用级虚拟化 原理：虚拟层是通过创建虚拟操作系统实例实现的，它再指向根操作系统的关键系统文件，这些指针驻留在操作系统容器受保护的内存中，提供低内存开销 应用分析：虚拟化实例的密度很大，维护效率高；但隔离性差，应用对根操作系统的破坏，其他客户机也会跟着被破坏，实际应用较少 原理： 容器架构不一样，立的、无依赖的客户机操作系统副本，通常利用半虚拟化驱动网络和 I/应用分析：由于虚拟化功能必须通过宿主操作系统，客户机的性能大大低于裸金属架构，可用于开发 /测试或桌面类应用程序 原理：该类 供了更好的客户机性能。通过处理器虚拟化扩展增强，包括英特尔 应用分析：隔离性和性能表现均衡，目前是 业应用的主流选择 W W S W S ：裸金属架构 居架构 容器架构 第 20页 不适合 适合 以下四种应用场景适宜引入 1、单节点处理能力要求低 ： 通过分布式部署等方法，对单节点的部署处理能力要求低于单台物理主机的性能上限 2、生命周期短： 突发性业务处理多 ，需要频繁进行资源分配和收回 3、负载波动大 ： 存在明显的波峰波谷，且多个应用间的峰谷时间差异较大 4、需求预测难 ： 应用模型不成熟， 资源需求估算困难，或者可能随时出现突发性增长 其中第一条为绝对条件，必须满足；其他三条为选择性条件，符合程度越高虚拟化价值越大。 结合应用场景与主流应用模式进行比较，可以得出适用性方面的一些结论： 应用模式 单节点 处理能力 生命 周期 负载 波动 需求 预测 是否适合 引入虚拟化 生产 环境 主流数据库 中间件多节点集群 中间件 接口机 文件服务器 测试环境 结论： 测试环境、 口机等应用场景优先引入，数据库、中间件多节点集群、中间件 件服务器等应用场景需要根据实际运行情况参照四种应用场景进行分析，择机引入。 第 21页 虚拟机存储 存储方式 性能 扩展性 线迁移支持 成本 单台存储设备有限扩 展 支持 高 单台存储设备有限扩 展 支持 较低 分布式文件系统 低于 过增加 支持 较低 本地磁盘 （多磁盘做 顺序读性能高，其余性能低 无额外存储设备，线性扩展 可实现恢复到快照状态的准 可实现中断时间或迁移时间较长的准在线迁移 低 虚拟机存储使用策略 对 性能要求高的场景，建议使用 对 性能无严格要求，建议使用成本较低的 与 布式文件系统 前针对虚拟化平台技术不够成熟，且部分情况下性能更低，故目前不建议在服务器虚拟化映像文件存储中使用。 对于 议使用成本最低，扩展性最好的本地磁盘进行虚机镜像文件存储（多块磁盘做 对于虚拟机应用，若无其它存储优化策略，建议采用虚拟磁盘文件的存储方式来使用存储设备。 第 22页 研究院制定 于 试和合理应用 规范内容包括 型系统架构 功能要求：基础功能、快速部署、动态分配和虚拟化管理 非功能要求：性能、可用性、可扩展性、可管理性、安全性等 对外提供的接口要求 研究院依据中国移动 开展功能和性能测试 测试产品： 为和 测试结论 功能方面 基本都能够满足中国移动 在规范未做强制要求的少数高级功能上有所不同 性能方面 从 24个虚拟机的 厂商虚拟化产品的性能差距不大，都可以满足中国移动 不同虚拟化产品对于系统物理资源的消耗表现稍有差别，但影响不大 第 23页 浙江业务支撑系统 试点系统 业务支撑系统，营业厅现场管理系统 试点方案 虚拟服务器采用了 4套 路刀片服务器，管理服务器采用了 1套 2路刀片服务器；存储系统复用了 虚拟化软件采用了 拟化管理软件采用 作系统为 构示意图如右图： 试点结论 营业厅现场管理系统作为 负载应用类业务，适合引入虚拟化技术； 采用 可行性、可靠性及稳定性方面能够满足要求； 共享存储上， 后续考虑将存储改为中低端盘阵，以提高投资性价比； 引入 于人员、网络等维护管理方面提出了新的挑战。 第 24页 江苏 试点系统 网络支撑系统 试点方案 江苏网管系统针对 8套网管系统、 12种安全管理平台，实施 括日志审计系统、安全管控平台、 4A、网络投诉处理平台、综合资源、信令监测、数据网管、传输网管等 实施领域主要在 据采集机和网管接口机 将原有 120台服务器上的应用通过虚拟化整合到 30台服务器上 试点结论 实践证明，虚拟化平台可以满足上述网管系统的业务需求 共享存储利旧现有 体方案收到良好的投资效益 新技术的运用也带来维护模式的转变，需进一步探索 第 25页 效益评估 整合前 整合后 效益 规模 120台 30台 部署空间减少 75% 投资 硬件 120*5万；操作系统 120*1万 合计 720万 硬件 30*10万，操作系统操作系统 30*1万，虚拟化软件 30*计 435万 节约 40% 能耗 60千瓦 30千瓦 解决 50%，每年约 52万 上线周期 3天 2小时 减少 90%以上 注：虚拟化后的共享存储在现有阵列上划分，空间几十个 G， 本上没有计入 第 26页 效益评估 86虚拟化经济收益预分析 新方式 数量 传统方式 数量 1 1 0 2 1 2 81 4 6 4 56 投资（万元） 2,系统集成 存储 成本（万元） 维保服务 维保服务 人工成本 人工成本 电费 电费 1,制冷及配套 制冷及配套 1,建筑空间 建筑空间 合计（万元） 1, 5,经济收益（万元） 3,第 27页 风险分析 - 实现 要存在以下风险需要规避 干扰风险：单个服务器上以虚拟机方式承载多个应用，其中一个出现故障后对其他应用的影响 管理风险：现有网管系统兼容性问题，需要引入新的管理软件 兼容风险：不同虚拟化平台之间的互操作和统一管理问题 - 规避措施 选择裸金属架构虚拟化方案，增强虚拟机的故障隔离度和系统稳定性 做好与现有网管系统的集成工作 具备一定设备规模的前提下，对不同虚拟化平台可采用第三方管理软件进行统一管理 应对措施 风险 第 28页 于目前 86服务器都可以考虑实施，但是虚拟化的实施要综合考虑成本和收益， 避免为了虚拟化而虚拟化 虚拟化实施应满足低利用率或动态部署原则 对于虚拟化架构的共享存储设备，应评估 P 虚拟化实施范围的扩大有助于提高服务器整合比，实现效益最大化，建议对三大86虚拟化资源池 虚拟化产品的选择上，应参考分级标准，合理选择，避免盲目采用成本最高的解决方案 原则二：当物理服务器上需要动态分配给不同应用系统使用时，应该考虑虚拟化 依据：虚拟机资源不与任何物理机绑定，虚拟机镜像可以方便分发、快速部署 效果：资源被 池化 ，可根据应用需要 动态分配和回收 ，满足业务动态变化需求 案例：生命周期短的临时应用或开发、测试系统，负载波动大、需求难以预测的系统如业务云资源池、 建议：需要自动化、具有策略性的的虚拟化管理系统 原则一：当发现多台物理服务器的资源利用率过低时，应该考虑虚拟化 依据：利用虚拟化“一分多”的特性，同时运行多个虚拟机，共享资源 效果：实现 应用整合 ，提高利用率，降低 案例：小型业务平台、信息化、网管采集机等 建议：在部署多个虚拟机时，可以考虑其对资源的不同需求，以及“错峰”效应 第 29页 参考分级标准合理选择虚拟化功能 在 用于对可用性和管理功能要求极高的关键系统部署或其他特种应用场景 在 态分配、安全、高可用性等功能，适合对虚拟化资源管理及可用性有较高要求的应用场景，如支撑系统云，云资源池系统等 满足服务器虚拟化的虚拟机基本申请、部署、管理等最基本功能，适合一般的服务器虚拟化应用场景，如小型虚拟化系统，内部开发与测试系统等对可靠性无绝对要求的系统 功能点 虚拟化基本功能 操作系统类型 存储类型 虚拟机最大配置 虚拟机运行控制 虚拟机部署 虚拟机创建 虚拟机镜像复制 虚拟机模板 虚拟机快照 模板批量部署 功能点 虚拟化管理 运行状态监控 资源统一管理 资源分配策略 补丁和升级 故障告警 资源发现 存储 I/ 网络 I/ 脚本自动化管理 可编程管理接口 电源管理 高可用性 故障隔离 虚拟机故障切换 虚拟机容错切换 功能点 资源动态分配 虚拟机热迁移 内存资源复用 资源在线调整 存储热迁移 网络热迁移 虚拟网络和安全 虚拟交换机 支持划分 虚拟防火墙 第 30页 86平台替代小型机驱动力 有助于降低成本 有助于提高效率 目前小型机从 件架构到操作系统一般都是厂家私有标准，相互之间 不通用 ， 缺乏互操作性 不同服务器之间操作、管理都不相同，给应用开发、设备管理等都造成很大困难， 影响业务部署、管理效率 小型机 价格高 ，动辄数十甚至上百万元，企业 由于标准化问题造成软硬件绑定，不利于厂商之间竞争，进一步加剧了价格居高不下 采用 合云计算对服务器的技术要求，是 低成本、提高效率 的必然选择 出货量同比增长 营收同比增长 2010年第 3季度全球服务器增长（来自 第 31页 关键问题 评价服务器 要分析 性能、可用性、可扩展性、成本等关键指标是否占有优势或者相当 性能 性能是衡量服务器处理能力的指标，常用的性能指标包括 既包括单机性能，也包括集群性能 可用性 成本 可扩展性 可用性定义为正常运行的时间与总时间之比，是确保业务连续不间断运行的能力， 主要取决于服务器自身可靠性和快速恢复能力 冗余的部署能够大大提高系统可用性 可扩展性是服务器应对资源需求的变化而改变服务能力的难易程度 可扩展性主要包括纵向扩展和横向扩展两种手段 既包括服务器购买，也包括配套软硬件及后期运维费用 成本的考察应以满足同类应用、提供同等性能和可用性为基础 第 32页 性能 单机性能高 单机最高性能稍低，但也完全能够与中低端小型机相比，通过大规模集群能提高非常高的性能 可用性 采用专用组件且冗余度较高，具有非常高的可靠性 单机硬件冗余度较低，可靠性相对较差，但可以通过多节点提高系统可用性 可扩展性 设备纵向可扩展性强，在硬件扩展过程中可不停机 纵向可扩展性受局限，但横向扩展能力非常强 成本 成本高、价格高 成本低、价格便宜 标准化 标准化、开放性程度差 标准化程度高，适合组成多节点集群 从性能、可靠性、可扩展性等各方面来看， 时在成本、标准化等方面具有很大优势，能够满足大多数业务的需求，也符合 第 33页 86平台替代小型机引入策略 将应用并发请求数较小或处理简单，对资源需求量小的应用系统应选择部署在 原来运行在 造为 对于中间件 /数据库等第三方软件，改用相应 在新的 规模事务型应用，如 极推动利用负载均衡的 应用软件或第三方软件改造为 署到多个服务器节点中 应用可能需要进行更改，更适合进行工作负载的独立分发 在系统中增加负载均衡模块，实现基于网络流量乃至不同应用的负载分发 研究和试点在批处理和大型数据仓库等场景采用分布式处理 应用需要进行更改，由原来集中处理任务改变为分布式处理方式，第三方软件也需要适用这种模式 选择支持分布式处理的数据库产品，将数据库分散部署在多个 利用 在保证业务可用性的基础 上，对于资源需求小的应用系统 优选部署 在 积极试点 在规模事务型应用中采用 研究和试点 在批处理和大型数据仓库等场景采用分布式处理 第 34页 小型机虚拟化的分类和代表产品 虚拟化技术 产品 厂家 平台支持 操作系统 物理分区 （硬件级虚拟化） P 辑分区 （操作系统级虚拟化） S/i, P 1/源分区 （应用级虚拟化） 86 0 P S/i, 35页 个 p 的系统平台，该平台被分割成多个 个 可以运行一个操作系统实例。 可运行的系统包括 运行 ，又可以运行和管理一个或多个 由软件创建的、 映像中的虚拟化的操作系统环境。对于所承载的应用程序来说，每个工作负载分区都是一个安全的、隔离的环境。的应用程序认为，它正执行于自己的、专门的 例中。对于大多数 应用程序来说， 好像 是一个 启动实例。通 常，在 ，应用程序无 需修改就可以运行 A 个逻辑的服务器运行自己独立的操作系统，有自己独享的处理器、内存和I/ 这些资源在各个 第 36页 虚拟化技术 虚拟化技术功能、适用场景 备注 O） 动态调整不同分区之间的 存 /微分区 在需要分区技术时，需要快速部署或者分区数量较大时使用，配合共享处理器池技术提高设备的资源利用率，同时根据分区负载自动调整分区资源 虚拟 务器端 ) 使用 用于 虚拟以太网 (工作负载分区 (对资源需求较少，隔离性要求低，共享文件和应用，实现高密度部署，只需要维护一个 应用分区迁移 (作系统 ) 把应用从一个分区在不停止业务的前提下迁移到另外一个分区 应用的重要度很高 共享专用容量 方便把专有分区的资源动态分配给共享处理器资源池 共享处理器池 根据分区负载和策略动态自动调整分区的 合 多共享处理器池 使用共享处理器池的分区较多，情况与要求复杂时使用 动态分区迁移 () 业务运行的前提下，将系统和应用动态迁移到其他物理设备，适用于长时间不可暂停的应用场景 应用的重要度很高 ) 使用 高 活动内存共享 () 根据分区负载和策略动态自动调整分区的 合 集成虚拟以太网卡 () 管理网口 /临时的 活动内存扩展技术 ( 临时性的提高系统可使用内存 第 37页 按照 最多的硬件分区数量多达 24个 完全的硬件故障隔离 没有性能开销的损失 几代 可在线更换 每个逻辑域是一个完整的虚拟机，包含可动态配置的服务器资源和各自独立的 分区粒度小，内存以 8 域可单独配置、启动和关闭 ,无需服务器硬件的重启 可隔离操作系统以上的故障 在 - 动态资源管理 - 系统环境，安全性和故障隔离 ( 极轻量级实现，高密度部署 - 理论极限 8000 应用范围广范，可应用于各种类型的硬件平台 第 38页 平台 10K/6900/25K/2 5120/5220/6320/3260 所有 操作系统 0以上 0以上 性能开销 没有开销