数据中心调度算法模拟实现.doc

数据中心调度算法模拟实现概要设计说明书制作单位：银杏黄数据中心调度算法模拟实现项目小组团队成员：钟元椋 胡金安 刘卓昊 王美锐 庞志飞 李金栓 何钊制作日期：2010-5-24目录1.引言31.1编写目的31.2背景31.3术语定义41.4参考资料42.系统分析52.1系统功能简介52.2系统框图53.界面设计64.体系结构64.1系统概要64.2功能模块74.3结构层次84.4系统运行环境85.数据模型95.1物理资源（cpu、硬盘、内存）95.2虚拟资源（包括虚拟机镜像等）91.引言1.1编写目的该文档的目的是描述网上招聘系统项目的概要设计，其主要内容包括：l 系统功能简介l 系统结构设计l 系统接口设计l 数据设计l 界面设计本文档的预期的读者是：l 开发人员l 项目管理人员l 测试人员1.2背景传统的数据中心正在努力避免创能源价格新高，推动提高机构内部基础设施的效率。数据中心平均只利用了百分之十的能力，因此，百分之九十闲置。此外，在数据中心的电力消耗中，只有百分之三左右是用于处理数据，一方面是由于从系统实时性，可靠性考虑需要对一些设备进行冗余备份，另一方面由于用户群的地理分布不同。没有对不同位置的设备进行统一调度。 随着云计算的发展，当前数据中心业务高密化，保证关键业务的访问能力、提供大规模业务类型调度能力、保证业务带宽的可控，是多数据中心架构精细化发展的必然要求。此解决方案将打破单数据中心（机房）服务器、存储、网络、数据和应用中的物理设备障碍，集中管理和动态使用物理资源及虚拟资源，提高弹性和灵活性，以降低 成本、改善服务并管理风险。帮助客户构建灵活、动态、适应业务增长的基础架构，使企业在不增加开支的同时，保障未来的可持续发展在真实的Internet平台上对这些所有问题进行广泛的研究室极其困难的，因为它需要考虑应用程序开发商无法控制和处理的网络基础和环境。此外，网络条件无法预测或控制，而且还影响策略的质量评价。 这种动态和大规模分布式环境控制的再现方式研究，可以通过建立多数据中心模拟系统来实现，它支持可视化建模和模拟在云基础设施上配置的大规模应用程序。 多数据模拟系统，支持应用程序工作量描述，包括生成用户的地理位置信息，通讯和数据中心的位置，用户和数据中心的数量，以及一些资源在每个数据中心的数量。使用此信息，多数据中心模拟系统产生响应请求、处理申请时间等的信息。通过使用多数据中心模拟系统，应用程度开发商可以提出合理分配数据中心资源，选择数据中心满足特殊要求，减少此次业务的最少花费等的最好策略。1.3术语定义多数据中心： 指分布在不同位置的各种软硬件资源。可通过相互协调调度最大程度满足用户的不同需求。资源：分为物理资源和虚拟资源，调度程序根据用户的请求把物理资源分割或组合成适当的虚拟资源供用户使用。1.4参考资料1 Al-Fares，M., et al., Hedera: Dynamic Flow Scheduling for Data Center Networks， 2010.2 Buyya, R., et al., Modeling and Simulation of Scalable Cloud Computing Environments and the CloudSim Toolkit: Challenges and Opportunities, Proceedings of the 7th High Performance Computing and Simulation Conference (HPCS 2009, ISBN: 978-1-4244-4907-1, IEEE Press, New York, USA), Leipzig, Germany, June 21 - 24, 2009 3 Wickremasinghe, B., et al., CloudAnalyst: A CloudSim-based Visual Modeller for Analysing Cloud Computing Environments and Applications, Proceedings of the 24th IEEE International Conference on Advanced Information Networking and Applications (AINA 2010), Perth, Australia, April 20-23, 2010.4 Pandey, S., et al., Minimizing Execution Cost when using Globally Distributed Cloud Services, Proceedings of the 24th IEEE International Conference on Advanced Information Networking and Applications (AINA 2010), Perth, Australia, April 20-23, 2010.2.系统分析2.1系统功能简介本系统可以实现：通过模拟多个数据中心和各个用户请求的业务特征，根据用户不同的需求采取不同的分配策略，各个数据中心根据自身资源情况，对各自用户据队列中的用户采取动态迁移，以平衡各数据中心的负载。2.2系统框图3.界面设计各个模块功能：模块1模拟配置在此模块中，我们可以设置一些用户和数据中心的基本属性。其中包括：各个用户的分布区域、用户的服务请求时间区间、各个用户平均数据发送量、不同用户的业务需求、数据中心的存储容量、处理速度、资源情况等等基本属性。模块2网络情况此模块中，我们可以设置各用户与各数据中心的网络连接情况。延迟和带宽模块3模拟运行前两个模块配置了用户和数据中心的基本参数后，在此模块中进行模拟，处理结果。4.体系结构4.1系统概要硬件设施的利用率低，是整个云计算平台效率低下的主要原因，因为交通高峰期只有在特定时间发生。我们需要开发有固定的能力的平台，对硬件基础设施进行调度，使它足以应付预期的应用需求高峰。 但这个问题在真正的互联网平台实践研究是相当困难的，因此我们的目的便是开发这样一个系统，模拟出硬件设施的调度。我们所要开发的多数据中心模拟系统便是这样的一个云模拟工具，它包含云数据中心，用户，用户的工作量，以及定价模式建模。在这个系统中，我们提出了一种工具，称为云分析，它支持可视化建模和规模较大的基础设施部署的模拟。 它允许描述应用程序工作负载，包括生成用户的地理位置信息，通讯和数据中心的位置，用户和数据中心的数量，在每个数据中心的资源。 在系统整体上，采用C/S结构，采用多线程编程技术和多服务器并发技术，实现多用户多任务下的服务器资源管理和用户模拟。模拟用户，用户的应用，数据中心。模拟用户、数据中心位置和每个数据中心的负载，分析系统负荷和响应时间等。提出资源分配的策略。4.2功能模块模拟中心。模拟多数据中心的调度算法，模拟模拟数据中心上的各种资源（以实现网络资源动态实时的按需分配），模拟各个用户的业务特征。处理中心。在该平台上很多用户能够在不同的地理位置和时间对数据中心进行访问，然后统计出出其响应时间和处理能力。优化中心。通过对相应时间和对于负载的综合分析，提出资源分配的优化策略。4.3结构层次配置用户数据(包括地理信息等)可视化显示输出结果GUI开始执行调度Cloud Analyst用户(组)的数据请求GUI设置网络状况（如网络带宽等）继承Cloudsim Toolkit 请求名称平均等待时间数据转让成本4.4系统运行环境l 硬件环境：CPU P4 1.8GHz 内存：256MB以上 分辨率：推荐使用1024*768l 操作系统：Microsoft Windows XP （Service Pack 2 ）运行于P4或以上处理器。数据库：l 开发工具包：My Eclipse 8.55.数据模型5.1物理资源（cpu、硬盘、内存） 描述当前物理服务器的信息，包括CPU，内存及硬盘。主要属性有：ServerID(服务器编号)CPUNum (CPU数量)CPU (CPU大小)Mem (内存大小)DiskID (硬盘编号)Disk (硬盘大小)操作有：PowerOn(开机)PowerOff (关机)(资源分配？如何操作)状态有： Running (运行中)Closing (已关闭)错误有：找不到服务器()服务器已运行()服务器已关闭()5.2虚拟资源（包括虚拟机镜像等）描述当前虚拟服务器(即提供给用户使用的的服务器)的信息，包括CPU，内存及硬盘。主要属性有：VServerID(虚拟服务器编号)VServerState(虚拟服务器状态)User(使用者)CreatTime(建立时间)VServerType(服务器类型)ServerID(从属物理服务器编号)VCPUNum (CPU数量)VCPU(CPU大小)VMem(内存大小)VDiskID(硬盘编号)VDisk(硬盘大小)操作有：creatVServer(创建虚拟服务器)runVServer(运行虚拟服务器)closeVServer(关闭