多媒体云计算下的大规模数据流调度方法研究.doc

多媒体云计算下的大规模数据流调度方法研究 安海涛 （内蒙古电子信息职业技术学院，内蒙古呼和浩特010010） 摘要：传统的多媒体数据流调度方法在云平台环境下，未考虑服务器信息调度的差异性，容易形成数据调度冲突，调度效率低。为了解决上述分析的问题，通过构建多媒体云计算下数据流调度平台，实现对多路大规模多媒体数据流的合理调度，利用多级分层结构将多媒体云计算下的多服务器大规模数据流调度过程划分成管理层面、控制层面以及数据层面，可确保将数据包均匀的分配给各个服务器，充分发挥云计算下的多服务器可并行处理的特性，增强数据流的调度质量。对调度平台的软件框架进行了详细的描述，依据该软件框架的多层次实现大规模数据流调度优化，分析了大规模数据流调度的具体实现过程，并给出大规模数据流调度平台软件代码的设计。实验结果表明，所提方法增强了多媒体云计算下的大规模数据流调度的并发性能，提高数据流调度质量。 关键词：多媒体；云计算；大规模数据流；调度方法 ：TN911?34：A：1004?373X（xx）20?0154?04 ：xx?04?25 基金项目：内蒙古自治区教育厅xx年度科研项目：自治区高职院校学生素质教育与通用平台建设研究（NJSC14337） Researchonmassivedatastreamschedulingmethodundertheconditionofmultimediacloudputation ANHaitao （InnerMongoliaElectronicInformationVocationalTechnicalCollege，Hohhot010010，China） Abstract：Thetraditionalmultimediadatastreamschedulingmethoddoesnotconsiderthedifferenceoftheserverinforma?tionschedulinginthecloudenvironment，andiseasytoformthedataschedulingconflict，whichmayresultinlowschedulingefficiency.Inordertosolvetheproblemoftheaboveanalysis，byconstructingthedatastreamschedulingplatformundertheconditionofmultimediacloudputationtoachieverationalschedulingofmulti?channellarge?scalemultimediadatastream，themassivedatastreamschedulingprocessofmultipleserversinmultimediacloudputationisdividedintomanagementlevel，controllevelanddatalevelbyusingmulti?stagestratifiedstructure，soastoensurethatthedatapacketisevenlyassignedtoeachserver，givefullplaytotheparallelprocessingfeaturesofmultipleserversincloudputation，andenhancetheschedulingqualityofdatastream.Thesoftwareframeworkofdispatchingplatformisdescribedindetail.Aordingtothemulti?levelfeatureofsoftwareframework，theschedulingoptimizationoflarge?scaledatastreamisrealized.Thespecificimplementationprocessofmassivedatastreamsschedulingisanalyzed.Thedesignofthesoftwarecodeformassivedatastreamsschedulingplatformisgiv?en.Theexperimentalresultsindicatethattheproposedmethodhasenhancedtheconcurrentperformanceofmassivedataflowschedulingundertheconditionofmultimediacloudputationandimprovedtheschedulingqualityofdatastream. Keywords：multimedia；cloudputing；largescaledataflow；schedulingmethod 0引言 随着计算机以及网络技术的快速发展，多媒体数据的应用领域逐渐扩展。由于多媒体业务具有较高的计算复杂度，因而在云计算平台上部署这些业务具有较强的必要性1?3。云计算下的多媒体视频数据流具有实时性、随机性、数量多等特征，而多媒体应用要求支撑多媒体服务的云计算环境能够提供高质量的服务，而实现服务质量的关键是有效处理数据拥塞问题，因此寻求有效的大规模数据流调度方法4?6，确保云计算环境下多媒体信息的正常运行，受到了相关学者的关注。 当前，主流的云平台多媒体数据流调度方法主要如下：文献7提出的依据神经网络算法的调度方法。该方法较为简便，但容易出现调度冲突问题，调度效率大大降低；文献8分析了依据优化微粒群算法的调度方法，该方法虽然具有较高的调度效率，但是未充分考虑云计算下多服务器间的差异性，导致数据流调度结果存在较大的偏差；文献9分析的依据免疫遗传算法的调度方法，但是由于多媒体云计算下的数据流调度系统缺少变异过程，容易陷入局部最优，不能获取最佳的调度结果；文献10提出了最早结束标志优先调度算法，该种算法无法确保为每个任务提供端端延迟保证，具有较高的运算复杂度。 1多媒体云计算下大规模数据流调度平台系统框架 将Cavium58XX服务器当成多媒体云计算下大规模数据流调度平台的实现基础。58XX服务器中集成了14个同构服务器，各处理核具有独立的输入包分类以及加解密等协处理器单元，拥有高速多媒体数据流处理、转发性能，能够满足多媒体云计算下大规模数据流调度平台的性能需求。 图1多媒体云计算下的大规模数据流调度系统结构分析图1可以看出，在数据流调度系统中，多媒体云计算下的资源包括两个部分，一部分服务器需要执行Linux操作系统，确保用户能够在Linux操作系统上运行多媒体视频流化的应用，产生流化数据，也就是多媒体数据流；另一部分服务器用来搭建多媒体云计算服务器操作系统，该系统可对调度平台的管理层面、控制层面和数据层面进行统一调控。 其中管理层面和控制层面对多媒体云计算系统的硬件资源进行调控，同时调度系统间的信令和数据的沟通。数据层面用于塑造大规模数据流调度，完成多媒体云计算下的大规模数据流的有效传递。Linux操作系统与多媒体云计算服务器操作系统都具备独立的硬件资源，两个系统间通过控制层面维护的数据通道实现信息的沟通，数据流通道将传递流化后的视频数据流，通过大规模数据流调度平台完成定时发送。 2大规模数据流调度 多媒体云计算平台通过多个服务器完成大规模数据流的传递，数据流在服务器间进行并行处理时，容易出现资源冲突问题，导致出现服务器资源浪费以及数据流调度滞后等问题，所以应在云计算下的多服务器之间调度数据流，合理分配服务器资源。 管理层面：部署大规模数据流调度平台在数据层面的拓扑结构，对多媒体云计算环境中的硬件资源的分配进行调控。 控制层面：管理大规模数据流调度平台中的硬件资源，为每条数据流分配相应的硬件资源，对进入大规模数据流调度平台的数据流进行实时操作。控制层为Linux操作系统与多媒体云计算服务器操作系统间提供数据传递通道，确保数据流可通过Linux操作系统上的应用程序，传输到多媒体云计算服务器操作系数中的大规模数据流调度平台中。 数据层面：依据管理层面设置的拓扑结构，调控大规模数据流调度平台中的服务器，接收控制层面反馈的数据，确保大规模数据流的实时传输。 3多媒体云计算下数据流调度软件设计在塑造大规模数据流调度模型时，还应依据软件框架充分利用云计算平台中多服务器的硬件资源，实现大规模数据流的高效调度。 本文设计的大规模数据流调度平台主要由以下的软件模块组成： 配置调控模块对大规模数据流调度平台进行初始化设置，同时对节目流资源进行调控。分组输入模块采集多媒体云计算环境中的数据，并对数据进行分类过滤处理，再将处理后的数据传递到流化应用，分组输入模块接收流化应用反馈的RTSP和IP分组数据，并将数据传递到分组操作模块。分组操作模块采集分组输入模块传输的数据，并在配置管理模块对应的内存中搜索节目流信息，将该信息当成数据包封装IP包头和以太网包头，生成以太网数据报，同时将数据报传递给分组输出模块；分组输出模块采集分组操作模块传递的以太网数据报，依据各数据包的发送时间将数据包传递到相应的网络端口。 大规模数据流调度平台中还包括定时器，大规模数据流调度平台需要将数据包传递给定时器，定时器在数据包到达发送时间后，将数据包传输到输出模块。 分组输出模块用于大规模数据流调度平台专用接口的流化应用以及实现大规模数据流调度中数据和信令间的交互。信令交互是实现ID申请/释放信息的交互，流化应用在开始发送一路新的节目流前，应通过大规模数据流调度平台专用接口申请新ID，流化应用基于新ID提交数据，区分不同的节目流。 3.2软件代码设计 4实验结果及分析 为了验证本文方法的有效性，塑造一个仿真实验系统进行验证。 4.1实验参数设置 仿真系统由3个云计算下的服务器构成，各服务器采用3级流水线结构设置多媒体云计算下的多服务器拓扑结构。设置数据包在服务器间传递的时间消耗为8。实验使用由：/fown.uew.esr/fownstck.html提供的实际影片数据帧信息，采用该影片模拟多媒体数据流。 4.2实验结果 （2）CPU资源利用率。对比分析免疫遗传方法和本文方法下的多媒体云计算下的大规模数据流调度系统资源使用情况，如图5所示。图5中随着多媒体云计算系统中服务的数据流数量的不断增加，本文数据流调度方法下的多媒体云计算环境下的资源总体利用率在绝大部分情况下明显高于免疫遗传算法的整体利用率。 （3）数据包调度总量。图6描述了免疫遗传方法和本文方法下系统调度数据包的总量对比，可以看出本文方法下系统调度数据包的总量明显高于免疫遗传方法，采用本文方法可有效地提高系统处理数据包的总数，增加多媒体云计算系统的并发量，提高系统的服务能力。 5结论 本文通过构建多媒体云计算下数据流调度平台，实现对多路大规模多媒体数据流的合理调度，利用多级分层结构将多媒体云计算下的多服务器大规模数据流调度过程，划分成管理层面、控制层面和数据层面，确保将数据包均匀的分配给各个服务器，充分发挥云计算下的多服务器可并行处理的特性，增强数据流的调度质量。对调度平台的软件框架进行了详细的描述，依据该软件框架的多层次实现大规模数据流调度优化，分析了大规模数据流调度的具体实现过程，并给出大规模数据流调度平台软件代码的设计。实验结果说明，所提方法增强了多媒体云计算下的大规模数据流调度的并发性能，提高数据流调度质量。 参考文献 1佚名.xx年中国互联网络发展状况统计报告EB/OL.xx?01?08.：/.360doc./content/14/0604/09/9073112_383465777.shtml 2HARRINGTONPeter.MachinelearninginactionM.北京：人民邮电出版社，xx. 3WANGZ，BAOY，GUY，etal.ABSP?basedparallelitera?tiveprocessingsystemwithmultiplepartitionstrategiesforbiggraphsC/ProceedingsofxxIEEEInternationalCongressonBigData.S.l.：IEEE，xx：173?180. 4LAMChuck.HadoopinactionM.北京：人民邮电出版社，xx. 5李伟卫，赵航，张阳，等.基于MapReduce的海量数据挖掘技术研究J.计算机工程与应用，xx，49（20）：112?117. 6王元卓，靳小龙，程学旗.网络大数据：现状与展望J.计算机学报，xx，36（6）：1125?1138. 7覃雄派，王会举，李芙蓉，等.数据管理技术的新格局J.软件学报，xx，24（2）：175?197. 8陈崇成，林剑峰，吴小竹，等.基于NoSQL的海量空间数据云存储与服务方法J.地球信息科学学报，