版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
HorovodDistributed-OptimizerN/AHorovodDistributed-OptimizerN/AGloo,MPI,支持多种框架PyTorchp2p+collectivecomm.PyTorchGloo,MPI,只支持单框架TensorFlow分布式用户接口strategylist:PS,AllReduce执行单节点训练TensorFlow通信协调gRPC,libRDMA,NCCL TrainingAPIMirroredStrategyTPUStrategyMultiWorker-MirroredStrategyCentralStorage-StrategyParameterServer-StrategyOneDeviceStrategyKerasAPISupportedExperimentalsupportExperimentalsupportExperimentalsupportSupportedplannedpost2.0SupportedCustomtrainingloopExperimentalsupportExperimentalsupportSupportplannedpost2.0Supportplannedpost2.0NosupportyetSupportedEstimatorAPILimitedSupportNotsupportedLimitedSupportLimitedSupportLimitedSupportLimitedSupporthttps:///guide/distributed_traininghttps:///guide/distributed_traininghttps:///guide/distributed_training https:///guide/distributed_training xyzxyz𝛻x𝛻y*a*𝐠𝛻z+bΣc+𝐠𝛻a𝛻bΣ𝐠Partitiongraph𝑯𝝈Partitiongraph𝑯𝝈𝒀*Dispatchpartitions𝑾𝟐*𝑾𝟏 𝑿Server1Server0Send𝑯𝝈*𝒀*Recv𝑾𝟐𝑾𝟏 𝑿Server0Server1ParameterServerParameterServer每个mini-batch通信一次ApplyGradApplyGrad𝑾𝒆𝒊𝒈𝒉𝒕SendGenGrad𝝈*𝑿𝟏Worker0GenGrad𝑯𝝈𝒀𝝈*𝒀*Recv𝑾𝟐*𝑾𝟏 𝑿𝑿𝟐Server0Server1数据并行 模型并行/tutorials/intermediate/dist_tuto.html/tutorials/intermediate/dist_tuto.htmlAll-Reduce/tutorials/intermediate/dist_tuto.htmlAll-Reduce/tutorials/intermedia
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 药理学(安徽中医药大学)智慧树知到期末考试答案章节答案2024年安徽中医药大学
- 高血压日常防治方法
- 急危重症护理学课件
- 密闭式静脉留置针输液
- 右胫腓骨远端骨折术合并骨盆骨折的护理查房
- 股份制合作经营合同
- 六年级下册数学教案-总复习 分数和百分数 ︳西师大版
- 通过合同控制采购腐败
- 黑龙江省大庆十中2024届高三第三次模拟考试英语试卷含解析
- 2024年度手汽车买卖合同 1
- (最新)八运二十四山玄空风水吉凶断
- 体检报告模板
- 2021.04国测小学四年级数学模拟试卷
- 财政局发挥财政职能作用促进教育发展情况汇报
- 脉法篇彭子益
- 机械制图装配图【谷风教育】
- 4BM3U3知识点梳理
- 鲁特精雕机技术方案
- 交通信号系统红绿灯安装专项施工方案(优秀)
- 石材装饰材料与施工工艺PPT课件
- 钢材取样技术规程
评论
0/150
提交评论