中国科技行业战略：英伟达GTC+2024从硬件到软件的AI全链条服务

本研究报告由海通国际分销，海通国际是由海通国际研究有限公司，海通证券印度私人有限公司，海通国际株式会社和海通国际证券集团其他各成员单位的证券研究团队所组成的全球品牌，海通国际证券集团各成员分别在其许可的司法管辖区内从事证研究报告ResearchReport21Mar2024中国科技战略ChinaTechnolog姚书桥BarneyYaobarney.sq.yao@k.wang@■热点速评FlashAnalysis(PleaseseeAPPENDIX1forEnglishsummary)事件2024年3月19日，英伟达CEO黄仁勋在2024GTC人工智能大会上发表“见证AI的变革时刻”主题演讲。本次大会中，英伟达推出了新一代GPU架构Blackwell，并发布了一系列基于该架构的新一代硬件产品，同时介绍了其软件生态进展。点评新一代GPU架构Blackwell：高带宽+第二代Transformer引擎，更大更高效。Blackwell架构旨在降低AI计算的成本和能耗，实现更大模型的训练和计算能力的扩展。BlackwellGPU采用了台积电定制的4NP工艺制造，由两颗芯片通过NV-HBI（高达10TB/s的芯片到芯片带宽）连接行程一个逻辑芯片，从而集成2080亿个晶体管（H100为800亿个AI性能是上一代Hopper架构H100芯片的5倍；采用第二代Transformer引擎，可支持支持双倍的计算和模型大小；搭载第五代NVLink技术（第四代NVLinkSwitch芯片为每个GPU提供1.8TB/s的双向吞吐量，以支持多达576个GPU域内直连为10万亿参数级别和基于混合专家模型（MoE）的LLM提供高速通信；配备RAS引擎提供芯片级别的防性维护功能；配备安全AI，能够高效保护AI模型和客户数据，并支持新的本机接口加密协议；全新解压缩引擎支持最新的格式，可加速数据库查询以提供提供最高性能的数据分析和数据科学领域应用。AI计算业务线产品全面更新，超算拓展性大大提高。基于Blackwell芯片，英伟达更新了AI计算业务线多款产品，包括新一代HGX加速服务器平台HGXB100/B200以取代上一代HGXH100/H200，新一代DGXAI计算平台DGXB200；基于NVLink-C2C技术组合2*B200GPU+1*GraceCPU的新一代GB200Grace-Blackwell超级芯片；基于36个GB200超级芯片（18个GB200服务器节点）的AI服务器机架式解决方案DGXGB200NVL72，搭载一体式液冷散热和5,000条独立线缆，相比基于前一代H100的同等规模计算平台，其LLM训练性能提高4倍、推理性能提高30倍，能源消耗降低25倍；在GB200NVL72基础上，通过NVIDIAQuantum-X800InfiniBand网络或NVIDIASpectrum™-X800以太网络组网连接，可拓展成支持数万个GB200的DGXSuperPOD超级计算机系统。软件生态快速成长。1）微服务（Microservices）简化企业生成式AI部署。英伟达面向企业推出了一系列生成式AI微服务，旨在帮助企业在自己的平台上开发和部署定制应用程序，提高AI应用的安全性和可控性。例如NIM推理微服务通过提供AI容器、推理优化和行业标准API，大幅提高生成式AI应用程序的部署时间；CUDA-X微服务针对数据准备、定制和训练提供端到端的开发模块，加速各领域的AI应用开发，包括可定制的语音和翻译AI的NVIDIARiva、用于路径优化的NVIDIAcuOpt™用于户高分辨率气候和天气模拟的NVIDIAEarth-2，还包括例如RAG、数据微调等面相数据处理的一系列NeMo微服务。2）全新OmniverseCloudAPI发布。英伟达对其计算机图形与仿真模拟平台Omniverse推出了包括USDRender、USDWrite、USDQuery、USDNotify和OmniverseChannel共5款API，使开发者可以更加便捷地访问其服务并将其整合到数字孪生设计、机器人和自动驾驶测试等领域。全链条服务加速机器人开发。机器人领域，英伟达推出了专用计算平台JetsonThor以提供充足算力支持机器人完成复杂任务并与人和机器进行安全、自然的交互，该平台采用模块化架构，搭载下一代BlackwellGPU，可提供800TFLOPS@INT8的AI算力。软件层面，除了Omniverse仿真模拟平台以外，英伟达还发布了多模态人形机器人通用基础模型ProjectGR00T（GeneralistRobot00Technology），并推出Isaac机器人平台的最新进展，例如针对机械臂的模型和GPU加速库IsaacManipulator、针对AMR的视觉AI模型IsaacPerceptor以及用于大规模训练人形机器人模型的模拟软件IsaacLab，同时推出全新云原生工作流编排平台OSMO用于调度和管理自主机器人工作负载。中国科技战略ChinaTechnologyStrategy21Mar20242AI赋能汽车智能化，多家中国车企定点下一代车载计算平台DriveThor。汽车领域，英伟达宣布其下一代车规级计算平台DriveThor既理想、极氪定点之后已获比亚迪、广汽埃安昊铂和小鹏汽车定点，文远知行、Nuro、Plus（智加科技）、Waabi等自动驾驶公司也计划采用DriveThor平台开发L4级别自动驾驶解决方案。该平台于英伟达在GTC2022大会中首次发布，基于Blackwell架构打造，设计为ASIL-D功能安全，专为Transformer、LLM和生成式AI工作负载设计，单芯片算力可达2000TOPS，计划2025年量产。智驾之外，比亚迪也在AI基建方面与英伟达合作，利用Isaac和Omniverse等机器人和仿真技术提升工厂运营和零售效率。我们认为，智能化升级背景下汽车行业仍是AI落地的关键领域之一，从DriveThor主要合作车企来看，国内自主品牌在汽车智能化进程中显示出了引领趋势和较强积极性，有望借力AI产业爆发加速实现从产品开发到生产销售全方位的智能化升级。风险对华芯片出口管制收紧；机器人和自动驾驶技术发展不及预期；居民消费意愿下滑等。中国科技战略ChinaTechnologyStrategy21Mar20243图表1英伟达Blackwell架构芯片参数GBGB200超级芯片384GBHBM3e（2*8*24）72ArmNeoverseV2cores2700W72ArmNeoverseV2cores1000WBlackwell192GBHBM3eBlackwell192GBHBM3e4.5PFLOPS40TFLOPS最大内存内存带宽FP16/BF16FP64(稠密)通道数双向互联带宽– – GH200超级芯片144GBHBM3eH200Hopper141GBHBM3eH100Hopper80GBHBM33.35TB/sCPU核心数最大功耗– 1000W– 700W– 700W– 700WNVLinkSwitchGPU内存性能架构––图表2英伟达HGX加速服务器平台参数HGXH100(8卡版本)HGXH200(8卡版本)架构8*H100GPU8*H100GPU8*B100GPU8*B200GPUGPU内存最大内存640GBHBM31.5TBHBM3e1.5TBHBM3e内存带宽7.2TB/s7.2TB/s性能 112PFLOPS144PFLOPS––56PFLOPS72PFLOPS32PFLOPS32PFLOPS56PFLOPS72PFLOPSFP16/BF1628PFLOPS36PFLOPSTF32FP64(稠密)535TFLOPS535TFLOPS240TFLOPS320TFLOPSNVLinkSwitch通道数双向互联带宽（聚合）7.2TB/s7.2TB/s14.4TB/s14.4TB/s最大功耗5600W5600W5600W8000W图表3英伟达DGXAI计算平台参数DGXH100DGXB200DGXGB200NVL72架构8*H100GPU+2*IntelXeon8*B200GPU+2*IntelXeon72*B200GPU+36*GraceCPUGPU内存最大内存640GBHBM31.5TBHBM3e13.5TBHBM3e内存带宽7.2TB/s64TB/s576TB/s性能–144PFLOPS1440PFLOPS–72PFLOPS720PFLOPS32PFLOPS72PFLOPS720PFLOPS32POPS72POPS720POPSFP16/BF1616PFLOPS36PFLOPS360PFLOPSTF328PFLOPS18PFLOPS180PFLOPSFP64(稠密)535TFTFLOPS320TFLOPS3240TFLOPSNVLinkSwitch通道数NVLink4*18NVLink5*18双向互联带宽8*0.9=7.2TB/s14.4TB/s36*3.6=130TB/sCPU型号2*Intel®Xeon®Platinum8480CProcessors2*Intel®Xeon®Platinum8570ProcessorsGraceCPU核心112Cores112Cores2592ArmNeoverseV2cores系统最大内存2TB4TB17TB最大功耗10.2kW14.3kW未知21Mar20244图表5英伟达DGXGB200NVL72计算服务器图表6英伟达DGXGB200NVL72性能表现较上代产品大幅提高21Mar20245图表7英伟达HGX加速服务器平台参数图表8英伟达AI软硬件赋能比亚迪整车技术开发和生产运营中国科技战略ChinaTechnologyStrategy21Mar20246APPENDIX1SummaryOnMarch19,NVIDIACEOJensenHuangdeliveredakeynotespeechtitled"WitnessingtheTransformativeMomentofAI"atthe2024GTCAIConference.Duringtheconference,NVIDIAintroduceditsnewGPUarchitecture,Blackwell,alongwithaseriesofnext-generationhardwareproductsbasedonthisarchitectureanddiscussedtheprogressofitssoftwareecosystem.CommentsNewGPUarchitectureBlackwell:highbandwidth+2nd-gentransformerengine,biggerandmoreefficient.TheBlackwellarchitectureisdesignedtoreducethecostandenergyconsumptionofAIcomputing,enablingthetrainingandcomputationalcapabilitiesoflargermodels.BlackwellGPUhasthefollowingattributes:1)208billiontransistorsintegratedby2diethroughNV-HBI;2)2nd-gentransformerengine;3)5th-genNVLinktechnology;4)RASengines;5)SecureAI;6)newdecompressionengine.ComprehensiveupdateofAIcomputingproductlines,significantlyimprovedscalabilityofsupercomputing.BasedontheBlackwellchip,NVIDIAupdatedseveralproductsinitsAIcomputinglineup,includingthenext-generationHGXacceleratedserverplatformsHGXB100/B200andDGXAIcomputingplatformDGXB200;theGB200Grace-Blackwellsuperchip;theAIserverracksolutionDGXGB200NVL72;andDGXSuperPODsupercomputersystembasedtensofthousandsofGB200s.Rapidgrowthinsoftwareecosystem.1)MicroservicessimplifythedeploymentofgenerativeAIforenterprises.NVIDIAlaunchedaseriesofgenerativeAImicroservicesforenterprisestohelpthemdevelopanddeploycustomapplicationsontheirplatforms,enhancingthesecurityandcontrollabilityofAIapplicationsincludingNIMinferencemicroservices,CUDA-XmicroservicesandNeMomicroservices.2)NewOmniverseCloudAPIswerereleased,makingiteasierfordeveloperstoaccessitsservicesandintegratethemintoareassuchasdigitaltwindesign,robotics,andautonomousdrivingtesting.Full-chainservicesacceleraterobotdevelopment.Inthefieldofrobotics,NVIDIAlaunchedthededicatedcomputingplatformJetsonThorbasedonBlackwellGPUtoprovideamplecomputingpowerforrobotstoperformcomplextasksandinteractsafelyandnaturallywithhumansandmachines.Onthesoftwarelevel,inadditiontotheOmniversesimulationplatform,NVIDIAalsoreleasedthemultimodalhumanoidrobotgeneralbasemodelProjectGR00T,andintroducedtheupdatesintheIsaacrobotplatform,suchasIsaacManipulator,IsaacPerceptorforAMRs,IsaacLabandOSMO.AIempowersautomotiveintelligence,multipleChineseOEMplannedtodevelopfuturemodelsbasedonnext-genonboardcomputingplatformDriveThor.Intheautomotivesector,NVIDIAannouncedthatitsnext-genautomotive-gradecomputingplatform,DriveThor,hasbeendesignatedbyBYD,GACAionHyper,andXPengMotorsfollowedbyLiAutoandZEEKR.AutonomousdrivingcompaniessuchasWeRide,Nuro,Plus,andWaabialsoplantousetheDriveThorplatformtodevelopL4autonomousdrivingsolutions.Beyondsmartdriving,BYDisalsocooperatingwithNVIDIAinAIinfrastructure,utilizingroboticsandsimulationtechnologieslikeIsaacandOmniversetoimprovefactoryoperationsandretailefficiency.Webelievethatunderthebackdropofintelligentupgrading,theautomotiveindustryremainsoneofthekeyareasforAIimplementation.LookingatthemainautomakerscollaboratingwithDriveThor,domesticbrandsshowaleadingtrendandstrongenthusiasmintheprocessofautomotiveintelligence,expectedtoleveragetheexplosionoftheAIindustrytoacceleratetheintelligentupgradingfromproductdevelopmenttoproductionandsalescomprehensively.TighteningofchipexportcontrolstoChina;underperformanceinthedevelopmentofroboticsandautonomousdrivingtechnologies;declineinconsumerwillingnesstospend.7i下下 8