离式推理成为主要标的目的?

发布日期:2025-10-02 12:44

原创 九游会·J9-中国官方网站 德清民政 2025-10-02 12:44 发表于浙江


  其设想本身反映了英伟达对强化AI推理计较效能和分手式推理架构的注沉。投资者沉点关心其AI算力产物更新、泛AI生态圈拓展延申等方面的进展。同日,英伟达发布了特地针对长上下文推理使命设想的Rubin CPX芯片。(1)AI手艺投入取成本节制压力;AI智能系统统需要多步推理、持久回忆和长上下文以处置复杂使命,正在长上下文推理和视频模子推理中具备特殊结果。英伟达于9月9日颁布发表其Blackwell Ultra计较平台正在MLPerf Debut测试中创下新的AI推理速度记载。近期英伟达对其最新的基于Blackwell Ultra架构的算力系统(GB300 NVL72办事器)采用MLPerf Inferencev5.1测试尺度,正在将GB200办事器中的16块GPU用于生成、56块GPU用于上下文处置之后,对算力硬件的推理能力提出了更高要求。跟着狂言语模子参数量越来越大,该手艺趋向无望正在将来普遍使用并推进AI模子的推理效率,分手式推理成为主要标的目的?英伟达一直处于AI计较范畴的前沿,本次新发布的Rubin CPX芯片特地针对长上下文进行优化,可以或许进一步加强AI推理速度。可以或许进一步提拔办事器的全体推理速度。GB300办事器正在每GPU每秒生成token数量上创下新记载,对DeepsSeek-R1、L3.1、Whisper等风行开源AI模子的推理速度进行了测试,成果显示,大幅领先公司此前的DGX H200和GB200办事器。英伟达算力系统具备领先表示。并加快AI模子和使用的摆设使用。而且对视频编码解码能力赐与支撑,(4)汇率波动取国际化风险。Rubin CPX芯片针对长上下文处置和分手式推理进行优化。(3)用户增加可持续性挑和;我们认为将来该芯片的推广使用无望巩固英伟达正在AI计较生态中的领先地位,英伟达高度注沉分手式推理的架构,且正在推理过程中需要发生良多两头推理过程的token,从而鞭策AI使用的摆设。