云天励飞发布AI推理芯片路线图，三款专用芯片面向万卡集群协同

①云天励飞计划在未来两年多推出DeepVerse100P、DeepVerse100D和DeepVerse100L三款AI推理芯片；②三款芯片分别面向Prefill、Decode和Decode FFN，并将进行万卡异构集群协同设计与部署。

7月18日，在2026世界人工智能大会上，云天励飞（688343.SH）公布了未来两年多的AI推理芯片路线图。与单颗芯片发布不同，公司此次公布的是三款专用芯片及其集群级协同方案，目标是通过推理负载解耦和资源精细配置，提高Token生成效率并持续降低单位Token成本。

三款芯片各司其职，面向万卡集群协同

大模型推理不同阶段的计算特征存在明显差异。Prefill需要集中处理输入上下文，对计算能力要求较高；Decode采用逐Token生成方式，对内存带宽和数据访问效率更加敏感。随着MoE等模型架构发展，Decode内部的Attention与FFN也呈现出不同的资源需求。

DeepVerse100P面向百万级上下文Prefill场景。在传统混部架构中，长上下文Prefill与Decode共享算力和带宽资源，容易形成资源竞争，进而影响Decode生成吞吐。DeepVerse100P通过独立处理Prefill负载，降低两类任务之间的资源干扰。

DeepVerse100D面向Decode环节，拥有数倍于主流芯片的内存带宽，支持1024卡Scale-up及光互联系统架构。通过按需建立光路直连并根据任务动态重构光路，该方案可减少传统多跳电交换和静态组网中的排队、拥塞及中间转发开销，降低多节点通信阻塞和尾延迟。

DeepVerse100L则面向Decode阶段计算密集型的FFN环节，采用3D Memory架构，相比主流HBM大幅提升内存带宽，并通过低延迟芯片互联和激活数据快速传输，提高计算与通信的并行效率。

三款芯片将按照不同推理阶段的负载特征，在万卡异构集群中进行分离式部署与协同运行。通过分别配置相应芯片和资源池，并以高速互联形成异构算力系统，云天励飞希望降低不同负载之间的资源干扰，提高集群资源利用率和整体推理效率。

软件栈支撑异构集群落地

硬件异构程度和集群规模提升，也对模型适配、算子优化、编译部署和系统调度提出了更高要求。围绕DeepVerse芯片及其集群应用，云天励飞持续建设IFWA软件栈，覆盖AI模型开发、编程和系统等层级。

在兼容性方面，IFWA围绕Transformer主流架构完善PyTorch ATen算子的适配和性能优化，并加强对vLLM、SGLang等主流推理框架的支持。公司还通过开源Houmao多Agent异构编程框架，以及将成熟的Triton算子能力融入FlagOS，提高模型和算子的适配效率。

从三款专用芯片到万卡异构集群，再到IFWA软件栈，云天励飞此次公布的路线图并非单一芯片的性能升级，而是围绕Token生成全过程展开系统级优化。面向“百亿Token一分钱”的长期目标，公司希望通过芯片、互联、软件和系统协同，形成服务于大规模Token生成的“推理工厂”，持续提高集群资源利用率和算力产出效率。