刺猬投研
logo

刺猬投研

CIWEI AI

看板Dashboard工作台Workbench发现Discover
登录 / 注册
请先登录/注册
  1. 首页
  2. 研究报告
  3. 中国信通院_大模型词元服务性能监测报告(2026年)_20261109.pdf

中国信通院_大模型词元服务性能监测报告(2026年)_20261109.pdf

中国信通院2026-11-09查看原文

摘要

1中国信通院发布2026年大模型词元服务性能监测报告。
2数据显示,2026年8月国内大模型Token服务TPS均值达78.23个/秒,较2025年翻倍;
3首词时延增至1.26秒。
4行业结束价格战,国内归一化均价回升至13.46元/百万Token,涨幅近98%。
5DeepSeek、Qwen等国产开源模型在第三方平台性能优化显著,部分指标超官方平台。
6报告为MaaS选型及算力基础设施优化提供权威数据支撑。

文本

大模型词元服务性能监测报告

(2026 年)

中国信息通信研究院人工智能研究所 人工智能大模型及软硬件评测工业和信息化部重点实验室 中国人工智能产业发展联盟 2026年10月

I

版权声明

本报告版权属于中国信息通信研究院、人工智能大模型 及软硬件评测工业和信息化部重点实验室和中国人工智能 产业发展联盟,并受法律保护。转载、摘编或利用其他方 式使用本报告文字或者观点的,应注明“来源:中国信息 通信研究院、人工智能大模型及软硬件评测工业和信息化 部重点实验室和中国人工智能产业发展联盟”。违反上述 声明者,将追究其相关法律责任。

前 言

随着大模型技术的迅速迭代,词元(Token)服务成为从技术走 向应用的关键点,我国日均 Token 调用量持续攀升,2026 年 6 月, 国内词元日均消耗量约 500 万亿,是 2025 年 12 月的近 4 倍。产业 中越来越多的 MaaS(Model as a Service,模型即服务)平台厂商通 过公有云 API 方式供给大模型 Token 服务。然而用户对 Token 服务 性能缺乏直观的判断依据,且面临选型困难等各类问题。

为有效衡量服务性能,中国信息通信研究院(以下简称“中国信 通院”)人工智能研究所依托人工智能大模型及软硬件评测工业和信 息化部重点实验室(以下简称“实验室”),联合中国人工智能产业 发展联盟(AIIA)模型服务(MaaS)工作组和高质量词元服务工作 组,自 2025 年以来持续开展公有云大模型 Token 服务性能监测工作。

监测显示,大模型 Token 服务性能整体呈现提升态势,头部平 台在每秒 Token 吞吐量等关键指标上持续优化,满足多数通用场景 要求。本报告基于 2026 年 1 月-8 月的监测数据,围绕各平台 Token 服务调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗 口等维度,月均 TPS 相较 2025 年实现翻倍,原厂大模型整体时延有 所增长,但开源模型在第三方平台上时延持续优化。对比原厂大模 型在其官方平台,以及 DeepSeek、Qwen、GLM、Kimi 四款开源模 型在第三方平台性能表现上的差异,并进一步分析影响 Token 服务 性能的关键因素,旨在为用户选型提供参考,并为产业界优化服务 能力提供方向指引。

本报告中涉及的性能数据基于公开接口实测所得,受测试时间、

网络环境、并发策略等因素影响,结果仅供技术参考,不构成对任 何产品或服务的推荐、背书或商业评价。由于数据较多,报告整理 可能存在疏漏之处,如有任何问题欢迎与我们沟通交流,后续将结 合最新数据持续更新完善。

目 录

一、 核心观察..............................................................................................................1 (一)大模型 Token 服务吞吐与时延同步增加................................................1 (二)大模型价格回升明显,向“能力跃迁”发展演进................................2 (三)开源模型 Token 服务性能提升显著........................................................2

二、 监测方法..............................................................................................................3 (一)监测对象....................................................................................................3 (二)监测指标....................................................................................................4 (三)监测参数设置............................................................................................4

三、 原厂大模型监测结果..........................................................................................5 (一)调用成功率................................................................................................5 (二)每秒输出词元数(TPS).........................................................................8 (三)首词时延(TTFT)................................................................................10 (四)服务稳定指数..........................................................................................12 (五)服务价格与费用......................................................................................15 (六)模型上下文..............................................................................................17

四、 开源大模型监测结果........................................................................................18 (一)开源模型上线率......................................................................................18 (二)DeepSeek 监测结果................................................................................ 20 (三)Qwen 监测结果.......................................................................................22 (四)GLM 监测结果........................................................................................25 (五)Kimi 监测结果........................................................................................ 27

五、 总结....................................................................................................................30

  • 附录 A:其他事项说明..............................................................................................31
  • 附录 B:监测模型清单..............................................................................................33

图 目 录

  • 图 1 8 月份原厂大模型 Token 服务调用成功率平均值.........................................6
  • 图 2 各原厂大模型 Token 服务调用成功率(越高越好)....................................7
  • 图 3 所有大模型 Token 服务月均调用成功率........................................................7
  • 图 4 8 月份原厂大模型 Token 服务 TPS 平均值....................................................8
  • 图 5 各原厂大模型 Token 服务 TPS 平均值(越高越好)...................................9
  • 图 6 所有大模型 Token 服务月均 TPS..................................................................10
  • 图 7 8 月份原厂大模型 Token 服务 TTFT 平均值...............................................10
  • 图 8 各原厂大模型 Token 服务 TTFT 平均值(越低越好).............................. 11
  • 图 9 所有大模型 Token 服务的月均 TTFT...........................................................12
  • 图 10 8 月份原厂大模型 Token 服务稳定指数.....................................................13
  • 图 11 原厂大模型 Token 服务月均稳定性指数(越高越好)............................14
  • 图 12 所有大模型 Token 服务月均稳定指数........................................................14
  • 图 13 国内原厂大模型发布时归一化价格趋势图................................................15
  • 图 14 国外原厂大模型发布时归一化价格趋势图................................................16
  • 图 15 8 月份国内外大模型 Token 消耗量及费用对比图.....................................17
  • 图 16 国内大模型上下文长度占比情况................................................................18
  • 图 17 所有平台上 DeepSeek 月均调用成功率..................................................... 20
  • 图 18 各平台的 DeepSeek 月均调用成功率(越高越好)................................. 20
  • 图 19 所有平台的 DeepSeek 月均 TPS................................................................. 21
  • 图 20 各平台的 DeepSeek 月均 TPS(越高越好)............................................. 21
  • 图 21 所有平台的 DeepSeek 月均 TTFT...............................................................22
  • 图 22 各平台的 DeepSeek 月均 TTFT(越低越好)...........................................22
  • 图 23 平台的 Qwen 月均调用成功率....................................................................23
  • 图 24 各平台的 Qwen 月均调用成功率(越高越好)........................................23
  • 图 25 所有平台的 Qwen 月均 TPS........................................................................23
  • 图 26 各平台的 Qwen 月均 TPS(越高越好)....................................................24
  • 图 27 所有平台的 Qwen 月均 TTFT..................................................................... 24
  • 图 28 各平台的 Qwen 月均 TTFT(越低越好)................................................. 24
  • 图 29 所有平台的 GLM 月均调用成功率.............................................................25
  • 图 30 各平台的 GLM 月均调用成功率(越高越好).........................................25
  • 图 31 所有平台的 GLM 月均 TPS.........................................................................26
  • 图 32 各平台的 GLM 月均 TPS(越高越好).....................................................26
  • 图 33 所有平台的 GLM 月均 TTFT......................................................................27
  • 图 34 各平台的 GLM 月均 TTFT(越低越好)..................................................27
  • 图 35 所有平台的 Kimi 月均调用成功率............................................................. 28
  • 图 36 各平台的 Kimi 月均调用成功率(越高越好)......................................... 28
  • 图 37 所有平台的 Kimi 月均 TPS......................................................................... 29
  • 图 38 各平台的 Kimi 月均 TPS(越高越好)..................................................... 29
  • 图 39 所有平台的 Kimi 月均 TTFT.......................................................................29
  • 图 40 各平台的 Kimi 月均 TTFT(越低越好)...................................................30

表 目 录

  • 表 1 典型开源大模型在国内外主流 MaaS 平台的上线率统计..........................18
  • 表 2 原厂模型监测清单.........................................................................................33
  • 表 2 原厂模型监测清单(续表).........................................................................34
  • 表 3 不同平台上开源模型最新监测清单.............................................................34
一、核心观察

从 2026 年 1 月至 8 月,根据国内外主流的公有云大模型 Token 服务性能监测结果可见,在模型参数量、上下文窗口不断增长的同时, Token 服务性能呈现出不同程度的变化。

(一)大模型 Token 服务吞吐与时延同步增加 1.Token 服务调用成功率相对平稳,保持较高水平

自 5 月份以来,由于逐步增加了调用成功率的监测频率,偶发性 失败被捕捉到的概率上升,成功率存在下降趋势,每月均值均高于

99%,8 月平均值为 99.18%,明显优于 2025 年。 2.Token 服务每秒吞吐量较 2025 年翻倍,仍低于国外

8 月份国内各模型平均 TPS(每秒输出 Token 数)达到 78.23(个 /秒),与 2025 年均值 38.25(个/秒)相比实现翻倍。但 8 月份国外 典型模型的 TPS 均值为 112.82(个/秒),与 2025 年 12 月的 51.35 (个/秒)相比,提升亦超过一倍,整体优于国内。

3.Token 服务时延有所增加,国内外趋势一致

今年以来,国内各模型的平均 TTFT(首词时延)呈现持续提升 态势,8 月份均值达到 1.26 秒,相较于 2025 年平均值 0.78 秒明显增 加。但同时 8 月份国外典型模型 TTFT 平均值达到 2.08 秒,相比 4 月份 1.04 秒亦明显增加。值得注意的是,TTFT 上升并非单纯的性能 退化,而是伴随着模型参数量增加、上下文长度增加、调用量增加等 多种因素同步产生的结果。

(二)大模型价格回升明显,向“能力跃迁”发展演进 1.2026 年词元服务价格明显回升

经历了过去两年价格战后,2026 年国内外模型服务价格明显上 涨。国内 2025 下半年归一化均价为 6.8 元,而今年以来均价为 13.46 元,涨幅接近 1 倍。但国外价格仍高于国内,2026 年以来发布的典 型模型平均归一价格约为 117.8 元。

2.模型上下文长度不断向百万级长度扩展

被监测的模型中,上下文长度达到 1M(1 百万 Tokens)的模型 占比 47.8%,200K 及以上的合计达 95.7%,相比 2025 年底的占比提 高超 76 个百分点,而低于 200K 的模型占比持续减少。

3.国产开源大模型成为全球诸多平台的主流选择

根据对 22 个国内外主流 MaaS 平台统计显示,DeepSeek、Qwen 和 GLM 系列模型上线率达到 100%,Kimi、MiniMax 系列上线率分 别达 95%、86%,以上 5 款国内开源模型上线率相较于 5 月份统计结 果有所上升。

(三)开源模型 Token 服务性能提升显著 1.开源模型新版本性能较好,第三方 MaaS 平台服务性

能持续提升

5 月份更新了 4 款开源模型的新版本进行监测,结果显示 TPS 持 续提升,TTFT 时延不断压缩。例如 8 月份 DeepSeek-V4-Pro 的 TPS 已达到 DeepSeek-V3.2 的 2 倍,Qwen3.5-397B-A17B 8 月份 TPS 突破

100(个/秒)。时延方面,5 月份主要模型完成换代升级后,TTFT 普遍出现阶段性上升;自 6 月份起,随着推理优化措施落地,时延指 标逐步回落至换代前水平。8 月份 3 款模型 TTFT 均值均低于 1 秒。

2.同一模型跨平台性能波动较大,平台侧工程优化差异 显著

4 款模型在不同平台上的 TPS、TTFT、调用成功率表现不一。部 分第三方平台性能明显优于官方平台提供的模型服务,同一模型在不 同平台间的 TPS 差距最大可接近一倍。各平台对相同模型的推理加 速、优化策略、成本控制不同,是造成性能分化的主要原因。

二、监测方法 (一)监测对象

本报告监测对象为普通用户可调取的公有云 Token 服务,一方面 包括国内外原厂大模型 Token 服务(即来自大模型原厂商官方接口), 其中国外模型选取 GPT、Claude、Gemini 三款系列模型,通过监测 可横向对比各类大模型的性能;另一方面对 DeepSeek、Qwen、GLM、 Kimi 共 4 款开源模型在不同 MaaS 平台上的 Token 服务进行专项监测, 用以衡量各平台的工程化能力。

纳入监测的模型通常选择最新三代以内的版本,原厂模型以官方 上线的标准版或满血版模型为准(如 Max、Pro 版),对于优化版本 模型(如 Flash、Lite 模型)未纳入监测与分析。对于发布时间较早 的模型采取逐步取消机制,以确保数据时效性与行业前沿性高度契合。 对于同时具备思考和非思考能力的模型,通常采用思考模式作为性能

测试结果,思考深度选择默认模式。其他参数通常采用平台默认设置。

(二)监测指标

  • 1.调用成功率,指请求调用成功的次数占总调用次数的比例。调

用成功指发送 1 次请求调用后,收到回复即算作成功。由于速率限制、 服务下线、账户欠费等问题导致的请求失败情况不纳入统计。由于监 测过程中通过采样方式进行数据统计,调用成功率为 100%时并不代 表实际应用时不会发生调用失败的情况。

  • 2.每秒输出词元数(Tokens Per Second,TPS),指模型每秒输出

的词元数量,单位为(个/秒)。

  • 3.首词时延(Time To First Token,TTFT),指从请求开始至返

回首个词元之间的时延,单位为秒。

  • 4.服务稳定性指数,指在测试周期内,TTFT 和 TPS 的变化浮动

情况。

  • 5.开源模型上线率,指开源模型在被监测 MaaS 平台中的上线比例。
  • 6.模型服务价格,指调用公有云模型时,其处理每百万 Token 的

价格,单位为元。为便于价格归一化处理和对比,模型价格计算时将 输入价格和输出价格进行了公式化处理。计算公式见附录 A。

  • 7.模型上下文,根据官方公布的上下文长度进行统计。 (三)监测参数设置
  • 1.监测节点分布:本监测选择位于不同国家和地区的云服务器节

点,具体包括北京、广州等国内节点,美国等海外节点,各节点通过 公有云 API 向目标模型发送请求。

  • 2.请求参数设置:
  • (1)输入长度(Prompt Tokens):监测数据集来自基准测试集

固定题库,每次请求的输入 Token 长度约为 50~200 个 Token,属于 短文本场景。

  • (2)最大输出长度(max_tokens):采用各平台默认设置,未

进行自定义调整。

  • (3)上下文窗口:采用平台默认上下文长度,未指定历史对话

上下文,每次请求为独立会话(即空载/无历史上下文状态)。

  • 3.负载状态:本监测为非独占式公有云 API 调用,监测时各模型

服务处于正常公有负载状态,非空载、非独占资源测试。不同时间段 的监测结果可能受平台实时负载影响而产生波动。

  • 4.输出模式:统一采用流式输出(Streaming),思考模式选择默

认深度。

三、原厂大模型监测结果

监测范围为 2026 年 1 月至 8 月,监测对象为国内外主流原厂大 模型 Token 服务。监测指标包括调用成功率、每秒输出 Token 数(TPS)、 首词时延(TTFT)和服务稳定性指数等。由于不同模型上线时间、 版本迭代节奏和平台接入情况存在差异,部分监测数据并不完全连续。

(一)调用成功率

  • 图 1 为 8 月份国内各原厂大模型 Token 服务调用成功率监测结果。

数据显示,调用成功率整体保持稳定,国内所有被监测原厂总体调用 成功率中位数为 99.75%,8 月平均值为 99.18%。

来源:中国信通院,2026 年 9 月 注:图中参数量的划分,来源于官方公开信息,以及网络推测信息

图 1 8 月份原厂大模型 Token 服务调用成功率平均值

  • 图 2为每月国内外各原厂大模型Token服务调用成功率监测结果。

数据显示,8 月份调用成功率达到 100%的占比为 44.4%,相比 6、7

月份有所提升。但与前 5 个月相比明显降低,主要原因是 5 月份起监 测采样频率逐渐从此前每天 15 次提升至每 5 分钟 1 次,监测密度大 幅增加,偶发性失败被捕捉到的概率上升。

来源:中国信通院,2026 年 9 月

图 2 各原厂大模型 Token 服务调用成功率(越高越好)

  • 图 3为所有被监测国内大模型Token服务调用成功率的每月平均

值。数据显示,自 6 月份起,国内大模型 Token 服务调用成功率平均 值有所降低,但均保持在 99%以上,相比 2025 年有较大提升。

来源:中国信通院,2026 年 9 月

图 3 所有大模型 Token 服务月均调用成功率

(二)每秒输出词元数(TPS)

  • 图 4 为 8 月份国内外各原厂大模型 Token 服务 TPS 监测结果。

国内方面,1 款模型的 TPS 超过 300(个/秒),500B 以下模型 TPS 中位数为 72.59(个/秒),500B-1T 参数量模型 TPS 中位数为 63.12 (个/秒),1T 以上参数量国内模型 TPS 中位数为 57.12(个/秒), 这说明输出速率与时延表现与上下文长度、激活参数规模存在一定关 联。由于部分模型参数量未公开,本节结论仅适用于已标注来源的模 型子集。然而海外三款模型的 TPS 略高,GPT-5.6 最低也已达到 69.31 (个/秒)。

来源:中国信通院,2026 年 9 月 注:图中参数量的划分,来源于官方公开信息,以及网络推测信息

图 4 8 月份原厂大模型 Token 服务 TPS 平均值
  • 图 5 为国内各原厂大模型 Token 服务每月 TPS 监测结果。数据

显示,多数新发布模型的 Token 服务 TPS 性能明显提升,而旧版本 模型的 TPS 会逐渐下调并下线服务。同时,今年 4 月份开始已有模 型 TPS 突破 100(个/秒),5 月份突破 200(个/秒),8 月份突破 300 (个/秒),Flash 版本模型最高已突破 500(个/秒)。

来源:中国信通院,2026 年 9 月

图 5 各原厂大模型 Token 服务 TPS 平均值(越高越好)

  • 图 6 为每月所有被监测大模型 Token 服务的 TPS 平均值。数据

显示,1 月至 8 月国内大模型 TPS 平均值稳步提升,8 月份 TPS 均值 达到 78.23(个/秒),相比于 2025 年均值实现翻倍,但 TPS 中位数 为 62.36(个/秒),由于 Ling2.6-1T 模型 TPS 达到 357.81(个/秒) 远高于其他模型,因此平均值被整体拉高。而国外三款模型 8 月份 TPS 平均值提升至 112.82(个/秒),是国内均值的 1.4 倍。

来源:中国信通院,2026 年 9 月

图 6 所有大模型 Token 服务月均 TPS

(三)首词时延(TTFT)

来源:中国信通院,2026 年 9 月 注:图中参数量的划分,来源于官方公开信息,以及网络推测信息

图 7 8 月份原厂大模型 Token 服务 TTFT 平均值
  • 图 7 为 8 月份国内外各原厂大模型 Token 服务 TTFT 监测结果。

数据显示,TTFT 与模型参数量有直接关系,国内方面,最低 TTFT 为 0.69 秒,最高为 2.36 秒,平均值为 1.26 秒,33.3%的模型 TTFT 低于 1 秒。国外方面,三款模型 TTFT 均超过 1 秒,GPT-5.6 和 Gemini-3.1-pro-preview 均超过 2 秒。

  • 图 8 为国内各原厂大模型 Token 服务每月 TTFT 监测结果。数据

显示,多数新发布的模型 Token 服务时延明显更高,大部分模型的 TTFT 大于 1 秒。

来源:中国信通院,2026 年 9 月

图 8 各原厂大模型 Token 服务 TTFT 平均值(越低越好)

  • 图 9 为每月所有被监测大模型 Token 服务的 TTFT 平均值。数据

中位数 1.35,平均值 1.4

平均值 0.77,中位数 0.77

显示,1 至 8 月 Token 服务的 TTFT 逐渐有所增加,8 月份 TTFT 均 值已达到 1.26 秒,相较于 2025 年均值明显增加,这与模型参数量增 大等因素有关系。6 月份以来,国外模型的 TTFT 平均值均高于 2 秒。

来源:中国信通院,2026 年 9 月

图 9 所有大模型 Token 服务的月均 TTFT

(四)服务稳定指数

  • 图 10 为 8 月份国内外各原厂大模型 Token 服务稳定指数监测结

果。国内方面,最高稳定指数可达 91.15 分,约 38.9%的模型达到 80 分以上优秀水平,Token 服务的输出和时延相对平稳。国外方面, Gemini-3.1-pro-preview 模型整体稳定性较好达到 92 分,而 GPT-5.6 稳定性指数也达到 82.3 分。

来源:中国信通院,2026 年 9 月

图 10 8 月份原厂大模型 Token 服务稳定指数

  • 图 11 为每月各原厂大模型 Token 服务稳定性指数监测结果。数

据显示,5 月份以来国内原厂大模型 Token 服务波动性明显,8 月份 稳定性指数平均值为 79.02。而国外方面,8 月份稳定性指数均值达 到 86.33 分,明显高于国内。

来源:中国信通院,2026 年 9 月

图 11 原厂大模型 Token 服务月均稳定性指数(越高越好)

  • 图 12 为每月所有被监测大模型 Token 服务稳定性指数平均值。

数据显示,1 至 4 月国内大模型 Token 服务稳定性保持平稳,均达到 80 分以上的较好水平,但 5 月份开始降低,主要由于部分热门模型 在新版本发布后,每天不同时间段内 TPS 和 TTFT 变化较为剧烈。国 外方面,稳定性持续上升,7 月份平均达到最高 86.99 分,高于国内。

来源:中国信通院,2026 年 9 月

图 12 所有大模型 Token 服务月均稳定指数

(五)服务价格与费用

  • 图 13 和图 14 为国内外主流大模型归一化价格变化趋势。总体来

看,2024 年以来每百万 Token 价格大幅度下降,国内上述 5 款原厂 模型 2026 年以来新发布版本的 Token 价格普遍有所提升,归一化均 价为 13.46 元,相比 2025 年下半年 6.8 元,涨幅达到 98%之多。同时, 国内模型 Token 服务价格仍低于国外主流模型价格,2026 年以来上 述 3 款国外模型新发布版本均价为 117.8 元。

来源:中国信通院,2026 年 9 月

图 13 国内原厂大模型发布时归一化价格趋势图

2026 年

来源:中国信通院,2026 年 9 月

  • 图 14 国外原厂大模型发布时归一化价格趋势图

图 15 为 8 月份开展 Token 服务性能监测过程中,原厂大模型平 均每个任务的 Token 消耗量(包括输入和输出量)和费用。总体来看, 一是国外模型推理过程消耗的 Token 量明显较少,但由于价格昂贵, 整体消费金额更高,如 Claude 和 GPT 为消费最高的两款模型。二是 国内模型普遍 Token 消耗量较高,由于价格便宜,整体消费金额偏低。 三是在相同数据集上,不同模型所计量的输入 Token 量存在差异。

需要说明的是,由于性能监测的持续性,且过程中存在模型版本 更换情况,所以各模型的监测次数并不完全一样,但监测数据集一致, 因此上图数据展示的是平均每次调用后,模型返回提示用户所消耗的 输入输出 Token 量,并根据价格计算的费用。同时,性能监测的数据 集均为简单的开放性问题,与基准测试数据集差异较大,因此上述结

果是在本轮性能测试数据集上的表现。

来源:中国信通院,2026 年 9 月

图 15 8 月份国内外大模型 Token 消耗量及费用对比图

(六)模型上下文

图 16 为国内大模型上下文长度占比情况。数据显示,上下文长 度不断扩展仍然为主流趋势。一方面,2026 年新发布的模型上下文 长度多数已达到 1M(即 100 万 Token),8 月份 47.8%的模型上下文 达到 1M,如 Qwen3.7、DeepSeek-V4-Pro 等。另一方面,长上下文占 比快速上升,短上下文持续下降,其中 200K 及以上模型占比为 95.7%,

128K 及以下的模型占比减少至 4.3%。国外方面,OpenAI、Anthropic 和 Google 的最新系列模型上下文长度均已达到 1M。

来源:中国信通院,2026 年 9 月

图 16 国内大模型上下文长度占比情况

四、开源大模型监测结果 (一)开源模型上线率

表 1 为典型开源大模型(不考虑版本)截至 2026 年 9 月份在国 内外主流平台的上线率统计结果。数据显示,国产开源模型已成各平 台的主力模型,在调研的 22 个国内外平台中,DeepSeek、Qwen 和 GLM 系列模型上线率达到 100%,Kimi、MiniMax 系列上线率分别达 95%、86%,以上五款国内开源相较于 5 月份统计结果有所上升。而 GPT-OSS、Llama 等国外开源模型更新速度较慢,上线率有所下降。

表 1 典型开源大模型在国内外主流 MaaS 平台的上线率统计

序 号平台名称Deep SeekQwenGLMKimiMini MaxGPTOSSLlama
1AWS Bedrock√√√√√√√
2Google Cloud Vertex√√√√√√√
表 1 典型开源大模型在国内外主流 MaaS 平台的上线率统计(续)
序 号平台名称Deep SeekQwenGLMKimiMini MaxGPTOSSLlama
3Azure Foundry√√√√√√√
4OpenRouter√√√√√√√
5Together AI√√√√√√√
6Fireworks AI√√√√√√√
7<br><br>Hugging Face√√√√√√√
8DeepInfra√√√√√√√
9Cloudflare AI Gateway√√√√√√√
10PPIO 派欧云√√√√√//
11商汤大装置√√√////
12无问芯穹√√√√√//
13火山方舟√√√√√//
14百度云千帆√√√√///
15硅基流动√√√√√//
16讯飞星辰√√√√√//
17阿里云百炼√√√√√//
18腾讯云 TokenHub√√√√√//
19华为云 MaaS√√√√///
20七牛云√√√√√//
21优刻得√√√√√//
22蓝耘云√√√√√//
9 月份上线率100%100%100%95%86%41%41%
5 月份上线率100%100%91%86%82%50%41%

来源:中国信通院,2026 年 9 月

为衡量同一模型在不同平台上的性能表现,下面选择了 DeepSeek、Qwen、GLM、Kimi 四款模型,监测 2026 年 1 月至 8 月, 其相同版本在各平台上的调用成功率、每秒输出词元数(TPS)和首 词时延(TTFT)。

(二)DeepSeek 监测结果

监测对象为阿里云百炼、火山方舟、无问芯穹、腾讯云 TokenHub、

PPIO、百度云千帆、硅基流动 7 个平台,以及深度求索官方所提供 的 DeepSeek-V3.2 和 DeepSeek-V4-Pro 的 Token 服务,DeepSeek-V3.2 监测周期为 2026 年 1 至 4 月,5 月更换为 DeepSeek-V4-Pro,6 月份 停止对无问芯穹平台的监测。

1.调用成功率
根据下图数据,各月 DeepSeek 在所有平台上的调用成功率多数 保持在 99%以上,6 月份以后成功率稍降,8 月份平均调用成功率达 到 99.19%。整体来看,深度求索官方平台的调用成功率保持在 100%, 相较 2025 年的服务保障能力明显提升。

来 源:中国信通院,2026 年 9 月

图 17 所有平台上 DeepSeek 月均调用成功率

来源:中国信通院,2026 年 9 月

图 18 各平台的 DeepSeek 月均调用成功率(越高越好)
2.每秒输出词元数(TPS)
根据下图数据显示,3 月份各平台上 DeepSeek 模型 TPS 均值经 历短暂下跌后又开始提升,5月份切换到DeepSeek-V4-Pro模型后TPS 上升显著,8 月份绝大多数平台保持在 50(个/秒)以上,均值达 58.91 (个/秒),提升较为明显。深度求索官方平台的 TPS 超过 60。

来源:中国信通院,2026 年 9 月

图 19 所有平台的 DeepSeek 月均 TPS

来源:中国信通院,2026 年 9 月

图 20 各平台的 DeepSeek 月均 TPS(越高越好)

3.首词时延(TTFT)

根据下图数据,3 月份各平台上 DeepSeek 模型 TTFT 均值明显 升高,达到 1.23 秒,之后持续回落,5 月份切换到 DeepSeek-V4-Pro 模型后 TTFT 下降显著,8 月份为 0.9 秒。深度求索官方平台的服务 时延最低为 0.56 秒。

来源:中国信通院,2026 年 9 月

图 21 所有平台的 DeepSeek 月均 TTFT

来源:中国信通院,2026 年 9 月

图 22 各平台的 DeepSeek 月均 TTFT(越低越好)

(三)Qwen 监测结果

监测对象为阿里云百炼、无问芯穹、百度云千帆、硅基流动 4 个 平台上 Qwen3-235B-A22B 和 Qwen3.5-397B-A17B 的 Token 服务, Qwen3-235B-A22B 监 测 周 期 为 2026 年 1 至 4 月 , 5 月 更 换 为 Qwen3.5-397B-A17B。

1.调用成功率

根据下图数据,阿里云百炼官方平台的调用成功率基本保持在

  • 100%,硅基流动平台自 2 月以来调用成功率波动较大,8 月份成功率 有所回升达到 96%,其中“请求超时”报错较多。

来源:中国信通院,2026 年 9 月

图 23 平台的 Qwen 月均调用成功率

来源:中国信通院,2026 年 9 月

图 24 各平台的 Qwen 月均调用成功率(越高越好)

2.每秒输出词元数(TPS)
根据下图数据,各平台上 Qwen 模型 5 月份 TPS 跌至低谷,5 月 份切换到 Qwen3.5-397B-A17B 后 TPS 显著提升,6 月份平均值达到 80.68(个/秒),8 月份硅基流动、百度云千帆的 TPS 已达到 100(个 /秒)以上,超过阿里云百炼官方平台。

来源:中国信通院,2026 年 9 月

图 25 所有平台的 Qwen 月均 TPS

来源:中国信通院,2026 年 9 月

图 26 各平台的 Qwen 月均 TPS(越高越好)

3.首词时延(TTFT)

根据下图数据,各平台上 Qwen 模型 TTFT 平均值前 4 个月保持 下降趋势,处于 0.7 至 0.8 秒之间。5 月份监测的模型更换为 Qwen3.5-397B-A17B,TTFT 普遍升高,均值高达 0.98 秒,之后逐步 改善,8 月份均值降至 0.75 秒,阿里云百炼降至 0.74 秒,百度云千 帆最低为 0.72 秒。

来源:中国信通院,2026 年 9 月

图 27 所有平台的 Qwen 月均 TTFT

来源:中国信通院,2026 年 9 月

图 28 各平台的 Qwen 月均 TTFT(越低越好)

(四)GLM 监测结果

监测对象为智谱、无问芯穹、PPIO、百度云千帆、硅基流动 5 个平台上 GLM-5 和 GLM-5.1 的 Token 服务,GLM-5 监测周期为 2026 年 2 月至 4 月,5 月更换为 GLM-5.1。

1.调用成功率
根据下图数据,GLM 模型调用成功率整体较为平稳,智谱官方 平台在 4 月调用成功率达到 100%,5 月份切换到 GLM-5.1 后,调用 成功率出现微降,但是多数可以达到 99.9%左右,8 月份平均调用成 功率达到 99.88%。

来源:中国信通院,2026 年 9 月

图 29 所有平台的 GLM 月均调用成功率

来源:中国信通院,2026 年 9 月

图 30 各平台的 GLM 月均调用成功率(越高越好)

2. 每秒输出词元数(TPS)

根据下图数据,GLM 自 6 月份以来平均 TPS 保持上升态势。4 月份之前 GLM-5 处于 49(个/秒)上下,5 月份切换 GLM-5.1 后 TPS 稍有降低,均值为 47.58(个/秒),6 月份起开始逐步提升,8 月份 平均 TPS 达到 62.75(个/秒),智谱官方平台 TPS 为 62.16(个/秒),

PPIO 最高达到 71.2(个/秒)。

来源:中国信通院,2026 年 9 月

图 31 所有平台的 GLM 月均 TPS

来源:中国信通院,2026 年 9 月

图 32 各平台的 GLM 月均 TPS(越高越好)

3.首词时延(TTFT)

根据下图数据,自 6 月份以来 GLM 在各平台的 TTFT 较之前持 续降低,8 月份均值为 1.05 秒。但智谱官方平台的时延相对较高,8 月份最高达到 1.69 秒。

来源:中国信通院,2026 年 9 月

图 33 所有平台的 GLM 月均 TTFT

来源:中国信通院,2026 年 9 月

图 34 各平台的 GLM 月均 TTFT(越低越好)

(五)Kimi 监测结果

监测对象为无问芯穹、PPIO、百度云千帆、硅基流动 4 个 MaaS 平台,以及月之暗面官方所提供的 Kimi-K2.5 和 Kimi-K2.6 的 Token 服务,Kimi-K2.5监测周期为2026年2月至4月,5月更换为Kimi-K2.6。

1.调用成功率

根据下图数据,各平台上 Kimi 模型每月调用成功率相对平稳,8 月份各平台平均调用成功率为 99.88%。月之暗面官方平台的调用成 功率前三个月保持在 100%,5 月份切换为 Kimi-K2.6 后,调用成功 率均稍有降低。但是阿里云百炼平台的成功率基本保持在 100%。

来源:中国信通院,2026 年 9 月

图 35 所有平台的 Kimi 月均调用成功率

来源:中国信通院,2026 年 9 月

图 36 各平台的 Kimi 月均调用成功率(越高越好)

2.每秒输出词元数(TPS)

根据下图数据,各平台上 Kimi 的月均 TPS 总体呈现提升趋势,

  • 4 月份提升明显,达到 52.19(个/秒),相比 2 月份涨幅 20.8%,5 月份切换为 Kimi-K2.6 后 TPS 未出现明显波动。但是阿里云百炼平台 的 TPS 保持较高,8 月均值达到 73.06(个/秒),而月之暗面官方服 务的 TPS 相对较低,仅为 44.87(个/秒)。

来源:中国信通院,2026 年 9 月

图 37 所有平台的 Kimi 月均 TPS

来源:中国信通院,2026 年 9 月

图 38 各平台的 Kimi 月均 TPS(越高越好)

3.首词时延(TTFT)
根据下图数据,各平台上 Kimi 的月均 TTFT 自 5 月份切换为 Kimi-K2.6 后,TTFT 呈现下降趋势,月均 TTFT 从 1.26 秒下降至 8 月份的 0.86 秒,百度云千帆平台最低为 0.56 秒,月之暗面官方服务 的时延持续相对较高,8 月份达到 1.22 秒。

来源:中国信通院,2026 年 9 月

图 39 所有平台的 Kimi 月均 TTFT

来源:中国信通院,2026 年 9 月

图 40 各平台的 Kimi 月均 TTFT(越低越好)

五、总结

整体来看,我国原厂模型在调用成功率、输出速度与响应时延等 关键性能指标上表现稳健,且呈现出螺旋上升的趋势。随着模型参数 量、上下文长度的增加,模型时延有较明显的提升,但各平台通过优 化推理架构与调度策略,吞吐的提升有效缓解了性能压力。开源模型 在第三方 MaaS 平台上的性能优化尤为明显,部分平台的性能已超过 官方。然而,开源模型在不同平台的性能差异也反映出平台服务能力 与资源配置的不均衡,行业整体大模型服务性能仍有较大提升空间。

未来,中国信通院将持续优化大模型 Token 服务监测体系,扩大 监测范围,加快监测能力建设,并扩充产业服务能力,致力于推动大 模型 Token 服务高质量发展。一方面,持续完善监测指标与方法,提 升监测结果的科学性与权威性,为产业各方提供更加客观、全面的参 考依据。另一方面,深化与主流云厂商及模型提供方的协同合作,推 动服务性能的横向对齐与最佳实践的行业共享,助力产业整体服务水 平的提升。同时,也将进一步探索多模态模型、长上下文场景下的性 能评估方法,适时发布相关监测结果,为产业界提供更及时、更精准 的决策支撑。我们诚挚欢迎产业各方积极参与,共同完善大模型 Token 服务监测体系,共同推动我国大模型服务能力迈向更高水平。

附录 A:其他事项说明
  • 1. 本监测结果仅供参考,由于监测频率、监测时长等维度的限制, 监测结果并不能作为衡量公有云大模型服务性能以及大模型 Token 服务平台能力的绝对依据。且影响 TTFT 和 TPS 的因素较多,如模型 尺寸、网络时延、用户数量、算力及其调度能力、模型能力等。
  • 2. 监测基础大语言模型所使用的数据集来自常见的大语言模型基准 测试集,构成固定题库。监测时从题库中随机选择题目,且为了减少 请求时命中缓存的情况,为每个提示词添加了随机干扰字符。
  • 3. 监测方法包括每日监测法和人工监测法:

 每日监测法,是指通过每日定点的持续性自动化监测,衡量大 模型 Token 服务持续的稳定性,包括 TTFT 和 TPS。该方法选择 位于不同国家和不同地区的云节点,于每日选择不同的 5 个时间 整点,向所有大模型 API 连续发送多次请求,并计算其 TTFT 和 TPS。调用成功率的监测频率于 2026 年 5 月下旬更新为每 5 分钟 发送一次请求。

 人工监测法,是指通过人工对各平台披露的大模型 Token 服务 的输入输出价格、上下文等信息进行统计更新。

  • 4. TPS 计算公式如下。

TPS=RT-TTFTNt (A-1)

式中: Nt ——输出的词元总数; RT ——从请求开始到返回完全部词元之间的时延。

5. 模型价格归一化计算公式如下。

PRC= (3×P4i+Po) (A-2) 式中:

Pi ——输入每百万词元的价格; Po ——输出每百万词元的价格。

6. 服务稳定指数,是指持续平稳输出 Token 服务的能力,取值范围 为(0,100],值越接近 100,表明服务波动越小。稳定性指数由不同指 标的加权构成,计算公式如下:

CV=σμ (A-3) Stability=1+1CV ×100 (A-4) S= i=1n ωi×Stability (A-5)

式中:

σ ——为标准差; μ ——为平均值; CV ——为变异系数,也称为离散系数,是标准差与平均值的

比值,服务稳定指数中,进行了数值归一化处理;

ωi——为各指标权重,可依据实际服务场景各指标的重要性进 行动态分配。本次监测选择了 TPS 和 TTFT 两项指标并分配同等 权重。

7. 所有大模型 Token 服务的调用统一采用流式输出,其余设置均采 用默认值。
附录 B:监测模型清单

表 2 原厂模型监测清单

序 号平台名称模型名称发布日期开始监测时 间停止监测时 间上下文 长度模型参 数量 (B)公开模式
1蚂蚁百灵Ring-1T2025 年 10 月 14 日2026 年 1 月2026 年 4 月128k1000开源
Ling-1T2025 年 10 月 9 日2026 年 1 月2026 年 4 月128k1000开源
Ring-2.6-1T2026 年 5 月 9 日2026 年 7 月监测中256k1000开源
Ling-2.6-1T2026 年 4 月 23 日2026 年 5 月监测中256k1000开源
Ling-3.0-Flash2026 年 7 月 24 日2026 年 8 月监测中256k124开源
2阿里云百炼Qwen3-235b-a22b-thinking-25072025 年 7 月 25 日<br><br>2026 年 1 月2026 年 3 月128k235开源
Qwen3-next-80b-a3b-thinking2025 年 9 月 12 日2026 年 1 月2026 年 3 月128k80开源
Qwen3-max-thinking2025 年 9 月 24 日2026 年 1 月2026 年 3 月256k1000开源
Qwen3.5-plus2026 年 2 月 16 日2026 年 4 月监测中1M未公开闭源
Qwen3.6-Plus2026 年 4 月 2 日2026 年 4 月监测中1M未公开闭源
Qwen3.6-max-Preview2026 年 4 月 20 日2026 年 4 月监测中1M未公开开源
Qwen3.5-397b-a17b2026 年 2 月 16 日2026 年 4 月监测中1M397开源
Qwen3.7-max2026 年 5 月 20 日2026 年 5 月监测中1M未公开闭源
Qwen3.8-max2026 年 8 月 2 日2026 年 8 月监测中1M2400闭源
3深度求索DeepSeek-V4-Pro2026 年 4 月 24 日2026 年 4 月监测中1M1600开源
4书生Intern-s1-pro2026 年 2 月 4 日2026 年 2 月监测中256k1000开源
Internvl3.5-241b-a28b2025 年 9 月 3 日2026 年 1 月监测中32K241开源
5月之暗面Kimi-k2-thinking2025 年 7 月 11 日2026 年 1 月2026 年 4 月256k1000开源
Kimi-k2.52026 年 1 月 27 日2026 年 2 月监测中256k1000开源
Kimi-k2.62026 年 4 月 20 日2026 年 4 月监测中256k1000开源
6百度云千帆Ernie-x1.12025 年 9 月 9 日2026 年 1 月2026 年 4 月64k300闭源
Ernie-5.0-thinking2025 年 11 月 13 日2026 年 1 月2026 年 4 月128k2400闭源
Ernie-5.1-thinking2026 年 5 月 9 日2026 年 5 月监测中128k800闭源
7商汤大装置SenseNova-V6-5-Pro2025 年 7 月 25 日2026 年 1 月2026 年 3 月128k560闭源
8阶跃星辰step-32025 年 7 月 25 日2026 年 1 月2026 年 4 月64k321闭源
9腾讯云 TokenHubHunyuan-2.02025 年 11 月 9 日2026 年 1 月2026 年 4 月256k406闭源
Hy32026 年 4 月 23 日2026 年 4 月监测中256k295闭源
10火山方舟Doubao-seed-1-82025 年 12 月 18 日2026 年 1 月2026 年 5 月256k200闭源
Doubao-seed-1-62025 年 6 月 11 日2026 年 1 月2026 年 4 月256k200闭源
Doubao-seed-2.0-pro2026 年 2 月 15 日2026 年 4 月监测中256k未公开闭源
Doubao-seed-2.1-pro2026 年 6 月 28 日2026 年 7 月监测中256k未公开闭源
11讯飞星辰Spark-x1.52025 年 11 月 6 日2026 年 1 月2026 年 3 月192k未公开闭源
12智谱GLM-4.72025 年 12 月 25 日2026 年 1 月2026 年 2 月200k355开源
GLM-52026 年 2 月 12 日2026 年 2 月2026 年 7 月200k744开源
GLM-5.12026 年 4 月 7 日2026 年 4 月2026 年 8 月200k744开源
GLM-5.22026 年 6 月 16 日2026 年 6 月监测中1M744开源

表 2 原厂模型监测清单(续表)

序 号平台名称模型名称发布日期开始监测时间停止监测时 间上下文 长度模型参 数量(B)公开模式
12智谱GLM-5.32026 年 8 月 14 日2026 年 8 月监测中1M743开源
GLM-5.32026 年 8 月 14 日2026 年 8 月监测中1M743开源
13小米MiMo-v2.5-Pro2026 年 4 月 28 日2026 年 4 月监测中1M1020开源
14美团LongCat-2.02026 年 6 月 30 日2026 年 7 月监测中1M未公开闭源
15OpenAIGPT-5.52026 年 4 月 16 日2026 年 5 月监测中1M未公开闭源
GPT-5.6 Sol2026 年 7 月 9 日2026 年 7 月监测中1M未公开闭源
16AnthropicClaude Opus 4.72026 年 4 月 16 日2026 年 5 月监测中1M未公开闭源
17Google CloudGemini-3.1-pro-preview2026 年 2 月 19 日2026 年 5 月监测中1M未公开闭源

表 3 不同平台上开源模型最新监测清单

序 号模型名称监测平台开始监测时间停止监测时间备注
1DeepSeek-V4-Pro深度求索<br><br>2026 年 2 月监测中1-4 月监测的版本为 DeepSeek-V3.2
阿里云百炼2026 年 2 月监测中
火山方舟2026 年 2 月监测中
无问芯穹2026 年 2 月2026 年 5 月
PPIO2026 年 2 月监测中
百度云千帆2026 年 2 月监测中
腾讯云 TokenHub2026 年 6 月监测中
硅基流动2026 年 2 月监测中
2Qwen3.5-397B-A17B阿里云百炼2026 年 2 月监测中1-4 月监测的版本为 Qwen3-235B-A22B
无问芯穹2026 年 2 月2026 年 5 月
百度云千帆2026 年 2 月监测中
硅基流动2026 年 2 月监测中
3GLM-5.1智谱2026 年 2 月监测中1-4 月监测的版本为 GLM-5
无问芯穹2026 年 2 月2026 年 5 月
PPIO 派欧云2026 年 2 月监测中
百度云千帆2026 年 2 月监测中
硅基流动2026 年 2 月监测中
4Kimi-K2.6月之暗面2026 年 2 月监测中1-4 月监测的版本为 Kimi-K2.5
阿里云百炼2026 年 2 月监测中
无问芯穹2026 年 2 月2026 年 5 月
PPIO 派欧云2026 年 2 月监测中
百度云千帆2026 年 6 月监测中
硅基流动2026 年 2 月监测中

大模型词元服务性能监测报告(2026 年)

中国信息通信研究院 人工智能研究所

地址:北京市海淀区花园北路 52 号 邮编:100191 电话:010-62301618 传真:010-62301618 网址:www.caict.ac.cn

刺猬解读

AI 辅助分析,仅供研究参考,请核对原文。

该研报揭示了AI大模型产业从“价格战”向“价值竞争”转型的关键信号。
Token服务价格大幅回升验证了行业商业化拐点,利好具备高质量推理能力的云厂商及算力租赁企业。
同时,国产开源模型在第三方平台的优异表现,表明国内AI基础设施工程化能力成熟,利好相关IT服务商及算力调度平台。
虽然时延随参数增加而上升,但吞吐量翻倍显示底层算力效率提升,长期看好AI算力产业链的结构性机会。

相关研报

  • 国新证券股份_计算机行业周报_20261120.pdf2026-11-20
  • 山西证券_CT+IT全栈技术领先,定制化加自有品牌超节点开始放量_20261120.pdf2026-11-20
  • 上海证券_计算机行业2027年度投资策略:聚焦AI主线,把握算力与应用机遇_20261120.pdf2026-11-20
  • 中邮证券_单季利润回升,AI商业化提速_20261120.pdf2026-11-20
  • 国信证券_储能行业专题:国内大储量价齐升,户储新兴市场接力_20261108.pdf2026-11-08
  • 国金证券_有色金属周报:中选结束金价回暖,继续看好钨钼涨价_20261108.pdf2026-11-08

本站所有资讯是用户利用其本地Agent获取并分享,均为公开信息,如需删除请联系我们。

关于刺猬投研·用户协议·隐私保护·官方网站·浙ICP备2026017067号-1

© 2026 刺猬投研 CIWEI AI. All rights reserved.