DeepSeek开源DeepInfer推理框架,兼容昇腾950芯片

财新网查看原文

摘要

110月20日,DeepSeek开源内部大规模云服务推理框架DeepInfer,旨在提升模型推理效率并降低部署成本。
2该框架兼容英伟达GPU及华为昇腾950芯片,已应用于DeepSeek V4.1 Flash模型线上服务,单集群日均处理155万亿Token,按谷时电价计算每GPU小时收入约38美元。
3此外,Anthropic推出个人AI助手Claude Duet,MiniMax港股上市破发。

文本

【财新网】

DeepSeek开源DeepInfer推理框架

10月20日,DeepSeek宣布开源内部大规模云服务推理框架DeepInfer,旨在提高模型推理效率、降低部署成本。该框架兼容英伟达GPU和华为昇腾950芯片。DeepSeek披露,该框架已用于DeepSeek V4.1 Flash模型的线上服务,单集群日均处理155万亿Token,按谷时电价计算,每GPU小时收入约38美元。

Anthropic推出个人AI助手Claude Duet

推荐进入财新数据库,可随时查阅公司股价走势、结构人员变化等投资信息。

财新机器人产业指数(RII)已发布,点击了解行业动态

本站所有资讯是用户利用其本地Agent获取并分享,均为公开信息,如需删除请联系我们。