瑞芯微_AIoT 2.0重塑智能硬件：让设备真正“听懂、看懂、思考”_20260507.pdf

瑞芯微查看原文

摘要

1瑞芯微发布AIoT 2.0战略及RK182X端侧大模型协处理器芯片。
2该芯片采用3D堆叠技术突破内存墙，内置DRAM，支持Qwen等主流大模型，实现3B模型推理超100TPS，能效比显著提升。
3报告强调从“听清/看清”到“听懂/看懂”的交互升级，涵盖智能家居、车载、机器人等场景。
4通过主控+协处理器解耦架构，降低升级成本，推动端侧AI商业化落地，重塑智能硬件生态。

文本

![](page=0,bbox=[180, 111, 704, 302])

RK182X让设备真正“听懂、看懂、思考”

![](page=0,bbox=[0, 409, 3199, 1800])

智能设备的重塑

![](page=1,bbox=[445, 368, 545, 467])

IoT

万物智联连接、控制典型芯片RK3188，RK3288数据处理无

![](page=1,bbox=[1371, 367, 1523, 468])

AloT 1.0

深度学习CNN目标识别、分类、检测典型芯片RK3568，RV1106，RK3588数据处理按规则识别 “人车非”

2014首推搭载Android进入IoT市场

![](page=1,bbox=[2444, 367, 2532, 473])

AloT 2.0

大模型

听懂、看懂、思考

典型芯片

RK1820, RK1828

数据处理

化、理解、规划、决策

2018首推内置NPU芯片

2025首推端侧大模型协处理器芯片

![](page=1,bbox=[2726, 1587, 3089, 1725])

大模型从云到端

边端侧模型能力及产品需求

![](page=2,bbox=[192, 514, 295, 656])

Agent能力

融合感知理解、自主规划、工具调用、多步执行本地知识库（RAG）、习惯、记忆

![](page=2,bbox=[172, 794, 315, 930])

大模型泛化能力

自主分析异常，解决各类边界问题；视频分析、工业检测、语音处理等应用

![](page=2,bbox=[168, 1063, 319, 1216])

小参数大模型类型广泛

ASR、TTS、翻译、视觉编码、OCR、多模态、3D深度估计等各类模型层出不穷

![](page=2,bbox=[164, 1341, 324, 1498])

小参数大模型能力迅速变强

Qwen 3.5-4B > Qwen3-VL-8B > Qwen2.5-VL-14B

边端侧部署的必要性

![](page=2,bbox=[1682, 513, 1800, 646])

隐私安全（Privacy）

敏感数据（视频、音频）“不出端侧”，建立用户信任。

![](page=2,bbox=[1670, 813, 1814, 916])

实时性（Latency）

毫秒级响应，满足工业控制、自然交互等场景需求。

![](page=2,bbox=[1661, 1070, 1824, 1213])

Token带宽成本 (Bandwidth Cost)

端云结合产品，仅传输端侧过滤后需深度思考数据；全端侧产品，无持续云端Token需求

![](page=2,bbox=[1672, 1369, 1808, 1468])

可靠性 (Reliability)

无网弱网可用，不依赖网络，稳定可靠

![](page=2,bbox=[2728, 1589, 3088, 1724])

大模型端侧部署的挑战

大模型性能需求挑战

大模型运行的超大带宽需求

Transformer架构/Attention机制支持

端侧大模型运行效果和生态挑战

模型精度挑战->量化方案支持

模型生态挑战->主流模型支持和厂商合作

端侧设备的功耗挑战

AI算力功耗->高算力带来的功耗

DRAM功耗 -> 超大访存带来功耗

端侧设备可商业化挑战

商业化性价比 -- 晶圆面积限制 -> 芯片性能

商业化性价比--外挂DDR容量及成本

![](page=3,bbox=[2728, 1590, 3088, 1723])

Transformer时代的“内存墙”危机

算力特性转变：从计算密集到内存密集

CNN (AloT 1.0)

![](page=4,bbox=[315, 751, 599, 964])

计算密集型 (Compute-Intensive)

算力要求高带宽要求相对较低

Transformer （大模型）

![](page=4,bbox=[864, 758, 1160, 957])

内存密集型 (Memory-Intensive)

Decode阶段逐个生成 Token，每次需加载全部权重（算术强度低）。

算术强度的困境与带宽需求 （以7B模型INT4量化为例）

速度

需求带宽

人类阅读 （约20 Tokens/s）

~70 GB/s

自然对话 （约50Tokens/s）

~175 GB/s

极致响应 （约100Tokens/s） ~350 GB/s

传统SoC（如RK3588）理论带宽峰值： 100 GB/S（44GB）

传统SoC的物理极限与能耗挑战

物理瓶颈与性能受限 （带宽受限）

推理速度慢（~10 Tokens/s），体验卡顿， “智能” 变 “智障”。

能耗噩梦 （数据搬运代价）

片外数据搬运能耗远高于计算，导致设备发热、降频。

![](page=4,bbox=[2726, 1588, 3089, 1725])

业内首颗3D堆叠端侧AI芯片一突破DRAM带宽瓶颈

面对“内存墙”和“能耗墙”， RK182X采用革命性3D堆叠技术，将DRAM晶圆直接堆叠在NPU逻辑晶圆之上，带来物理层面的降维打击。

![](page=5,bbox=[1133, 392, 1724, 732])

高密度TSV Hybrid Bonding (微米级互联)

传统封装

![](page=5,bbox=[2352, 431, 2809, 685])

（PCB走线长、引脚有限）

带宽数量级提升

建立数万个微米级垂直数据通道。

RK182X等效带宽可达数百GB/s （相比传统LPDDR4/5的几十GB/s）

彻底消除3B+大模型带宽瓶颈。

数百GB vs 数十GB

极致的推理性能

实现远高于普通 SoC的推理速度跑3B模型推理输出超100TPS

内置DRAM

无需外挂DDR

布板简单面积小

突破性的能效比

传输距离极短，访存功耗低单位比特能耗（pJ/bit）量级降低

同样电池下运行更久

![](page=5,bbox=[2727, 1590, 3090, 1724])

RK182X：专为端侧大模型设计的AI推理芯片

优势项

详细内容

收益

3D DRAM

低功耗

访存功耗比SoC低一个数量级

平均能耗比远高于竞品

DRAM内置

内置2.5GB、5GB3D DRAM

无需外挂DDR

超高带宽

实测达到几百GB(端侧唯一)

高性能，

3B模型推理输出100+TPS

NPU设计

架构/算子加速

硬件支持Transformer及Attention机制

量化支持低比特

支持W4A16量化，内存占用少

模型精度提升

支持FP16激活参数，Group量化

模型效果好

平台方案

主+协算力解耦

真多核，大小模型同时运行保障实时任务(ViT/LLM任务时间长)

不影响主控已有业务独立选配升级

AI生态

模型适配全面

支持CNN/ViT/LLM/VLM/Omni/语音嵌入/扩散等各类开源、商用模型

与模型厂商直接合作：千问、智谱、面壁、阶跃、讯飞...

![](page=6,bbox=[2722, 1588, 3091, 1725])

LLM性能实测对比-体验升级，3B大模型输出破百！

3B大模型实测性能对比

只能在本地运行。这增加了开发复杂模型所需的计算资源和时间为了解决这些瓶颈，研究人员正在探索多种方法和技术：

  1. 15 TPS

Stage | Total Time (ms) | Tokens | Time per Tok

----------------------------------------------------

Prefill | 165.66 | 48 | 3.45

Generate | 3824.27 | 383 | 9.99

----------------------------------------------------

Enter your query (type 'exit' to quit):

RK1828实测Qwen2.5-3B

![](page=7,bbox=[674, 1423, 807, 1507])

  1. 数据安全问题：端侧设备上的数据可能面临安全风险，如果数
  1. 隐私保护问题：端侧设备上的数据可能包含用户的敏感信息

35 TPS

Input tokens: 27

Prefill time: 105.842 ms

Output tokens: 384

Decode TPS: 35.89 tokens/s

O***NX实测Qwen2.5-3B

![](page=7,bbox=[2726, 1588, 3090, 1725])

能耗对比一RK182X vs O**n NX 8GB

三倍性能，六倍能耗比

Qwen2.5-3B性能功耗对比

![](page=8,bbox=[225, 526, 1763, 1476])

![](page=8,bbox=[1952, 504, 3046, 1483])

![](page=8,bbox=[2724, 1588, 3091, 1726])

瑞芯微AIoT2.0产品生态

感知

![](page=9,bbox=[279, 451, 353, 548])

麦克风

![](page=9,bbox=[418, 450, 506, 548])

摄像头

![](page=9,bbox=[563, 451, 662, 553])

雷达

![](page=9,bbox=[707, 474, 816, 539])

规划、决策

结构光

采集声音图像数据

![](page=9,bbox=[1125, 511, 1205, 546])

![](page=9,bbox=[1371, 452, 1469, 548])

主控/RK182X AI处理器

AI Agent信息处理、任务规划、控制

执行

![](page=9,bbox=[2008, 509, 2119, 547])

![](page=9,bbox=[2191, 458, 2283, 535])

![](page=9,bbox=[2342, 457, 2432, 533])

扬声器

显示器

![](page=9,bbox=[2494, 447, 2568, 539])

机械臂

物理控制声音输出视觉反馈

音频拾音算法

回声消除、噪声抑制、自动增益

音频处理算法

ASR、TTS、翻译、声纹、多音轨

视觉算法(CNN)

目标检测、分类、图像分割、关键点检测

端侧大模型

感知与理解

云端大模型

多模态感知理解、记忆、学习

规划与决策深度思考、路径规划意图理解、指令生成

端侧优势

隐私与数据安全实时性与低延迟弱网离线可用推理成本确定

算法伙伴

科大讯飞 iFLYTEK

思必驰 AISPEECH

Ultralytics yolo

千问 Qwen

智谱 GLM Edge

面壁 MiniCPM

阶跃星宸 STEP Edge

从“听清”到“听懂”

![](page=10,bbox=[230, 423, 694, 1445])

AloT人机交互（机器感强）

精准语音识别 （不理解潜台词）

关键词唤醒 （每次对话都“失忆”）

简单指令执行 （固定操作）

基础问答 （标准回复）

![](page=10,bbox=[1701, 424, 2167, 1445])

期待的人机交互

怎么说都懂，理解意图

连续对话，像朋友一样聊天

主动建议，自动完成复杂任务链

有温度，个性化的回应

![](page=10,bbox=[2726, 1589, 3089, 1724])

从“听清”到“听懂”—AloT2.0给语音交互装上大脑

连续情境对话

多轮对话，上下文记忆

深度语义理解结合常识、消除歧义

多模态融合感知

情绪分析、真 “察言观色”

![](page=11,bbox=[914, 500, 2292, 1797])

复杂任务执行自主规划、调用服务

![](page=11,bbox=[2316, 1136, 2503, 1297])

个性化与人格化长期记忆、学习用户习惯

![](page=11,bbox=[2727, 1589, 3088, 1723])

体验升级一智能助手

智能家居：从“遥控器”到“私人管家”自动管理设备，了解家庭成员习惯，老幼报告生成

![](page=12,bbox=[407, 474, 921, 931])

![](page=12,bbox=[927, 472, 1440, 933])

智能办公：从“录音笔”到“专属秘书”自动完成：翻译、总结、待办提醒

![](page=12,bbox=[1762, 475, 2269, 935])

![](page=12,bbox=[2277, 478, 2792, 932])

智能车载：从“导航仪”到“副驾伙伴”成员识别，自然交互陪伴，基于时间地点自主规划任务

![](page=12,bbox=[404, 1212, 923, 1675])

![](page=12,bbox=[934, 1216, 1446, 1682])

智能机器人：从“遥控”到“自主助理”场景识别情绪分析，基于记忆个性化交互，自主完成任务

![](page=12,bbox=[1762, 1214, 2265, 1669])

![](page=12,bbox=[2280, 1216, 2782, 1668])

体验升级一GUI Agent Demo

![](page=13,bbox=[554, 363, 2645, 1531])

![](page=13,bbox=[2724, 1588, 3090, 1725])

从“看清”到“看懂”—AloT视觉

![](page=14,bbox=[3, 380, 1875, 1417])

AloT视觉优势

![](page=14,bbox=[1994, 569, 2076, 619])

看得清：高清画质，超低照度

![](page=14,bbox=[1999, 650, 2070, 717])

认得准：精准识别“人、车、物”等目标

![](page=14,bbox=[1996, 748, 2074, 827])

反应快：基于固定规则触发告警

AIoT视觉局限性

![](page=14,bbox=[2010, 1124, 2061, 1203])

没有环境、行为、事件分析能力

![](page=14,bbox=[1998, 1223, 2071, 1292])

容易误报：规则死板，环境干扰

![](page=14,bbox=[1998, 1314, 2077, 1392])

检索效率低：依赖关键词

![](page=14,bbox=[2727, 1590, 3089, 1723])

从“看清”到“看懂”—AIoT2.0给视觉装上大脑

场景理解

能理解环境

意图分析能分析行为背后的意图

![](page=15,bbox=[223, 600, 1798, 1277])

逻辑推理能关联时间地点

自然交互

能用人类的语言问答总结

传统AIoT

能认到有人出现

![](page=15,bbox=[2420, 312, 3080, 913])

多模态大模型

场景和行为分析

高性能 2S内发出预警

异常行为预警

视频里面可能是外卖员的人，他手里拿着一个塑料袋，从外面走到门口把东西放在门口。

![](page=15,bbox=[2424, 1026, 3079, 1551])

![](page=15,bbox=[2724, 1590, 3092, 1725])

AloT2.0视频分析一从被动记录到主动预警、分析总结

智慧家庭

老幼看护预警

日报周报生成

自动时光缩影

智慧厂区

规范操作预警

劳保用品穿戴

智慧交通

事故自动发现

拥堵原因分析

智慧零售

门店热力图

客流排队分析

员工动线分析

![](page=16,bbox=[1172, 440, 3014, 1469])

![](page=16,bbox=[2727, 1590, 3088, 1724])

体验升级一事件检索“一键即达”

视频搜索

自然语言输入

秒级快速反应

精准匹配视频

找失物

“谁把箱子搬走了？”

视频搜索

+ 新对话

搜索结果数量

3个结果

搜索历史

谁动了箱子

摩托车车祸

篮球比赛三分进球

深夜发生车祸

为您找到3个相关视频片段：

![](page=17,bbox=[1600, 473, 1956, 677])

红绿灯路口红灯亮着，斑马线前有辆红色的摩托车。摩托车在红灯前减速，然后一辆轿车从旁边冲到

![](page=17,bbox=[1981, 473, 2333, 678])

枫陵中，一只狗在门前徊但，过马路的时候被车撞到

![](page=17,bbox=[2361, 472, 2716, 678])

视频中有一辆卡车在公路上行驶，背景中有其他车辆和建筑。卡车上的数字显示为13。卡车的后缀由可以识别一个汉字工

2025-11-13 16:49:26

为您找到2个相关视频片段：

![](page=17,bbox=[1599, 980, 1958, 1185])

谁动了箱子

办公室走跟上有人走过来拿走了箱子。

![](page=17,bbox=[1977, 980, 2340, 1187])

一个男人拿着一个帽子放在地上，然后走开。

![](page=17,bbox=[2941, 411, 3007, 481])

搜索视频内容 I

![](page=17,bbox=[2726, 1589, 3089, 1724])

RK182X 应用方向

智能座舱

![](page=18,bbox=[204, 489, 802, 840])

智慧家庭存算中心

![](page=18,bbox=[948, 496, 1539, 845])

教室监控分析

![](page=18,bbox=[1693, 490, 2290, 839])

会议纪要设备

![](page=18,bbox=[2430, 490, 3034, 839])

智能机器人

![](page=18,bbox=[208, 1108, 801, 1453])

泛安防视频分析结构化搜索

![](page=18,bbox=[955, 1117, 1538, 1458])

边缘AI计算

![](page=18,bbox=[1694, 1109, 2285, 1457])

工业缺陷检测

![](page=18,bbox=[2440, 1114, 3025, 1458])

![](page=18,bbox=[2724, 1588, 3091, 1725])

瑞芯微AloT2.0新战略一最佳端侧AI芯片方案

主芯片+协处理器，成为瑞芯微并行研发、快速迭代的双轨重要资源线

![](page=19,bbox=[135, 407, 2896, 1022])

双轨研发策略

旗舰主控姊妹片迅速迭代

研发一代成熟一代

协处理器紧跟旗舰主控工艺

主控+协处理器

（高中低端）主控聚焦通用任务

协处理器聚焦AI算力和带宽

灵活配置->最高性价比

![](page=19,bbox=[2725, 1590, 3090, 1724])

主控+协处理器：解耦算力与控制

传统硬件迭代痛点：升级主控（AP）是“痛苦”的

![](page=20,bbox=[241, 503, 376, 628])

研发成本高重新设计PCB、调试BSP、重新认证

![](page=20,bbox=[239, 720, 374, 865])

生命周期错配

设备周期长（5-10年）vs AI 迭代快（几个月）

RK182X “协处理器”商业模式：完美解决痛点

主控 (Host)

负责：OS、外设控制、网络连接

例如：RK3568/MCU

![](page=20,bbox=[2195, 615, 2383, 724])

协处理器（CP）

负责：核心“思考”、大模型推理例如：RK182X（M.2模组）

战略优势

![](page=20,bbox=[447, 1160, 514, 1253])

无缝升级

不改动原有主板，通过 USB/PCIe 外挂 M.2模组，瞬间赋能AloT2.0。

![](page=20,bbox=[1416, 1160, 1513, 1245])

成本优势

专为端侧设计，内嵌DRAM内存；无需外挂DRAM，BOM成本低。

![](page=20,bbox=[2385, 1163, 2481, 1246])

算力解耦

可选配不同算力的模组；下一代AI模型出现时，仅升级协处理器模块，无需整机重设计。

![](page=20,bbox=[2728, 1589, 3087, 1724])

RK1828典型LLM/VLM性能

模型名称

输入长度

输出长度

首字时延TTFT(ms)

输出速度TPS

Qwen2.5-3B

128

128

83.09

100.75

Qwen2.5-7B

128

128

158.28

69.37

Qwen3-4B

128

128

106.58

86.87

模型

图像分辨率

ViT(ms)

LLM TTFT(ms)

输出速度TPS

FastVLM_1.5B

512*512

144

48.19

148.47

InternVL3-2B

448*448

190.80

47.93

148.26

Qwen2.5-VL-7B

392*392

279.34

159.40

70.02

Qwen3-VL-4B

384*384

158.89

108.29

89.69

注：数据基于RKNN3 SDK V1.0.0

所有模型使用w4a16量化，VL的LLM部分input为128

![](page=21,bbox=[2724, 1589, 3090, 1725])

RK182X典型ViT/CNN性能

模型

图像分辨率

单核帧率

多核帧率

YOLOv5s

640x640

35.4

212.6

ResNet50V2

224x224

113.7

851.3

ViT_b_p16

224x224

48.9

/

DINOv3

224x224

54.8

331.0

DepthAnythingV2

448x252

/

27.3

![](page=22,bbox=[2721, 1588, 3091, 1725])

模型精度保持

模型类别

模型名称

数据集

考察重点

原始精度

RKNN3精度

数据类型

LLM

Qwen3-4B

GSM8k

数学能力

90.6

89.84

W4A16

LLM

Qwen3-4B-Instruct

IFEval(strict)

指令遵循

88.73

90.42

LLM

Qwen3-4B-Instruct

BFCL(avg)

函数调用

84.94

85.34

VLM

InternVL3.5-4B

MMBench(cn)

图片理解

78.69

77.41

CNN

YOLOv8s

Coco2017

目标检测

0.39(AP@.5:.95)

0.380

W8A8

CNN

ResNet50V2

Imagenet

图片分类

0.729(Top1)

0.721

![](page=23,bbox=[2723, 1588, 3090, 1724])

RK182X全面的模型支持

大语言模型（LLM）

文本理解、生成机器翻译

  • Qwen 2.5 0.5B/1.5B/3B/7B
  • Qwen 3 0.6B/1.7B/4B/8B
  • GLM Edge
  • Hunyuan-MT1.5
  • Youtu-LLM

语音模型

  • SenseVoice

ASR、TTS

  • Whisper

多模型/视觉语言模型（VLM）

图像理解、视频分析 OCR、视觉问答

  • Qwen2.5VL 3B/7B
  • Qwen3VL 2B/4B
  • GELab-Zero
  • InternVL3 2B/4B
  • MiniCPM-V-4
  • FastVLM 1.6B
  • MiMo-VL-7B-RL
  • Janus-Pro
  • Qwen2.5-Omni

视觉类ViT/CNN

图像分类、分割、目标检测、深度估计

  • SigLIP 1/2
  • DINOv2/v3
  • EVA02
  • CLIP ViT-B/L

CNN类

  • YoloV5/V6/V8/ World/26
  • MobileNet
  • ResNet

向量嵌入与重排序 (Embedding & Reranker)

深度估计 (Depth Estimation)

RAG (检索增强生成) 核心组件

  • Depth-Anything-V2-small

Embedding (嵌入)

  • M3E small
  • Albert-base-v2

Reranker（重排序）

  • Qwen3-0.6B-Reranker
  • Qwen3-4B-Reranker

RK182X模组

NPU加速卡，搭配主控使用，无需外挂DDR

SO-DIMM接口（PCIe2x1，USB3.0），MP

M.2 2280接口（PCIe2x1），ES

![](page=25,bbox=[150, 969, 1530, 1367])

![](page=25,bbox=[1611, 468, 3039, 1374])

![](page=25,bbox=[2727, 1589, 3089, 1724])

RKNN3 SDK组成及开发

RKNN3 SDK开发路径

软硬件验证（跑ModelZoo模型）->模型转换->精度仿真->板端验证->部署优化

RKNN3 Toolkit (PC Tool)模型量化，模型转换，精度分析，模拟器

RKNN3 Runtime

用户层API库(Python，C/C++，OpenAI接口)

Model Zoo模型仓库：CNN/ViT/LLM/VLM...

Huggingface ONNX, Pytorch

Qwen3

Gemma

GLM Edge

![](page=26,bbox=[2023, 718, 2284, 964])

miniCPM

...

RKNN3

RKNN3 Toolkit

RKNN3 API (RKNN3 Runtime)

RK182X (Firmware)

![](page=26,bbox=[2725, 1589, 3089, 1725])

感谢观看

地址 中国福建福州鼓楼区铜盘路软件园A区18号楼

邮箱 service@rock-chips.com

邮编 350003

电话 86-591-83991906

传真 86-591-83951833

![](page=27,bbox=[228, 1268, 504, 1542])

微信公众号

![](page=27,bbox=[619, 1267, 895, 1542])

微信视频号

![](page=27,bbox=[1016, 1270, 1284, 1539])

微博号

![](page=27,bbox=[1518, 131, 3200, 1782])

本站所有资讯是用户利用其本地Agent获取并分享，均为公开信息，如需删除请联系我们。