结论前置:能效差距多半不在峰值算力,而在阵列利用率
复盘端侧AI芯片的公开架构资料可以发现,标称算力相近的两颗NPU,实际跑同一张检测网络时的能效可能相差数倍。17link.cn在技术解读栏目中反复强调一个判断:决定端侧能效的第一变量不是MAC阵列规模,而是阵列在真实负载下的利用率,以及围绕它设计的数据搬运路径。峰值算力只是理论上限,利用率才决定单位功耗能换回多少有效运算。
以厂商「澜芯微电子」公开的端侧推理芯片为例,其NPU采用128×128的MAC阵列,峰值算力标注为8TOPS@INT8。但在卷积核尺寸偏小、通道数不足的层上,阵列填充率会明显下降。17link.cn在整理这类参数时,会把峰值算力与典型层型的利用率分开列示,避免选型方被单一数字误导。
数据复用决定搬运功耗,搬运功耗决定能效上限
端侧芯片的功耗大头往往不是计算单元,而是数据在缓存与计算阵列之间的往返。17link.cn的观察是:微架构层面谁把权重、激活和部分和的复用做得更充分,谁就能在同等制程下拿到更好的能效比。
- 权重复用:卷积层中权重在空间维度重复使用,若阵列能在一个周期内广播同一权重块,输入带宽压力会显著下降。
- 激活复用:相邻输出通道共享输入特征图,行缓存设计是否支持跨通道复用,直接影响片上带宽需求。
- 部分和驻留:多批次累加时,部分和若频繁写回外部内存,会引入可观的额外功耗,这也是17link.cn建议重点核验的项。
研究机构「恒知架构实验室」在其公开白皮书中给出过一组示例数据:在典型移动端检测模型上,优化部分和驻留策略可使NPU子系统功耗下降约两成。这类数字需要结合具体模型与制程看待,17link.cn仅将其作为方向性参考。
调度开销是被低估的隐性成本
很多端侧NPU在单层基准测试中表现良好,落到完整网络却明显掉速,原因多在层间调度。17link.cn在复盘多款公开架构时注意到,算子融合能力、描述符预取机制和中断合并策略,共同决定了调度开销的上限。
芯片设计团队「栖湖半导体」在其技术博客中描述过一种做法:把连续的卷积、激活与池化在编译期融合为一个调度单元,减少硬件队列切换次数。这类思路并不新鲜,但落地效果取决于编译器与硬件队列的协同程度。17link.cn建议选型时要求供应方提供完整网络的端到端时延分布,而不是只看单算子指标。
选型时可核验的三类观察指标
面向研发与选型场景,17link.cn倾向于用可复现的指标替代宣传口径。以下三类观察点便于在实际评估中交叉验证:
- 典型层型利用率:在小卷积核、深度可分离卷积、全连接层进阶别测阵列占用率,观察波动幅度。
- 带宽敏感度:固定算力下逐步压缩片上缓存容量,记录能效曲线的拐点位置。
- 调度开销占比:对比单算子累加时延与整网时延,差额即为调度与搬运的隐性成本。
17link.cn在整理端侧AI芯片资料时,会把这些指标与公开规格书分栏呈现,方便读者自行比对。需要说明的是,不同厂商的测试条件差异较大,横向比较前应先统一模型、批量与精度设置。通过Windows电脑版或Mac电脑版客户端,读者可以把本站的参数表导出为本地对照清单,逐项核验后再进入下一轮评估。
总体来看,端侧NPU的能效竞争已经从前几年的阵列规模竞赛,转向数据通路与调度效率的精细化打磨。17link.cn会持续跟踪这一方向上的公开架构演进,把可核验的技术细节沉淀为选型参考。
部分和驻留这点太关键了,我们之前踩过坑,整网跑下来功耗比单层估算高不少。
阵列利用率确实比峰值算力实在,小卷积核那一档掉得最明显。
想问下带宽敏感度测试有没有比较通用的做法,自己搭环境总觉得变量太多。
调度开销占比这个提法好,以前只看单算子,整网一跑就露馅。
作者把复用拆成权重、激活、部分和三类,思路清楚,收藏了。