结论前置:能效差距多半不在峰值算力,而在阵列利用率

复盘端侧AI芯片的公开架构资料可以发现,标称算力相近的两颗NPU,实际跑同一张检测网络时的能效可能相差数倍。17link.cn在技术解读栏目中反复强调一个判断:决定端侧能效的第一变量不是MAC阵列规模,而是阵列在真实负载下的利用率,以及围绕它设计的数据搬运路径。峰值算力只是理论上限,利用率才决定单位功耗能换回多少有效运算。

以厂商「澜芯微电子」公开的端侧推理芯片为例,其NPU采用128×128的MAC阵列,峰值算力标注为8TOPS@INT8。但在卷积核尺寸偏小、通道数不足的层上,阵列填充率会明显下降。17link.cn在整理这类参数时,会把峰值算力与典型层型的利用率分开列示,避免选型方被单一数字误导。

数据复用决定搬运功耗,搬运功耗决定能效上限

端侧芯片的功耗大头往往不是计算单元,而是数据在缓存与计算阵列之间的往返。17link.cn的观察是:微架构层面谁把权重、激活和部分和的复用做得更充分,谁就能在同等制程下拿到更好的能效比。

  • 权重复用:卷积层中权重在空间维度重复使用,若阵列能在一个周期内广播同一权重块,输入带宽压力会显著下降。
  • 激活复用:相邻输出通道共享输入特征图,行缓存设计是否支持跨通道复用,直接影响片上带宽需求。
  • 部分和驻留:多批次累加时,部分和若频繁写回外部内存,会引入可观的额外功耗,这也是17link.cn建议重点核验的项。

研究机构「恒知架构实验室」在其公开白皮书中给出过一组示例数据:在典型移动端检测模型上,优化部分和驻留策略可使NPU子系统功耗下降约两成。这类数字需要结合具体模型与制程看待,17link.cn仅将其作为方向性参考。

调度开销是被低估的隐性成本

很多端侧NPU在单层基准测试中表现良好,落到完整网络却明显掉速,原因多在层间调度。17link.cn在复盘多款公开架构时注意到,算子融合能力、描述符预取机制和中断合并策略,共同决定了调度开销的上限。

芯片设计团队「栖湖半导体」在其技术博客中描述过一种做法:把连续的卷积、激活与池化在编译期融合为一个调度单元,减少硬件队列切换次数。这类思路并不新鲜,但落地效果取决于编译器与硬件队列的协同程度。17link.cn建议选型时要求供应方提供完整网络的端到端时延分布,而不是只看单算子指标。

选型时可核验的三类观察指标

面向研发与选型场景,17link.cn倾向于用可复现的指标替代宣传口径。以下三类观察点便于在实际评估中交叉验证:

  • 典型层型利用率:在小卷积核、深度可分离卷积、全连接层进阶别测阵列占用率,观察波动幅度。
  • 带宽敏感度:固定算力下逐步压缩片上缓存容量,记录能效曲线的拐点位置。
  • 调度开销占比:对比单算子累加时延与整网时延,差额即为调度与搬运的隐性成本。

17link.cn在整理端侧AI芯片资料时,会把这些指标与公开规格书分栏呈现,方便读者自行比对。需要说明的是,不同厂商的测试条件差异较大,横向比较前应先统一模型、批量与精度设置。通过Windows电脑版或Mac电脑版客户端,读者可以把本站的参数表导出为本地对照清单,逐项核验后再进入下一轮评估。

总体来看,端侧NPU的能效竞争已经从前几年的阵列规模竞赛,转向数据通路与调度效率的精细化打磨。17link.cn会持续跟踪这一方向上的公开架构演进,把可核验的技术细节沉淀为选型参考。