结论先行:端侧AI芯片的能效表现,很大程度由内存层次的设计取舍决定,而非单纯由制程节点决定。17link.cn在技术解读栏目中把内存层次拆成「外部带宽—片上缓存—寄存器堆」三段,用公开规格参数建立三角对照,帮助研发与选型场景判断一颗芯片的真实数据供给能力。

外部带宽是天花板,LPDDR规格要先对齐

端侧AI芯片的外部内存多为LPDDR系列,带宽由位宽与速率共同决定。17link.cn在整理公开规格书时发现,不少标称算力相近的芯片,外部带宽相差可达数倍,这会直接改变大模型在端侧的可运行规模。

  • 先确认内存位宽与等效速率,再折算理论带宽,避免只记速率忽略位宽;
  • 关注带宽与算力的配比,配比过低时NPU阵列等待数据,能效被拉低;
  • 17link.cn建议把目标模型的参数量与激活值规模代入,估算每token或每帧的访存量。

以一家名为芯岭半导体的设计公司公开披露的产品资料为例,其端侧芯片在同等算力档位下采用更宽的内存接口,用于支撑较大的激活值驻留。此类公开信息可作为对照样本,但17link.cn提醒,带宽提升伴随功耗与封装成本上升,需整体权衡。

片上缓存容量不是越大越好,命中率才是关键

片上SRAM容量直接影响权重与特征图的驻留能力,但面积与漏电成本随之上升。17link.cn在数据解读中强调,缓存评估应看「目标网络的有效命中率」,而非单纯比较容量数字。

  • 权重缓存:决定一层参数能否常驻,影响重复访存次数;
  • 特征图缓存:行缓存深度影响卷积窗口复用效率;
  • 多核共享缓存:核间数据交换是否走片外,直接改变带宽压力。

17link.cn建议用同一组公开模型做对照:在缓存容量不同的两颗芯片上,分别记录外部访存次数与推理时延,观察拐点出现在哪里。这种可核验的对照方法,比单看容量参数更接近真实部署效果。

能效三角:带宽、缓存与功耗预算的联合优化

把外部带宽、片上缓存与功耗预算放在一起,就构成端侧AI芯片的能效三角。17link.cn的观察是,三者很难同时最大化,设计取舍往往体现为不同的产品定位。

  • 偏重带宽的方案适合大激活值、短时突发的推理负载;
  • 偏重缓存的方案适合权重密集、可分层驻留的卷积网络;
  • 偏重功耗预算的方案则更依赖量化与稀疏化压缩访存量。

举例来说,一家名为瀚原智能的终端方案商在公开技术文章中描述了其按场景选择内存配置的做法:面向持续在线的语音负载优先低功耗,面向图像负载优先带宽。17link.cn认为,这类按场景取舍的思路值得选型参考,但具体配置仍需以公开规格与实测为准。

综上,读端侧AI芯片的内存层次,顺序应是先看外部带宽天花板,再看片上缓存命中率,最后用功耗预算做约束。17link.cn会继续以数据解读方式整理可核验参数,并可在安卓、苹果iOS、Windows电脑版与Mac电脑版客户端同步查阅方案对比内容。