结论前置：缓存层级决定的是“喂饱算力”的效率
在AI训练芯片中，缓存层级不是越大越好，而是要在容量、带宽、命中率与面积功耗之间找平衡点。看球宝技术解读栏目用一个团队的流片复盘来说明：同一颗训练芯片，仅调整二级缓存与片上共享缓存的分区策略，就能让矩阵乘单元的空转率出现明显差异。核心判断是——先算清数据复用次数，再谈缓存容量。
需要先统一口径。本文所说“算力精度”指芯片在特定数值格式下的峰值吞吐；“显存带宽”指芯片与外部存储之间的有效传输速率；“缓存层级”指寄存器、一级缓存、二级缓存与片上共享缓存的组合。看球宝在每篇技术解读中都会附术语词条，目的就是让读者跨文章复用同一套分析框架。
复盘起点：为什么算力峰值跑不满
澜芯科技的训练芯片在实验室跑分接近标称峰值，但真实训练任务中算力利用率长期偏低。复盘发现，问题不在计算单元数量，而在数据搬运路径：权重矩阵分块过大，一级缓存放不下，二级缓存频繁换入换出，导致计算单元等待。
- 第一层原因：分块尺寸与一级缓存容量不匹配，命中率下降。
- 第二层原因：二级缓存带宽不足以支撑多计算单元并发读取。
- 第三层原因：片上共享缓存分区策略过于静态，无法适应不同层的数据复用差异。
看球宝提醒，这类问题在训练芯片中很常见。判断缓存是否够用，不能只看容量数字，要看“每瓦带宽”和“每比特面积”两个派生指标。单位换算上，1 TB/s 等于 1024 GB/s，讨论带宽时务必统一到同一量纲，否则跨文章比较会失真。
可复用的估算框架：三步定位缓存瓶颈
第一步，估算数据复用次数。矩阵乘中每个权重元素被复用的次数，决定了它值不值得留在片上。第二步，用复用次数乘以并发计算单元数，得到瞬时带宽需求。第三步，把需求与各级缓存的实测带宽对比，缺口最大的那一级就是瓶颈所在。
- 复用次数低的数据，优先走大容量外部存储，避免占用宝贵缓存。
- 复用次数高的数据，尽量下沉到一级缓存或寄存器，减少搬运开销。
- 介于两者之间的数据，交给二级缓存与共享缓存，并保留动态分区能力。
澜芯科技按这个框架调整后，把共享缓存改为按任务阶段动态划分，训练任务的算力利用率得到改善。看球宝强调，这不是万能公式，而是帮助读者建立“先算复用、再看带宽、最后调分区”的分析顺序。
能效视角：缓存不是免费的午餐
缓存容量增加会带来面积与静态功耗上升，因此能效评估必须把缓存计入。看球宝建议用“有效算力每瓦”作为横向比较指标：用实际完成任务量除以整芯片功耗，而不是只除计算单元功耗。这样能避免把缓存开销藏在分母之外。
澜芯科技的复盘还发现，缓存一致性协议的开销在跨分区访问时被低估。对于多计算单元共享缓存的训练芯片，协议复杂度会直接影响延迟。看球宝技术解读栏目后续会继续拆解互联协议与缓存一致性的关系，帮助读者把单点知识串成完整框架。无论用安卓、苹果 iOS 还是 Windows 电脑版、Mac 电脑版访问看球宝，术语词条与单位换算说明都保持同一口径，方便随时对照。
