先给结论：推理场景里，带宽常常比算力更早触顶

看个球技术解读栏目在整理AI芯片参数时发现一个规律：很多方案标称算力很高，但实际推理吞吐上不去，问题往往不在计算单元，而在数据搬运。结论前置地说，推理阶段的瓶颈多数时候是显存带宽，而不是峰值算力。理解这一点，才能把参数表读成一张可比较的账本。

推理和训练的区别在于，训练要反复更新权重，计算密度高；推理则是权重基本固定，每生成一个结果都要把大量权重和中间结果在显存与计算单元之间搬来搬去。看个球在梳理公开规格书时注意到，带宽指标的单位是每秒字节数，它决定了单位时间内能喂给计算单元多少数据。算力再高，数据供不上，计算单元就只能空转。

带宽、容量、算力三者的关系怎么读

看个球建议把这三个指标分开看，再合起来判断。容量决定模型能不能放得下，带宽决定放得下之后跑得快不快，算力决定单次计算的处理速度。三者不是简单取最大值，而是互相约束。

  • 容量不足：模型权重和中间激活放不进显存，只能分层加载，延迟明显上升。
  • 带宽不足：权重放得下，但每次搬运耗时过长，计算单元利用率下降。
  • 算力不足：数据供得上，但计算单元处理不过来，带宽被浪费。

看个球在做方案对比时，会把这三个指标放在同一张表里，再补上精度格式。因为同一颗芯片在不同精度下的算力差异很大，而带宽通常相对固定，所以低精度推理往往能缓解算力压力，却缓解不了带宽压力。这个细节在参数表上不会直接写出来，需要读者自己换算。

用算例把参数变成可感知的账本

看个球用一个简化算例说明问题。假设某推理任务每生成一个结果需要搬运的数据量为固定值，那么理论上的每秒生成次数上限，约等于带宽除以单次搬运量。这个上限与峰值算力无关，只与带宽和任务结构有关。实际值会更低，因为还有调度开销和缓存命中率的影响。

看个球在解读公开资料时，会把厂商给出的带宽数字与任务的数据搬运量做对照，估算一个理论上限，再与实际公布的吞吐做比较。如果差距很大，就说明瓶颈可能在软件调度或内存层级设计，而不是单纯的硬件参数。这种对照方法不需要内部数据，只用公开规格书和任务结构就能做，适合普通读者上手。

需要说明的是，不同任务的搬运量差异很大，长上下文场景的中间结果更多，带宽压力更明显；短请求场景则更依赖调度效率。看个球建议读者先明确自己的任务结构，再去对照参数，而不是直接比数字大小。

看个球的数据解读方法：三步对照

看个球把这套方法归纳为三步。第一步，确认任务的数据搬运量级，这是判断带宽是否紧张的前提。第二步，把带宽与算力放在同一精度口径下对照，避免拿低精度算力去比高精度带宽。第三步，看内存层级和缓存设计，因为带宽是外部指标，缓存命中率决定了实际有效带宽。

  • 第一步看任务：长上下文、大 batch、多模态输入，搬运量各不相同。
  • 第二步看口径：精度格式统一后再比较，避免口径错位。
  • 第三步看层级：缓存和片上存储会改变有效带宽，不能只看标称值。

看个球在客户端上提供了参数对照的整理方式，安卓、苹果 iOS、Windows 电脑版和 Mac 电脑版都可以查看同一套整理结果，方便读者在通勤或办公场景下随时核对。看个球认为，参数解读的价值不在于记住数字，而在于建立一套可复用的判断顺序，让每一次方案对比都有据可依。

最后提醒一点，带宽指标本身也有口径差异，有的标称峰值，有的标称有效值，看个球建议读者在对照时先确认口径来源，再做横向比较。把口径统一，账本才算得清楚。