先看结论：推理芯片的瓶颈往往不在峰值算力

在「看个球」产品与方案栏目的并排对比视图里，一个反复出现的现象是：标称算力更高的方案，在实际推理吞吐上未必领先。原因通常不在算力本身，而在显存带宽、片间互联与能效墙的共同约束。看个球整理公开参数时，会把峰值算力、显存容量、显存带宽、制程节点和典型功耗放在同一张表里，让读者先看清瓶颈落在哪一环。

推理负载与训练负载对硬件的诉求并不一致。训练更依赖大规模并行与高带宽互联，推理则更在意单位请求的延迟、批量吞吐与长期运行的能耗成本。理解这一点，是读懂任何一份芯片对比表的前提。

显存带宽：决定推理吞吐的隐形上限

大模型推理的解码阶段逐 token 生成，每生成一个词元都要把权重与缓存读一遍，显存带宽因此直接决定单位时间能读出多少参数。带宽不足时，算力单元会长时间等待数据，形成典型的“算力闲置”。

  • 容量决定能否装下模型与长上下文缓存，带宽决定装下之后跑得多快，两者不可互相替代。
  • 高带宽方案在长上下文、大并发场景收益明显，但在小批量、低延迟场景可能带来功耗与成本浪费。
  • 对比表中若只列容量不列带宽，读者很难判断真实推理表现，看个球因此把两项分列展示。

需要提醒的是，厂商标称带宽为理论峰值，实际可达值受访问模式与缓存命中率影响，对比时应以公开规格书口径为准，避免跨口径直接比较。

制程与能效：机架密度背后的真实成本

更先进的制程通常带来更低的单位算力功耗，但推理集群的成本不只看单芯片功耗，还要看整机、散热与供电配套。看个球在能效维度整理的是“典型功耗下的有效吞吐”，而非单纯的电平数字。

  • 能效优势在长时间、高利用率的生产环境中会被放大，短时峰值测试则容易掩盖差距。
  • 制程升级伴随的封装与供电方案变化，会影响整机设计复杂度，选型时需一并评估。
  • 同一架构在不同制程下的表现差异，往往比不同架构之间的差异更值得关注。

对多数团队而言，能效与可获得性、软件栈成熟度的组合，比单一制程数字更能决定落地节奏。看个球建议把软件生态支持情况作为对比表的固定字段，避免只看硬件参数。

架构取舍：通用性与专用化的边界

通用 GPU 架构生态成熟、适配面广，专用推理加速器在特定算子组合上效率更高但迁移成本更大。两者的取舍取决于业务负载的稳定性：负载形态稳定、规模足够大时，专用化收益更容易兑现；负载多变、迭代频繁时，通用架构的灵活性更值钱。

在「看个球」的方案对比页中，架构一栏会标注指令集类型、片上缓存组织与互联方式，帮助读者判断迁移难度。需要强调的是，任何对比都只是公开参数的横向整理，实际表现仍需结合自身模型与业务指标验证。看个球持续更新这一视图，目的是让选型讨论建立在同一套可核验的口径上，而不是被单一峰值数字带偏。