👁 116 次阅读
2026年8月第一周，AI基础设施领域迎来一个标志性事件：Wafer团队成功在AMD MI355X GPU上部署了Moonshot AI的2.8万亿参数开源模型Kimi K3，性能成本比全面超越NVIDIA B300和B200方案。
Kimi K3：迄今最大规模的开源模型之一
Kimi K3拥有2.8T参数，仅权重就需超过1.5TB显存，再加上1M token的KV缓存池，连一台B200节点（8×192GB）都无法完整容纳。此前唯一的方案是两台B200节点（TP16）或一台B300节点（8×288GB）。
AMD MI355X同样配备288GB HBM3e显存，单节点即可承载Kimi K3。在1024 token输入/400 token输出的基准测试中，MI355X达到952 tok/s/node的聚合吞吐量和118 tok/s的单流解码速度——每节点聚合吞吐是B200 TP16双节点方案的3.8倍以上。
成本优势：每美元性能的碾压
B300在绝对吞吐上仍领先MI355X约1.65倍，但成本差距巨大：MI355X为$2.50/GPU-hr，B300为$6.00/GPU-hr，B200为$4.25/GPU-hr。以每美元聚合吞吐量计算，MI355X完胜B300，成为当前部署Kimi K3最具性价比的选择。
软件适配：从预期到落地
Wafer团队在适配过程中遇到了典型的AMD困境——ROCm软件栈的成熟度不如CUDA。主要挑战包括：推测解码（Speculative Decode）的top-k重归一化内核缺失（用一行PyTorch代码修复），以及MLA prefill内核因形状不匹配回退到慢速Triton实现（通过零填充12→16注意力头解决）。
预填充（Prefill）仍是AMD MI355X的主要短板：172k token冷预填充需51秒，而B300仅需23秒。但Wafer团队认为，随着AI Agent自主优化内核的能力提升，这一差距正在快速缩小。
行业意义
Kimi K3在MI355X上的成功部署，标志着AMD在大模型推理领域首次在”性价比”维度上实现对NVIDIA的超越。当模型规模突破单节点B200承载极限时，MI355X凭借更高的HBM容量和更低的成本，成为不可忽视的替代方案。正如Wafer团队所言：”CUDA护城河是否已死？”——答案或许正在变得模糊。
对于AI创业公司和企业来说，Kimi K3 + AMD MI355X的组合意味着：开源前沿模型可以以更低成本部署，不再被NVIDIA的高价GPU锁死。这可能是AI基础设施平民化的重要一步。