👁 148 次阅读
万亿参数模型已成前沿标配，但『怎么把几 TB 的权重塞进显存』一直是推理落地最大的坎。10 月 25 日，Cerebras 官方博客详解自家晶圆级芯片 WSE-3T 的部署思路，以开源 Kimi K3（约 3T 参数）为例：59 块晶圆即可承载全部权重，推理速度达每秒 1000–2000+ tokens。该文登上 Hacker News 热榜（333 分），引发对『万亿参数推理新路线』的讨论。对关注开源模型的开发者而言，这条路线也直接关系到 Kimi K3 等新一代开源模型的实际落地成本。
一、59 块晶圆如何装下 3 万亿参数
单块 WSE-3T 晶圆只有 44GB 片上 SRAM，而 3T 参数按 4bit 量化后权重约 1.5TB，单芯片根本装不下。Cerebras 的做法是『拆层』：Kimi K3 共 93 层（69 层线性注意力 + 24 层稠密注意力），每层约 16GB。稠密层需要额外空间存 KV 缓存，一块晶圆只放一层；线性注意力层不占 KV 缓存，一块晶圆可放两层。于是 24 + 35 = 59 块晶圆搞定全部权重。
更关键的是：整层权重直接驻留在片上，推理过程中权重从不移动，晶圆之间只传激活值（RDMA over Ethernet，约 2 微秒一跳）——从根上绕开了 GPU 集群『反复搬运权重』的带宽瓶颈。
二、流水线推理：不是『一次一个请求』
很多人会问：token 要逐块晶圆传递，岂不是一次只能服务一个请求？Cerebras 解释：晶圆像流水线工位，权重固定、请求流动——stage 3 处理请求 A 时，stage 2 正在处理 B，stage 1 处理 C，整条流水线始终满载。每个工位还能处理微批量请求，在途请求数约等于『工位数 × 微批量』。并发上限由稠密层晶圆 KV 缓存剩余空间决定。衡量吞吐的正确指标不是并发数，而是每兆瓦每秒产出的 tokens。
三、为什么值得关注
其一，万亿参数模型从『能训练』迈入『能经济地跑推理』，Cerebras 给出与 GPU 集群完全不同的技术路线；其二，示例模型 Kimi K3 本身是焦点——这款开源 3T 模型在 Terminal-Bench 2.1 拿到 88.3%（GPT-5.6 Sol 为 88.8%），BrowseComp 91.2% 反超闭源对手；其三，方案可平滑扩展到 3T 以上，每加一块晶圆，算力与片上内存同步增加。
四、今日其他 AI 热点速览
AI 投资回报争议再起：Apollo 研究报告直指『科技行业之外看不到 AI 回报迹象』（HN 598 分）。美国媒体、影视与艺术行业已流失约 20 万个岗位，其中 AI 贡献几何？Apricitas 的深度数据帖引发讨论（486 分）。UC Berkeley 一位数学教授称，学生普遍用 AI 完成作业后，『批改作业已没有意义』（119 分）。Meta 新版企业合同也引发争议：条款称若其 AI 出错，法律上责任在客户（据 CIO 报道）。
小结
从『堆 GPU 显存』到『晶圆流水线』，万亿参数推理正在出现第二条技术路线。对开发者而言，开源模型 + 可扩展推理硬件的组合，意味着更强的模型离实际落地又近了一步。接下来值得盯的是：Cerebras 会把这套方案开放到什么程度，以及万亿参数推理的价格会不会因此真正打下来。