👁 165 次阅读
9月17日，智谱（Z.ai）发了一篇技术博客，标题是《Toward Recursive Self-improvement: How GLM Built Its Own Inference Infrastructure》。表面是复盘一次部署，真正值得注意的是它的作者栏——大部分工作不是基础设施工程师干的，是一个由 GLM-5.3 驱动的 Infra Agent 干的。
也就是说，模型在优化承载自己的系统。
10万张国产芯片：一个此前没人干成的规模
GLM-5.3-Flash 是智谱 8 月底发布的旗舰：3200 亿总参数、180 亿激活参数、100 万 token 上下文、MIT 开源协议。Z.ai 在博客里说，他们在这个规模上从原始构建了一整套生产级推理服务，全部生产流量跑在 10 万张以上国产 AI 加速卡上。他们强调此前没有任何人在这个规模上运营过国产加速卡集群。
图
难点不在芯片本身，而在生态。芯片显存容量和带宽偏小，要同时支撑新模型架构、百万级上下文和多模态请求，而内核支持不完整——很多本该写在文档里的行为，团队只能靠猜。为此他们在 SGLang 之上专门为这套架构写了一个推理引擎。
关键优化手段全部指向同一个瓶颈：显存带宽。
– 用算力换带宽、用通信换显存的两套自定义方案
– 线性注意力与 LM Head 的节点内张量并行
– ReplaySSM、W8A8 量化、INT8/FP8/BF16 混合精度缓存量化、Layer Split
– 引入 Encode-Prefill-Decode（EPD）分离架构
结果：端到端服务性能相对同一硬件的初始基线提升约 3 倍（智谱工程师在 X 上给出的数字是 3.2 倍），硬件利用率与单 token 成本声称达到主流 NVIDIA GPU 的水平。
Agent 做的不是写代码，是接住反馈
这段复盘最有工程含量的是它讲 Agent 为什么能干活。端到端指标只会告诉 Agent『结果变差了』，不会告诉它『哪一层出了问题、当前假设为什么错、下一步该测什么』。当 Agent 收到『数值精度测试失败』『TTFT 上升 30%』『输出吞吐下降 20%』这类反馈时，如果没有可定位的中间信号，它就只能盲试。
图
Z.ai 的做法叫高密度反馈，三个特征：足够局部化、低成本易获取、可客观验证。工程上拆成三类——精度反馈回答『算得对不对』，系统运行反馈回答『时间花在哪』，性能反馈回答『哪种方法更好、在什么条件下更好』。本地验证负责尽早淘汰无效改动，端到端测试负责确认局部改动在真实负载下确实生效且没引入新 bug。
最终形成的循环是：工程师定目标与边界，Agent 负责分析、提出假设、改代码，测试环境提供分层、及时、可验证的反馈。智谱的原话是，原本依赖工程师经验的诊断流程，变成了 Agent 可以持续执行的工程流程。
三个必须说的限定
这条新闻值得写，但必须把话说完整。
第一，Z.ai 没有公布芯片型号和厂商，也没有发布吞吐量、功耗、利用率数据。『单 token 成本可比 NVIDIA』这个断言无法从公开材料独立验证。华为 2025 年在国产 AI 加速卡市场出货约 81.2 万张，占中国约 400 万张市场的 20.3%；NVIDIA 出货约 220 万张，占 55%。
第二，服务不等于训练。Z.ai 说的是预览和推理跑在国产芯片上，没有说 GLM-5.3-Flash 完全在国产芯片上训练完成。DeepSeek 的 R2 训练曾长期无法在昇腾上跑通，华为亲自派工程师驻场也没解决，最后回退到 NVIDIA 做训练、昇腾做推理。
第三，真正的瓶颈是 HBM。SemiAnalysis 估计长鑫存储 2026 年的 HBM 产量约 200 万片，只够支撑 25 万到 30 万颗昇腾 910C 当量的封装。这个天花板跟逻辑芯片产能多高无关。
图
顺手两笔：算力账本正在换页脚
同一周还有两条容易滑过去、但指向同一件事的监管新闻。
美国众议院 9 月 17 日以 417 比 3 通过《Ratepayer Protection Act》，修订 1978 年《公共事业监管政策法》，要求大型数据中心客户承担其引发的全部电网升级成本，而不是摊到居民电费里。AI 算力的电力外部性，第一次有了立法归属。
印度总理莫迪宣布半导体使命二期，12 年投入 135 亿美元，比一期 80 亿美元几乎翻倍；应用材料承诺十年 50 亿美元，Lam Research 出资约 100 亿卢比参与印度首座晶圆厂。
结论
智谱这篇复盘真正的信息量不在『中国芯片可以跑前沿模型推理』——这已经不算新闻。信息量在那句话：两周从首次运行到接管全部生产流量，大部分活是 Agent 干的。
对推理服务商来说，这是个好信号：显存受限的硬件路线不是死路，工程反馈循环的成熟度可以替代一部分硬件上限。
对硬件供应链来说，这是坏信号：当模型开始自己优化承载它的推理栈，『谁需要最少 HBM 每 token』这件事的权重会急剧上升。智谱融资 50 亿美元、其中 60% 明确投给 GLM-6 和基础设施，他们显然已经在按这个逻辑下注。