👁 98 次阅读
推理模型越聪明,账单越贵——因为它们的绝大多数 token 其实没有出现在答案里,而是花在了自己的思考过程中。这一笔开销长期被行业忽略,因为它藏在推理轨迹里,不在最终输出里。Fireworks Research 本周发布的 Ember-1,专门试图把这笔被浪费掉的开销砍掉。

问题:思考型模型的思考,九成是重复收费
Ember-1 建立在 Kimi K3 之上,定位不是更聪明,而是更省。Fireworks 给出的观察很直接:像 K3 这样的推理模型,单次请求里有超过 90% 的生成 token 花在内省推理上,而不是用户真正要的答案。按 K3 公开的 API 价格折算——非缓存输入 3 美元/百万 token、缓存输入 0.30 美元/百万 token、输出 15 美元/百万 token——输出 token 的单价量级决定了这件事的账单重量。
单次请求贵一点还能忍,多轮 Agent 任务才是真正的放大器。每一轮都会把之前所有的推理痕迹重新回传给模型,上下文随轮次数近似平方增长;早期轮次那些冗长的思考轨迹,在后续每一次调用里都被重读一遍,也就被重复计费一遍。这就是为什么 Fireworks 把目标锁定在 Agent 编码负载,而不是单轮问答。
为什么不是把思考强度调低
最直接的省法是把 K3 的 reasoning effort 调低。但 Fireworks 实测发现这条路走不通:低强度档位放弃的质量太多,省下的 token 远不抵答错一次的成本。要同时保质量、砍 token,模型必须学会更高效地思考——而这只能靠训练,不能靠参数开关。
团队为此跑了 50 多组训练实验、200 多项评估,并开发出新的训练算法来压缩推理长度而不损失准确率。训练集覆盖数学、编码、指令遵循、对话、检索、工具调用与软件工程,既包含独立问题,也包含需要持续观察反馈的长交互任务。关键区分在于:并不是所有推理都是浪费。其中一部分是自我反思——回头检查一个假设、响应反馈、把一个结果追溯到早前的决策——这些能力恰恰帮模型从错误里恢复。Ember-1 的目标是保留这部分,同时删掉冗余,让它跳出无效的循环。

关键数字:35% 到 50%
在七个公开基准与两家客户的生产流量上,Kimi K3 的推理链可以被压缩 35% 到 50%,且不损失准确率。团队同时检查了失败场景:Ember-1 在尝试不成功时的 token 使用也保持克制,不会陷入长时间的无效推理,这是训练带来的副产品而非刻意调参的结果。
两个客户的现场 A/B 测试更有说服力:在真实生产编码负载上,Ember-1 每任务省约 35% token,质量持平;任务完成率、成功分数、失败率这些下游产品指标全部持平或改善,而在明显更低的 token 成本下完成。其中一个客户已上线,并把计划改成整体替换基础模型。
内部验证则是另一种方式。Fireworks 的大部分内部编码流量走自家推理服务,模型上线前先给自家开发者用。结果是最能说明问题的一种:开发者在不知道模型已切换的情况下照常干活,没有任何人察觉。对一个主张同样答案、更少 token 的产品来说,一次毫无感知的切换就是最硬的证据。
在 Fireworks 同期推出的 Specialized Intelligence Index 上,Ember-1 在 Doximity 的 Bedside Bench(500 个医生验证的临床案例、10 个专科分类)上与 GPT-5.6 Sol、GPT-6 Astra、Claude Opus 5 同场对比,在单任务成本维度站到了帕累托前沿。跨七个基准的直接对比还得出一个反直觉结论:对 K3 而言,最省的做法已不再是让它少想,而是换成 Ember-1 这个学会了高效思考的模型。
对开发者的实际含义
如果你的成本结构里输出 token 占大头,负载又是多轮 Agent 式调用,那么降低思考强度与换用 Ember-1 是两条完全不同的路:前者牺牲质量换便宜,后者是把效率训练进模型。前者上限明确——再往下就答错;后者取决于基础模型的能力边界。
Ember-1 目前是 Serverless 上的 Research Preview,作为与 K3 并列的服务选项,两周内开放试用,按社区需求决定是否转正,并同步开放企业自定义训练,允许用自己的数据构建针对特定负载的 token 高效模型。这不是临时性微调能力,而是产品化的分发节奏——先试后转正。
趋势:效率正在取代能力成为新的竞争轴
过去一年行业叙事几乎只围绕谁更强,定价锚点长期钉在 20 美元月费上,模型发布会也几乎全部以基准分数为主角。Ember-1 的意义在于换了个问法:不是模型够不够强,而是完成同一件事要付多少。
更值得注意的是它的组织逻辑。Fireworks 明确把 Ember-1 定位为专业化模型系列的第一款,主题不是更大,而是更省。当主要实验室开始把资源投向推理开销本身,而不是参数量,行业竞争的下一段主战场已经很清楚——不再是谁能答对,而是谁答对得更便宜。