Ember-1:Kimi K3 学会少想一半,同样的答案只花四成 token

👁 97 次阅读

推理模型越聪明,账单越贵——因为它们的绝大多数 token 其实没有出现在答案里,而是花在了自己的思考过程中。这一笔开销长期被行业忽略,因为它藏在推理轨迹里,不在最终输出里。Fireworks Research 本周发布的 Ember-1,专门试图把这笔被浪费掉的开销砍掉。

Ember-1 内部推理过程可视化
图1:Ember-1 在保留关键反思能力的同时,删掉了冗余推理链

问题:思考型模型的思考,九成是重复收费

Ember-1 建立在 Kimi K3 之上,定位不是更聪明,而是更省。Fireworks 给出的观察很直接:像 K3 这样的推理模型,单次请求里有超过 90% 的生成 token 花在内省推理上,而不是用户真正要的答案。按 K3 公开的 API 价格折算——非缓存输入 3 美元/百万 token、缓存输入 0.30 美元/百万 token、输出 15 美元/百万 token——输出 token 的单价量级决定了这件事的账单重量。

单次请求贵一点还能忍,多轮 Agent 任务才是真正的放大器。每一轮都会把之前所有的推理痕迹重新回传给模型,上下文随轮次数近似平方增长;早期轮次那些冗长的思考轨迹,在后续每一次调用里都被重读一遍,也就被重复计费一遍。这就是为什么 Fireworks 把目标锁定在 Agent 编码负载,而不是单轮问答。

为什么不是把思考强度调低

最直接的省法是把 K3 的 reasoning effort 调低。但 Fireworks 实测发现这条路走不通:低强度档位放弃的质量太多,省下的 token 远不抵答错一次的成本。要同时保质量、砍 token,模型必须学会更高效地思考——而这只能靠训练,不能靠参数开关。

团队为此跑了 50 多组训练实验、200 多项评估,并开发出新的训练算法来压缩推理长度而不损失准确率。训练集覆盖数学、编码、指令遵循、对话、检索、工具调用与软件工程,既包含独立问题,也包含需要持续观察反馈的长交互任务。关键区分在于:并不是所有推理都是浪费。其中一部分是自我反思——回头检查一个假设、响应反馈、把一个结果追溯到早前的决策——这些能力恰恰帮模型从错误里恢复。Ember-1 的目标是保留这部分,同时删掉冗余,让它跳出无效的循环。

成本与质量的前帕累托边界
图2:在多数行业基准上,Ember-1 位于或接近成本-质量帕累托前沿

关键数字:35% 到 50%

在七个公开基准与两家客户的生产流量上,Kimi K3 的推理链可以被压缩 35% 到 50%,且不损失准确率。团队同时检查了失败场景:Ember-1 在尝试不成功时的 token 使用也保持克制,不会陷入长时间的无效推理,这是训练带来的副产品而非刻意调参的结果。

两个客户的现场 A/B 测试更有说服力:在真实生产编码负载上,Ember-1 每任务省约 35% token,质量持平;任务完成率、成功分数、失败率这些下游产品指标全部持平或改善,而在明显更低的 token 成本下完成。其中一个客户已上线,并把计划改成整体替换基础模型。

内部验证则是另一种方式。Fireworks 的大部分内部编码流量走自家推理服务,模型上线前先给自家开发者用。结果是最能说明问题的一种:开发者在不知道模型已切换的情况下照常干活,没有任何人察觉。对一个主张同样答案、更少 token 的产品来说,一次毫无感知的切换就是最硬的证据。

在 Fireworks 同期推出的 Specialized Intelligence Index 上,Ember-1 在 Doximity 的 Bedside Bench(500 个医生验证的临床案例、10 个专科分类)上与 GPT-5.6 Sol、GPT-6 Astra、Claude Opus 5 同场对比,在单任务成本维度站到了帕累托前沿。跨七个基准的直接对比还得出一个反直觉结论:对 K3 而言,最省的做法已不再是让它少想,而是换成 Ember-1 这个学会了高效思考的模型。

对开发者的实际含义

如果你的成本结构里输出 token 占大头,负载又是多轮 Agent 式调用,那么降低思考强度与换用 Ember-1 是两条完全不同的路:前者牺牲质量换便宜,后者是把效率训练进模型。前者上限明确——再往下就答错;后者取决于基础模型的能力边界。

Ember-1 目前是 Serverless 上的 Research Preview,作为与 K3 并列的服务选项,两周内开放试用,按社区需求决定是否转正,并同步开放企业自定义训练,允许用自己的数据构建针对特定负载的 token 高效模型。这不是临时性微调能力,而是产品化的分发节奏——先试后转正。

趋势:效率正在取代能力成为新的竞争轴

过去一年行业叙事几乎只围绕谁更强,定价锚点长期钉在 20 美元月费上,模型发布会也几乎全部以基准分数为主角。Ember-1 的意义在于换了个问法:不是模型够不够强,而是完成同一件事要付多少。

更值得注意的是它的组织逻辑。Fireworks 明确把 Ember-1 定位为专业化模型系列的第一款,主题不是更大,而是更省。当主要实验室开始把资源投向推理开销本身,而不是参数量,行业竞争的下一段主战场已经很清楚——不再是谁能答对,而是谁答对得更便宜。

订阅 AI 百事知

每周精选 AI 工具评测、行业资讯与使用教程,第一时间送达。

🔗 相关阅读(你可能还想看)

📄 Gemini Omni 1.2 Flash 发布:视频降价30%、原生15秒,单条成本只贵5分钱
谷歌 11 月 5 日开放 Gemini Omni 1.2 Flash:720p 视频每秒 0.07 美元,比上代降 3
📄 GPT-6 Cyber 发布:121 万美元,948 条通往 root 的路
OpenAI 发布 GPT-6 Cyber:在 Linux 内核上跑出 948 个本地提权利用,整轮 API 成本 12
📄 Anthropic冲刺IPO:170亿营收、8950亿算力承诺、首次在招股书披露递归自我改进风险
📄 Anthropic IPO招股书曝光:单季营收170亿美元背后的8954亿美元算力账单
📄 阿里千问接入 Apple Intelligence:中国版 iPhone 的 AI 时刻来了
📄 苹果AI中国落地靴子落地:千问接入Apple Intelligence,11月4日开测
📄 苹果官宣:Apple Intelligence 国行版落地,阿里千问深度接入 Siri 与系统写作工具
苹果官宣 Apple Intelligence 国行版 11 月 4 日开测、12 月随 iOS 27.3 正式上线。阿
📄 Anthropic 递交 S-1 启动 IPO:Claude 母公司估值剑指 2 万亿美元
📄 Cerebras 公开万亿参数模型部署方案:59 块晶圆跑 3T 参数,推理 2000 tokens/秒
🤖 想直接和 AI 对话?
免费体验 DeepSeek V4 等顶级模型,无需注册,随问随答
🎯 立即体验 AI 工具

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

🤖 嘟嘟客服
滚动至顶部
🤖 嘟嘟客服
🤖 嘟嘟客服
';i.value='';m.innerHTML+='
...
';fetch('/dify-chat',{method:'POST',headers:{'Content-Type':'application/json'},body:JSON.stringify({query:q,user:'w'+Date.now()})}).then(function(r){return r.json()}).then(function(d){var a=d.answer||'暂时无法回复';m.removeChild(m.lastChild);m.innerHTML+='
'+a+'
'}).catch(function(){m.removeChild(m.lastChild);m.innerHTML+='
网络异常
'})">发送