👁 128 次阅读
过去两年，选大模型最省事的方式是看基准分数：SWE-bench 多少分、MMLU 多少分，分数高就选谁。但近期一项系统性研究给这个习惯泼了盆冷水：近半数主流基准已经“饱和”——模型之间的分数差距越来越小，基准已难以区分模型能力差异。与此同时，Databricks 在百万行级代码库上的基准研究给出了另一个反直觉结论：同一模型在不同 harness（智能体外壳框架）下，单任务成本差异可超过 2 倍，而质量不变。
两件事合起来指向同一个判断：模型选型正在从“看分数”转向“看真实任务成本”。本文基于本站知识库本周积累的资料，梳理这一转变的来龙去脉。
一、基准饱和：纸面分数正在贬值
2026 年 8 月初登上 Hacker News（103 分）的论文《When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation》（arXiv 2602.16763）系统分析了 60 个主流 LLM 基准测试的 14 个与饱和相关的属性，发现近半数基准已出现饱和现象，且饱和率随基准年龄增长而上升。基准一旦饱和，就难以区分模型能力差异，其长期价值随之下降。
这条外部事实解释了近期评测文章里一个直观感受：分数“挤在一起”。Claude Code 在 SWE-bench Verified 得分 80.9%，MiniMax M2.5 官方数据为 80.2%，两者差距不到 1 个百分点。个人判断：在饱和基准上，1-2% 的分数差在统计上是否显著本身存疑，不应作为选型的主要依据——这也是本站周复盘笔记中“写作时应补充基准区分度存疑限定”的提醒。
二、同一模型，不同 harness，成本差 2 倍
如果说基准饱和让“分数”贬值，Databricks 的基准研究则让“工具链”升值。Databricks 在百万行级代码库上做的《Benchmarking Coding Agents on Databricks’ Multi-Million Line Codebase》显示：同一模型、同一思考强度，在不同 harness 下表现差异巨大，单任务成本差异 >2x 而质量不变；简单 harness 反而在很多任务上表现最好。
两条 harness 路线在知识库中有完整记录，对比如下：
| 维度 | Pi（极简主义） | LongHorizon-Harness（工程化） |
|---|---|---|
| 设计哲学 | 开箱 4 个工具，system prompt+工具定义 <1000 token，缺什么加什么 | Manager/Executor/Auditor 三角色，fresh-context + 持久化可验证状态 |
| 实证表现 | Pi+Opus 4.8 (xhigh) 成本显著更低却取得最高整体通过率，优于 Claude Code/Codex；每轮上下文约 1/3 | WeaveBench 51.8→80.7 (+28.9)；OSWorld 2.0 2.8→8.3（3 倍）；Terminal-Bench 2.1 69.7→77.2 且 token 减少 24% |
| 典型定位 | 日常编码任务（HN 社区类比“Pi=Neovim”，521 分） | 数小时级长时程任务（跨应用操作、批量流程） |
个人判断：两条路线不是谁取代谁，而是场景不同——日常任务先用基础工具跑通，缺什么加什么；长时程自动化才需要工程化编排。对大多数个人用户，极简 harness 是性价比起点。
三、把“真实任务成本”作为新标尺
“看真实任务成本”不是一句口号，至少有三个可量化的维度：
1. 单任务 token 消耗。Claude Code 与 Gemini CLI 在 SWE-bench Verified 上几乎持平，但 token 效率高 40%（Anthropic 官方公告）。同样的活，token 少 40% 意味着成本少 40%。
2. 单位成本产出。MiniMax M2.5 官方口径 100 tokens/s 连续运行 1 小时约 1 美元，社区称性能与 Claude Opus 4.6 相当但便宜约 20 倍——不过这是官方自测数据，待第三方复现，属于“外部事实待验证”，不应直接当作结论。
3. 成功率与重试成本。基准分数只回答“能不能”，成本要算上失败重试的次数。这正是知识库观点笔记《知识库的核心指标是调用次数》的延伸——衡量价值应看“被调用、被组合、被输出的频率”而非规模，纸面分数贬值与“以真实调用衡量价值”是同一个逻辑。
结论：四步选型法
综合上述外部事实与个人判断，模型选型可以简化为四步：
- 基准分数只做初筛：用分数圈定候选名单，不在饱和基准上计较 1-2% 的差距；
- 用真实任务实测：拿自己最典型的任务跑小批量，记录 token 消耗、成功率、耗时；
- 先优化 harness，再换模型：同一模型换 harness 成本差可 >2x，这条杠杆往往被忽略；
- 盯住“单位成本产出”：1 美元能完成多少真实任务，比榜单排名更接近决策真相。
外部事实与个人判断的边界：基准饱和研究、Databricks 成本差 >2x、Pi/LongHorizon 的基准数据、Claude Code token 效率、MiniMax 官方定价均来自可追溯的外部来源；“分数挤在一起不足为凭”“先优化 harness”“四步选型法”是本文基于这些事实的个人判断，供读者结合自身场景验证。