👁 193 次阅读
2026 年的 AI 编程竞赛，主角已经悄然换人：当各家模型的能力差距逐渐收窄，harness（智能体外壳/执行框架）——也就是包裹在模型外面、决定它如何调用工具、如何管理上下文、如何验证结果的那一层工程——反而成为拉开成本与质量差距的关键变量。Databricks 在一份针对其百万行级代码库的内部基准研究中直言：“模型被调用的 harness 会极大影响成本和质量，在很多任务上，像 Pi 这样简单的 harness 反而表现最好”。同一模型、同一思考强度，换一个 harness 运行，单任务成本可能相差超过 2 倍，而质量完全不变。本文对比的正是这场”harness 之争”中最具代表性的两条路线：以 Pi 为代表的极简主义，与以 LongHorizon-Harness 为代表的长时程工程化。
一、为什么 harness 成为决定成败的变量？
过去一年，AI 编码工具市场爆发式增长，开发者面临的选择从”用哪个模型”变成了”用哪套 harness”。Claude Code、OpenAI Codex、Cursor 等开箱即用的商业工具占据主流，而开源阵营则涌现出大量可高度定制的框架。Databricks 的工程师们为了避免外部基准测试”过度饱和”（即各家模型/工具针对公开榜单专门优化），基于自家工程师的真实工作场景构建了一套内部基准，在百万行级、涵盖 Python/Go/TypeScript/Scala 等语言的真实代码库上评测编码智能体。
研究得出四个关键结论：第一，编码任务的帕累托前沿（给定成本下的最优质量）同时包含 OpenAI、Anthropic 与开源模型，今天没有任何单一工具能独占前沿性能；第二，开源模型、尤其是 GLM 5.2 已经能够胜任最高难度级别的任务；第三，模型的 token 单价是实际成本的很差指标——更大的模型往往 token 效率更高，综合成本反而更低；第四，也是最颠覆性的发现：harness 本身极大影响成本与质量，简单 harness 在多数工作负载上表现最佳，Pi 与 Opus 4.8（xhigh 思考强度）的组合取得了最高的整体通过率，同时成本显著低于 Claude Code 和 Codex。Pi 的开发者 Earendil 进一步披露：Pi 每轮发送的上下文约为其他框架的三分之一，用更紧凑的工作集、更少的轮数完成任务——他们称之为”上下文纪律”。
二、路线一：Pi —— 刻意选择的极简主义
Pi（earendil-works/pi）是 Earendil 团队开源的编码智能体工具包，GitHub 上已获得约 8.4 万星标（截至 2026 年 8 月），采用 MIT 协议。它的设计哲学与主流商业工具完全相反：开箱只有 4 个工具，系统提示词与工具定义合计不到 1000 token。Pi 团队的主张是：大部分工作用基础工具就能完成，需要什么你自己加。这种”少即是多”的思路源于一个判断——现在的前沿模型已经非常擅长理解终端式的编码环境，Anthropic 甚至把 Claude Code 的系统提示词砍掉了 80%，说明”原生 harness”的结构性优势正在消失，问题的关键变成了：harness 是否浪费上下文、是否提供干净的原语。
极简不代表不可扩展，恰恰相反，Pi 是最早把”可扩展、可自我编辑”作为核心设计的智能体基础设施。Shopify 工程团队用它构建了 Autoresearch 扩展：工程师直接让 Pi”创建一个 Autoresearch 扩展”，Pi 读取自己的扩展文档就开始构建新的工作流。Autoresearch 是一个用于编码智能体优化的自主循环——你提出改动需求，它运行实验找出有效与退化的改动，只要目标可量化，就能持续自我改进。Shopify 报告的实际收益包括：单元测试运行”快 300 倍”、React 组件挂载”快 20%”、多个项目的构建时间下降，甚至 pnpm 性能也获得改善。Pi 没有内置这些工具——它只是让构建它们变得极其简单。
在 HackerNews 上，Pi 的极简主义引发 521 分、近 300 条讨论。社区最常见的类比是：“Codex、Claude Code 是 VS Code、JetBrains，Pi 是 Neovim”。支持者欣赏它的可定制性与”上下文纪律”——有人感叹”用完 Pi 的配置回到公司环境发现工具行为差异巨大，harness 行为对用例的依赖远超预期”；也有人提醒它的门槛：”Pi 用起来就像 Emacs，什么都能构建，但一半代码有 bug、界面元素互相重叠、偶尔崩溃——愿意投入学习的人爱不释手，想要开箱即用的人会望而却步”。
三、路线二：LongHorizon-Harness —— 面向数小时任务的工程化
与 Pi 的”少即是多”相反，LongHorizon-Harness（AMAP-ML，2026 年 8 月 4 日创建，MIT 协议，Python）走的是另一条路：为”长时程任务”（long-horizon tasks）做极致工程化。它的定位是让 AI 智能体像人一样操作整台电脑——跨桌面应用与命令行连续运行数小时甚至数十小时，宣称实现”无状态漂移、可验证的进度、复杂任务执行到底”。项目发布当天即登上 GitHub AI 新项目星标榜，并配套 arXiv 论文（2608.01964）。
它的核心创新是”三个角色、一个可信状态”的架构，把规划、执行、验证彻底分离，避免单一持续增长的上下文独自承担一切：Manager（管理者）维护原始目标、已验证进度与下一步；Executor（执行者）每一轮用全新上下文启动，只专注一个明确定义的任务；Auditor（审计者）在真实环境中独立检查文件、接口、日志与测试。只有通过独立验证的结果才会进入持久化任务状态——即使上下文刷新、动作失败或交付物未通过检查，系统仍保留此前已验证的进度并从中断处继续。这种设计直击长任务执行的两大痛点：上下文膨胀导致的”状态漂移”，与多步骤任务中断后的进度丢失。
LongHorizon-Harness 不绑定特定模型或智能体后端：模型支持 Claude、GPT、Qwen 等，后端原生集成 Claude Code、Codex CLI，并支持自定义 AgentAdapter。Manager、Executor、Auditor 三个角色甚至可以各用不同模型，按质量、速度、成本灵活组合。在基准测试上，它以 Qwen 3.7-Plus 为骨干、Claude Code 为执行后端，取得了可量化的提升：WeaveBench（114 个任务）通过率从 51.8% 提升至 80.7%（+28.9 个百分点）；OSWorld 2.0 完整桌面任务完成率提升 3 倍（2.8→8.3）；Terminal-Bench 2.1 成功率从 69.7% 提升至 77.2%，且 token 消耗减少 24%。
四、核心维度全面对比
两款框架虽同属”编码智能体 harness”，但设计目标、适用场景与技术路线截然不同。以下从 12 个维度展开对比（数据截至 2026 年 8 月，均来自官方仓库与公开基准）：
| 对比维度 | Pi（极简主义） | LongHorizon-Harness（长时程工程化） |
|---|---|---|
| 核心定位 | 轻量编码智能体工具包，终端优先 | 长时程电脑操作框架，桌面 + CLI 全场景 |
| 设计哲学 | 少即是多，按需扩展 | 工程化保证，规划/执行/验证分离 |
| 默认工具数 | 仅 4 个 | 不预设工具，按任务接入后端能力 |
| 系统提示词开销 | <1000 token | 按角色分工，上下文按轮次重置 |
| 上下文管理 | 上下文纪律：每轮约 1/3 上下文，紧凑工作集 | fresh-context 执行：每轮全新上下文 + 持久化已验证状态 |
| 状态管理 | 极简，依赖模型自身能力 | 持久化可验证状态，中断可恢复进度 |
| 角色架构 | 单一 agent 循环 | Manager / Executor / Auditor 三角色 |
| 模型支持 | 任何 LLM（统一 API） | Claude / GPT / Qwen 等，三角色可混用 |
| 后端集成 | 自带 CLI + 扩展生态 | 原生 Claude Code / Codex / OpenClaw |
| 可扩展性 | 核心卖点，可自我编辑（Shopify 案例） | AgentAdapter / Environment 协议可插拔 |
| 许可证 | MIT | MIT |
| GitHub 星标 | 约 84,000 | 约 300（2026-08-04 新建） |
五、基准数据：谁在什么场景更强？
两款框架的基准验证来自不同体系，恰好互为补充：Pi 的验证来自 Databricks 百万行级真实代码库，LongHorizon-Harness 的验证来自 WeaveBench / OSWorld 2.0 / Terminal-Bench 2.1 等公开基准。Databricks 研究发现，同一模型（Opus 4.8，xhigh 思考强度）在 Pi 上取得最高整体通过率，且单任务成本显著低于 Claude Code 与 Codex——同一模型、同一思考强度，不同 harness 的单任务成本差异超过 2 倍，而质量不变。这印证了”token 单价不等于真实成本”：harness 的上下文管理能力，直接决定端到端工程经济学。LongHorizon-Harness 的数据则展示工程化的收益：在 Qwen 3.7-Plus + Claude Code 的组合下，harness 仅凭架构改进就让 WeaveBench 通过率提升近 29 个百分点、OSWorld 完整任务完成率翻 3 倍，同时节省 24% token。
值得注意的是，两者并不矛盾——它们回答的是不同问题。Pi 回答”如何让模型用最少上下文高效完成编码任务”，LongHorizon-Harness 回答”如何让智能体在数小时的长任务中不丢状态、可验证地推进”。前者追求每轮的效率，后者追求跨轮次的可靠性。事实上，LongHorizon-Harness 的 Executor 角色可以接入任何编码 agent，包括极简的 Pi 本身——两条路线在架构上甚至是互补的。
六、使用场景推荐
日常编码、PR 审查、单文件修改（推荐 Pi）：任务短、迭代快、上下文敏感，Pi 的极简设计让 token 消耗和响应延迟都更低，符合”用完即走”的轻量工作流。Databricks 的真实代码库测试也表明，多数常规编码任务上简单 harness 表现最佳。
跨应用长流程、自动化交付（推荐 LongHorizon-Harness）：需要操作浏览器、桌面软件、命令行接力完成的任务（如”抓取数据→生成图表→编辑文档→验证交付”），其三角色架构和持久化状态能防止中途上下文漂移、支持中断恢复，这正是数小时级任务的刚需。
追求极致定制的开发者（推荐 Pi）：Pi 的可扩展、可自我编辑特性，加上庞大的社区扩展生态，适合愿意投入学习成本、把 harness 调教成自己形状的用户——HN 社区将其类比为 Neovim/Emacs 阵营。
需要可审计、可验证的自动化（推荐 LongHorizon-Harness）：Auditor 角色的独立验证机制，让只有通过检查的结果才进入任务状态，适合对交付物可靠性有硬性要求的场景（企业流程、合规类任务、运维自动化）。
预算敏感、自托管用户（两者皆可）：两款均为 MIT 开源、免费使用，本地模型用户尤其适合 Pi——其上下文纪律对上下文窗口较小的本地模型非常友好，稳定的提示词前缀避免了每分钟级的重新预填充。
七、总结与选择建议
2026 年的”harness 之争”本质上是一场关于极简与工程的哲学辩论。Databricks 的实证告诉我们：模型能力再强，被低效 harness 包裹也会付出 2 倍以上的成本代价；而 LongHorizon-Harness 的基准则证明：同一模型、同一后端，工程化架构可以把长任务完成率提升数倍。没有放之四海而皆准的最优解——如果你追求短平快的日常编码效率，Pi 的极简主义几乎必然更省钱更高效；如果你的任务跨越数小时、横跨多个应用、不容许状态丢失，LongHorizon-Harness 的三角色工程化架构是更可靠的选择。更务实的做法是两者结合：用 Pi 做轻量编码主力，把 LongHorizon-Harness 作为长任务的执行底座。毕竟，正如 Databricks 研究所揭示的——唯一确定的是，忽略 harness 的选择，等于主动放弃免费的 2 倍成本优势与数倍的可靠性提升。
数据来源
本文数据来自：Databricks 官方博客《Benchmarking Coding Agents on Databricks’ Multi-Million Line Codebase》；Pi 开发者 Earendil 官方文章《Pi’s Minimalism Is Its Advantage》（2026-08-04，HackerNews 521 分讨论）；LongHorizon-Harness 官方 GitHub 仓库（AMAP-ML/LongHorizon-Harness，arXiv 2608.01964）；Shopify Engineering 关于 Pi Autoresearch 的公开分享。GitHub 星标数为截至 2026 年 8 月的公开数据。