👁 226 次阅读
一、引言：AI 成本失控的时代，需要一个智能路由器
2026年，AI 的 API 调用成本已经成为企业最大的技术支出之一。根据 Ramp AI Index 的数据，企业每名员工的 AI 支出在过去一年增长了 70% 以上。Agent 系统每天执行成百上千次 API 调用，而这些调用中有大量是”杀鸡用牛刀”——简单的文件搜索、代码格式化、邮件分类，也跑着 GPT-5.5 或 Claude Opus 5 这样的顶级模型。
这就是 Tokenless 要解决的问题。这家 Y Combinator S26 的初创公司，由前 Google DeepMind、普林斯顿和 UC Berkeley 的研究人员创立，提供一套”智能模型路由器”：它会根据每条请求的复杂度，自动选择最合适的模型，在保证质量的前提下将推理成本降低约 50%。
二、Tokenless 是什么？
Tokenless 是一个 AI 模型路由服务，提供与 OpenAI 和 Anthropic 兼容的 API 端点。你只需将代码中的 API 地址指向 Tokenless，它就会自动将每条请求路由到最合适的模型。
它的运作方式非常巧妙：
- Fan-out 并行推理：将同一条请求同时发送给多个候选模型（如 GPT-5.6、Claude Opus 5、Gemini 3.1 Flash-Lite、DeepSeek V4 Pro 等）
- 实时置信度评分：监控每个模型的输出流，实时计算每个模型”正在正确解决任务”的置信度
- 智能承诺机制：一旦某个模型的置信度超过阈值，立即锁定它的输出，取消其他模型的请求，你只支付这一个模型的费用
整套流程的开销仅为 ≤10ms 和千分之几美分，几乎可以忽略不计。
三、核心功能与模式
Tokenless 目前提供三种模式：
1. PRO 模式（旗舰模式）
在 TerminalBench 2.1 基准测试中，PRO 模式以 $0.32/任务 的成本达到了 72% 的解决率。相比之下，GPT-5.5 单独运行的解决率为 76%，但成本高达 $0.74/任务——Tokenless 节省了 57% 的成本，而质量仅下降 4 个百分点。
在 LiveCodeBench 上，PRO 模式同样以远低于 Opus 4.8 的成本，达到了接近的解决率。
2. MAX 模式
当质量优先于成本时，MAX 模式会将每条任务路由到当前可用的最佳模型。适合复杂推理、代码审查、架构设计等关键任务。
3. Ultra Saver 模式
针对简单任务，使用轻量级开源模型（如 Gemini 3.1 Flash-Lite），成本进一步降低。适合大批量、低复杂度的调用场景。
四、技术深度：路由层的训练与优化
Tokenless 的路由层并非简单的”启发式规则”，而是经过精心训练的 AI 模型。根据他们的技术博客，路由层的训练过程包括：
- 基础置信度模型：基于大量部分生成的语料库，训练一个模型来预测每个模型在当前状态下继续生成的成功概率
- 进化算法优化：使用进化算法迭代优化路由规则，每一代保留精英规则，淘汰低效规则，同时环境也在不断变化以确保泛化能力
- 情境感知路由：不仅看任务的描述，还看模型正在如何思考。例如，”解释字符串解析”在 Python 上下文中是简单任务，在 C 语言中则复杂得多——Tokenless 能感知这种差异
这种”让模型自己证明自己”的方法，比传统的基于提示词的路由（prompt-based routing）准确得多。传统方法用一个 LLM 来判断应该用哪个模型，但 LLM 本身不擅长估算置信度，而且又慢又贵。
五、缓存感知：一个被其他路由器忽略的关键问题
模型路由的一个常见疑虑是：频繁切换模型会不会丢失上下文缓存（KV cache）的优势，反而增加成本？
Tokenless 的答案是：不会。他们维护了每个供应商缓存状态的本地影子副本，路由决策时会将缓存命中率作为一个输入因素。如果某个供应商的缓存正热，Tokenless 会倾向于继续使用该供应商的模型。
他们还发现，同一模型在不同供应商（如直接调用 vs 通过 OpenRouter）的缓存状态可能完全不同——甚至同一供应商可能因负载而动态切换缓存策略。Tokenless 通过实时检测响应头来获取最准确的缓存状态。
六、市场定位与竞品对比
Tokenless 并非唯一在做模型路由的公司。市场上已有以下竞品：
| 产品 | 核心优势 | 局限性 |
|---|---|---|
| Tokenless | Fan-out 并行推理 + 实时置信度评分， 缓存感知路由，≤10ms 开销 |
新产品，生态尚在建设中 |
| OpenRouter | 模型种类最多（342+）， 支持 fallback 机制 |
手动选择模型，无智能路由 |
| Portkey | 可观测性强， 网关功能完善 |
路由逻辑较简单， 主要面向 observability |
| Helicone | 日志与监控成熟， 开源可用 |
无智能路由能力 |
Tokenless 的差异化在于其”fan-out + 置信度评分”的智能路由方法。它不是简单的”根据规则选模型”，而是让多个模型同时推理，实时评估谁在”正确思考”，再决定用谁的结果。这种”并行推理再择优”的策略，在理论上是当前最先进的模型路由方式。
七、使用体验与上手难度
Tokenless 的上手非常简单：
- 注册账号，获得 API Key
- 将代码中的 API 地址从
https://api.openai.com/v1改为https://api.usetokenless.com/v1 - 保持原有的请求格式不变，Tokenless 会自动路由
对于已经使用 OpenAI SDK 或 Anthropic SDK 的开发者，这基本就是”改两行代码”的事。兼容性方面，Tokenless 同时支持 OpenAI 和 Anthropic 的 API 格式，覆盖了绝大多数 AI 应用的调用方式。
八、适用场景与建议
适合使用 Tokenless 的场景
- 大规模 Agent 系统：每天执行数千次 API 调用的自动化 Agent，Tokenless 的 50% 成本节省非常可观
- 混合工作负载：既有简单任务（文件搜索、邮件分类）又有复杂任务（代码审查、架构设计）的应用
- 成本敏感型项目：预算有限但需要高质量输出的团队
可能不适合的场景
- 对延迟极端敏感：虽然 fan-out 开销只有 ≤10ms，但并行调用多个模型仍然会增加总延迟
- 需要使用特定模型的特殊功能：如 Claude 的 Artifacts 或 GPT-5 的特定工具调用
九、总结
Tokenless 代表了 AI 基础设施的一个重要方向：智能路由。随着模型种类的爆炸式增长（从开源到闭源，从轻量到前沿），人工选择”用哪个模型”已经变得不现实。一个能自动为每条请求匹配最合适模型的智能路由器，正在成为 AI 应用的标配基础设施。
Tokenless 的团队背景（Google DeepMind + Princeton + UC Berkeley + Y Combinator）和技术方案（fan-out 并行推理 + 置信度评分 + 缓存感知）都让人对它的前景充满期待。目前它仍在早期阶段，但已经展示了令人信服的性价比数据——在 TerminalBench 上以 57% 的成本节省换取了仅 4% 的质量下降。
对于正在大规模使用 AI API 的团队，Tokenless 值得一试。毕竟，如果能在不牺牲质量的前提下把推理成本降低一半，为什么要拒绝呢？
信息来源：Tokenless 官方网站（usetokenless.com）、HackerNews 社区讨论、GitHub 开源项目 PlanTrack。本文于 2026 年 7 月 30 日编写，产品和价格可能随时间变化，请以官方最新信息为准。