👁 120 次阅读
10月3日，一个名为Strata的项目在Hacker News拿到428分，标题很朴素：『在一块RTX 4090上，100 tokens每秒跑Qwen3.8-Flash-Next』。1250亿参数、需要上百GB显存的MoE大模型，被装进一台能玩游戏的电脑。GitHub上10514颗星、926次fork、MIT协议，9月24日创建，十天后成了社区讨论最热的本地推理方案之一。这不是又一个README，这是把消费级硬件的极限往外推了一格。
这是怎么做到的
Qwen3.8-Flash-Next由24576个专家组成，但每个token只需要激活其中10个。Strata没有试图把模型塞进显卡，而是把它当成一家厨房：最常用的专家放在GPU的料理台上，全部24576个留在RAM里，一份大查表放在SSD上，处理器同时处理剩余部分。再配一个『猜测-校验』机制——小模型先猜接下来几个词，大模型一次性校验，作者说这能让同样的答案快1.6到1.8倍。长文本按每批8192个token读取，超过1000 tokens每秒。
硬件门槛比你想的亲民：12GB以上显存，32GB以上内存，约80GB磁盘。RTX 20/30/40/50系，AMD的RX 7900、RX 7800、RX 9060、RX 9070系列，Windows或Linux，双击一个bat文件。启动时内存占用35到55GB，头几分钟电脑会卡住，这是正常的。
速度的真实差距
作者给出的两组官方数据，是这篇文章最值得抄下来的部分：
| 尺寸 | RTX 5070 12GB + 64GB内存 | RX 9070 XT 16GB + 47GB内存 |
|---|---|---|
| Q2_0（最快） | 94 tok/s，预填充2650 tok/s | 60 tok/s，预填充1160 tok/s |
| IQ3_S（最强） | 53 tok/s，预填充1620 tok/s | — |
| Coder（32GB可用） | 55 tok/s，预填充2180 tok/s | 44 tok/s，预填充1420 tok/s |
标题写100T/s并不夸张，来自4090加128GB内存的社区实测：124 tokens每秒，发帖人是项目作者本人。作者还标注，24GB的RTX 3090大约能写100到140 tokens每秒。对比之下，35B到70B的4-bit量化模型在16GB卡上通常只有20到40 tokens每秒。同一个答案，速度差了三倍。
但你付了什么
社区里最清醒的两个声音，值得直接引出来。
第一个是速度换质量的代价。有人指出：下探到2比特量化，而Coder版本还砍掉了整整一半的MoE专家。用他的话说：在『什么都比没有强』的世界里这是净收益，但差距依然不小。README自己也承认，Coder达到完整模型SWE-bench Verified得分的91%，而且中文等非CJK文本表现更弱。32GB内存的用户几乎没有选择，只能拿这个缩水版。
第二个是视觉能力的真实窟窿。一位用户做了50张图片的定位基准，任务是输出目标物体的精确坐标。同一套GGUF权重和视觉适配器，在llama.cpp上运行，中位误差46.5像素；在Strata上跑，中位误差154.8像素。他给了一句很重的结论：视觉性能上的差距，相当于从9B模型跳到35B模型。他停在temp=0没有继续测，因为他『这些结果完全符合预期』。也就是说，Strata目前的视觉通路，是可以用但不可靠的。
还有人不满意架构本身：为什么这种专家缓存的优化不能直接进llama.cpp主分支，而要另起一个代码库？还有人直接说『2比特量化，不感兴趣』，并给出自己的参照——租一张RTX Pro 6000，约1美元一小时，4-bit量化下能跑到每小时120万输出token和4000万输入token，质量足够应付范围明确的编码任务。
怎么选
64GB内存以内，别碰UD-Q4_K_XL，它大部分权重要从SSD读，64GB机器上只有7到8.5 tokens每秒。32GB内存选Coder；48到64GB选IQ2_XS或Q2_0；96GB以上才考虑IQ3_S或Unsloth的UD-IQ4_XS。想要中文质量好，就避开Coder，选保留全部专家的Q2_0或IQ2_XS。
工程体验是加分项：本地起OpenAI兼容端点，base URL填127.0.0.1:8080/v1，任意API key和模型名都能用；Anthropic系应用填/v1/messages，Claude Code设一行ANTHROPIC_BASE_URL就能接；Codex CLI走/v1/responses。默认单请求串行，想并发要手动设parallel为2，代价是12GB卡上每个答案都变慢。另外它还配了MCP服务，让AI编码助手自己装自己。
其他几个热点
Anthropic在劝教皇：AI可能是有意识的存在
英国每日电讯报10月2日的报道里，这条线拿到了57分、91条评论。一家做安全对齐研究的公司在向梵蒂冈做AI意识游说——这件事本身的意味，比结论更值得琢磨。
OpenAI安全负责人辞职，公开警告文化已经『坏了』
卫报10月3日报道，Hacker News上267分、620条评论。安全负责人从内部走掉并留下公开指控，这和Anthropic那条线恰好是从两端撞向同一个问题。
Pop!_OS禁止AI生成代码进入大量代码库
System76在自家操作系统的相关仓库里全面禁止AI生成代码，115分、164条评论。当AI代理的可靠性争议还在桌面上时，一家发Linux发行版的公司在用准入规则给自己买保险。
Rodin博物馆3D扫描判决落槌
295分、167条评论。数字复制品的法律边界，终于有了一个法院背书的答案。
小结
Strata真正的贡献，不是那124 tokens每秒，而是它把『本地能不能跑』这个问题的答案从『不能』改成了『能，但有明确代价』。显存不再是唯一门槛，内存和固态硬盘被真正拉进了推理路径。代价同样清晰：2比特量化的质量折损，Coder版本丢掉一半专家，以及一个视觉基准暴露出来的、相当于两个模型代际的定位误差。它不完美，但它诚实地把每一条限制写进了README。这已经比大多数演示稿诚实得多。