👁 285 次阅读
Reddit上常年有一类抱怨：本地跑的量化模型『变笨了』，明明参数没少，用起来却像被削了一刀。这种抱怨到底成不成立？波兰工程师Piotr Migdał在Quesma博客上给出的答案相当克制——他用真金白银烧掉约3000美元GPU算力，把Unsloth的Qwen3.8 27B四个量化版本逐一在真实基准上跑了一遍，把本地大模型的质量临界线第一次画得足够清楚。
一、先说清测了哪几档
全精度BF16模型体积55GB，27B参数级对消费级显卡基本无缘。Unsloth提供的量化阶梯是：Q8_0（29GB）、Q4_K_M（17GB）、UD-Q2_K_XL（10.7GB）、UD-IQ1_S（6.2GB，最小可用档）。测试基准三项：GPQA Diamond（研究生级科学问答）、IFBench（指令遵循）、Terminal-Bench 2.1（89个智能体编程任务）。全程llama.cpp，KV缓存固定F16，作者先用BF16复现了官方结果才动量化，这一步很关键——很多『量化变笨』的结论其实来自基准本身没跑对。
| 量化版本 | 磁盘体积 | GPQA Diamond | IFBench | Terminal-Bench 2.1 |
|---|---|---|---|---|
| BF16（全精度） | 55 GB | 官方基线 | 官方基线 | 官方基线 |
| Q8_0（8-bit） | 29 GB | ≈BF16 | ≈BF16 | （作者未跑，可线性插值） |
| Q4_K_M（4-bit） | 17 GB | ≈BF16 | ≈BF16 | ≈BF16 |
| UD-Q2_K_XL（2-bit） | 10.7 GB | 略降 | ≈BF16 | 明显下降，约Opus 4.7级 |
| UD-IQ1_S（1-bit） | 6.2 GB | 随机猜测水平 | 崩盘 | 崩盘 |
二、4-bit为什么『无感』
结论直给：Q4_K_M 17GB，在Terminal-Bench 2.1上与BF16打平。它塞得进24GB的RTX 4090，还留出约64k tokens上下文空间。IFBench更夸张——一路降到2-bit（不到11GB）都看不出差异。作者自己说，这是他此前测Qwen3.6 27B时没想到的结论：社区把『量化必损』当成了铁律，但损失是非线性的，先有『无变化』，再有『小幅下降』，最后才是『崩盘』。4-bit落在无变化那一档。
但过程不免费。2-bit的UD-Q2_K_XL虽然解题轮数与BF16相当，输出token却多出约四分之一——同样的答案，它写得更啰嗦，长上下文场景下推理时间会被放大。2-bit也不是废铁：作者对比后认为它的编程能力大约落在Claude Opus 4.7或Gemini 3.1 Pro的水平，离第一梯队远，但离『不可用』更远。
三、1-bit为什么是硬崩盘
到了1-bit，UD-IQ1_S的GPQA Diamond分数掉到随机猜测水平，最小的那档甚至低于随机猜测。更微妙的是推理强度（effort）参数——默认是xhigh，需要约8k reasoning tokens才能拿到最佳分数；而1-bit模型在xhigh下反而比low档更差，因为模型经常把token预算想空了，最后返回空答案。Unsloth宣传1-bit保留了72%的top-1准确率、体积缩小89%，但作者指出：剩下那28%恰恰是决定它能不能用的部分。这与r/LocalLLaMA上Qwen3.8 27b 1bit脑损伤的实测帖吻合。
HN评论区（150分，219条讨论）里，读者的兴趣点高度集中在3-bit灰区：作者在图表中没测这一档，被指出16GB以下显卡（5060 Ti、5070 Ti、5080）正卡在这条线上，需要看到质量拐点到底在哪。已有用户在AMD RX 9070 XT上跑Q3量化配32k上下文，32 tokens/秒，反馈『很强』。另有社区提供动态3-bit方案GSQ-RCO-GGUF和3-bit的Qwopus，声称比2-bit更快，等待验证。作者也提醒：KV缓存对量化更敏感，可能还要单独再测。
四、今天其他几条
Google DeepMind AlphaGenome Atlas（HN 377分）：DeepMind发布基因组学图谱产品，社区讨论集中在Isomorphic Labs的商业化路径与非商用条款上。官方博客为JS渲染，细节待官方说明。
ChatGPT Images 2.5（HN 178分）：OpenAI新版图像生成模型，官方页返回403未能直接核实功能清单，仅记录发布事件。
Meta Muse个人AI智能体（HN 76分）：据HN描述，可代发邮件、预订行程的个人助理。
五、趋势
端侧大模型正在从『能跑』过渡到『跑得值』。4-bit无感、1-bit崩盘这条临界线，意味着消费级24GB显卡已经能拿到接近全精度的27B能力——对推理成本敏感的团队，自建+量化的路线比继续加堆GPU更实际；对模型厂商，『体积缩水90%』这种宣传口径已经站不住脚，用户只看任务完成度。作者那句『量化应该被拥抱，而不是被恐惧』，比大多数厂商发布会都更接近真相。