👁 107 次阅读
📅 2026 年 7 月 23 日 AI 行业热点：GigaToken
GigaToken 发布：比 HuggingFace 快 1000 倍的 Tokenizer，重新定义 AI 数据预处理速度
2026 年 7 月 23 日，一个名为 GigaToken 的开源项目在 Hacker News 上引发了广泛关注。这个由研究者 Marcel Rödel 发布的 tokenizer 号称比 HuggingFace 的 tokenizers 快约 1000 倍，而且可以作为现有代码的”即插即用”替代品。
一、什么是 GigaToken？
GigaToken 是一个用 Rust 编写的高性能 tokenizer，专门为大规模语言模型训练和推理中的数据预处理优化。它支持几乎所有主流 tokenizer 格式，包括 GPT-2、Llama 3、Qwen 3、GLM 5、Phi-4 等，并提供三种使用方式：
- 兼容模式（HuggingFace）：用 gt.Tokenizer(hf_tokenizer).as_hf() 一行代码替换现有代码
- 兼容模式（Tiktoken）：用 .as_tiktoken() 替代 OpenAI 的 tiktoken
- 原生 API（最快）：直接从文件读取数据，跳过 Python 层开销
安装只需要 pip install gigatoken，与现有训练和推理管线无缝集成。
二、性能数据有多惊人？
在双路 AMD EPYC 9565 72 核处理器（共 144 核）上使用 OpenWebText 训练集（11.9 GB）的测试结果显示：
GPT-2 tokenizer：GigaToken 达到 24.53 GB/s，而 HuggingFace 仅 24.8 MB/s、tiktoken 仅 36.0 MB/s——加速比高达 989 倍和 681 倍。
其他模型的加速比同样惊人：
- Phi-4：24.00 GB/s，比 HuggingFace 快 801 倍
- Qwen 3：22.16 GB/s，比 HuggingFace 快 648 倍
- Llama 3 系列：22.15 GB/s，比 HuggingFace 快 457 倍
- GLM 5：20.97 GB/s，比 HuggingFace 快 280 倍
需要强调的是，HuggingFace tokenizers 和 tiktoken 本身就是用 Rust 编写并已进行过多线程优化的。GigaToken 在此基础上再提升两个数量级，这意味着 tokenization 不再是大型训练任务中的瓶颈。
三、为什么 tokenization 速度如此重要？
在如今的 AI 大模型训练中，数据预处理往往占据了相当一部分时间。当训练数据集达到数 TB 甚至数十 TB 级别时，tokenization 速度的差异直接转化为天级别的训练时间差和 GPU 空闲成本。
对于一个训练需要数千万美元的大模型来说，将数据预处理时间从几天缩短到几十分钟，意味着 GPU 集群可以更早开始训练、更高效利用，直接节省数百万美元的计算资源。
GigaToken 的出现对以下场景尤其有意义：
- 大规模预训练：每天需要处理 TB 级文本数据时，tokenization 速度直接影响训练 pipeline 的吞吐量
- 数据管道迭代：在探索式数据分析和数据清洗中，快速 tokenize 可以大幅缩短实验周期
- 实时推理系统：低延迟 tokenization 对生产环境中的端到端响应时间有直接贡献
四、技术实现亮点
GigaToken 之所以能实现如此极致的性能，主要得益于几个设计决策：
- 零拷贝的文件读取：原生 API 直接在 Rust 层读取文件数据，避免 Python 层的数据传递开销
- 极致并行化：充分利用现代 CPU 的多核架构，尤其是 AMD EPYC 和 Intel Xeon 等大核心数处理器
- 延迟优化的内存管理：采用了针对 tokenization 工作负载定制的内存分配策略
- 输出精确匹配：虽然兼容模式带来一定性能损失，但保证了与 HuggingFace 和 tiktoken 输出完全一致
五、开源和社区反响
GigaToken 已开源在 GitHub（github.com/marcelroed/gigatoken），发布后迅速获得了 500+ Hacker News 热度。社区反馈热烈，不少 AI 工程师表示这是”2026 年最实用的开源项目之一”。
一些用户注意到，当通过 Python 传递数据结构时仍存在一定开销，项目作者建议在极致性能场景下使用原生 API 直接从文件读取。这提醒我们，虽然 GigaToken 大幅加速了 tokenization，但要达到标称性能仍需要合理的使用方式。
总结
GigaToken 的出现是 AI 基础设施领域的一次重要进步。它不是一个新的模型架构，也不是一个花哨的应用，而是让所有人——无论你在训练下一个 GPT-5 还是在微调一个小型专业模型——都能更快地完成数据预处理。这种底层效率的提升，往往比上层应用的创新带来更广泛的影响力。
对于每一位进行 LLM 训练的工程师来说，今天就可以用一行 pip install 体验到千倍加速，这本身就是技术普惠的最好例证。
🔗 原文链接：GigaToken GitHub | Hacker News 讨论