热点事件历史事件
ttok 1.0发布，默认切换至GPT-5/6 tokenizer
1 篇报道1 个报道来源7 天前更新
先了解这件事
AI 综述
2026年10月9日，Simon Willison宣布ttok 1.0版本正式发布。此次更新的核心变化是将默认分词器从GPT-4切换为GPT-5/GPT-6。尽管OpenAI官方尚未正式确认这一变更，但根据实验数据，GPT-5与GPT-6系列模型在测试语料中均报告了相同的token数量（44,794 tokens），并且完全匹配所有fixtures。这些技术细节证实了GPT-5和GPT-6可能共用同一分词器的事实，从而推动了ttok工具链的相应升级以适配新的模型标准。
AI 根据报道生成 · 6 天前更新
最新进展10月9日 08:34
ttok 1.0发布，默认分词器由GPT-4切换至GPT-5/GPT-6，实验证实两者共用同一分词器。报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- Simon Willisonttok 1.0 发布，默认切换至 GPT-5/GPT-6 分词器
ttok 1.0 版本发布，将默认分词器从 GPT-4 切换为 GPT-5/GPT-6。尽管 OpenAI 未正式确认，但实验数据显示 GPT-5 与 GPT-6 系列模型在测试语料中均报告 44,794 tokens 且匹配所有 fixtures，证实两者可能共用同一分词器。
本事件热度走势
当前热度 3·可比范围峰值 9（10月9日 13:00）·近 24 小时可比范围变化 -51%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。