Simon Willison·· 7 天前AI 评分12
ttok 1.0 发布,默认切换至 GPT-5/GPT-6 分词器
ttok 1.0
AI 导读
ttok 1.0 版本发布,将默认分词器从 GPT-4 切换为 GPT-5/GPT-6。尽管 OpenAI 未正式确认,但实验数据显示 GPT-5 与 GPT-6 系列模型在测试语料中均报告 44,794 tokens 且匹配所有 fixtures,证实两者可能共用同一分词器。
来源:Simon Willison · simonwillison.net