跳到正文
原文
Simon Willison·· 7 天前AI 评分12

ttok 1.0 发布,默认切换至 GPT-5/GPT-6 分词器

ttok 1.0

AI 导读

ttok 1.0 版本发布,将默认分词器从 GPT-4 切换为 GPT-5/GPT-6。尽管 OpenAI 未正式确认,但实验数据显示 GPT-5 与 GPT-6 系列模型在测试语料中均报告 44,794 tokens 且匹配所有 fixtures,证实两者可能共用同一分词器。

来源:Simon Willison · simonwillison.net