Reddit · r/artificial· /u/ClickOk5811·· 22 天前AI 评分22
小测验：字符、单词和 token 是衡量文本长度的不同单位，LLM 限制用的是 token
Quiz: characters, words and tokens are different measures of text length, and LLM limits use tokens
AI 导读
一份关于 LLM 文本长度的小测验指出，同一句话在英语、葡萄牙语或日语中使用的 token 数并不相同，tokenizer 训练分布不同会导致非英语文本被切分成更多 token。
来源：Reddit · r/artificial · reddit.com