Techmeme·· 19 天前AI 评分22
研究：非英语语言消耗的 AI token 远多于英语，最贵语言是最便宜语言的 1.5 至 5 倍，形成“tokenizer 税”
Study: non-English languages can consume far more AI tokens, with the most expensive language using 1.5x to 5x more than the cheapest, causing a "tokenizer tax" (Ananya Bhattacharya/Rest of World)
AI 导读
一项研究显示，非英语语言消耗的 AI token 远多于英语，最贵语言所用 token 是最便宜语言的 1.5 至 5 倍，形成“tokenizer 税”。不同语言在分词效率上的差异直接推高了非英语用户的使用成本。
来源：Techmeme · techmeme.com