研究：非英语语言使用 AI 模型成本更高，存在"tokenizer 税"

语言公平性研究联盟（CLEAR）上月发布的研究发现，AI 模型处理部分语言所需的 token 远多于英语，形成隐藏的"tokenizer 税"。在互联网最流行的 20 种语言中，最贵语言所用 token 是最便宜语言的 1.5 至 5 倍；扩展到 200 种语言后，单一模型的 token 成本差距扩大到 17 倍。