研究称 AI 模型的 Token 消耗因语言而异，最高相差 17 倍
人工智能语言公平研究联盟的一项研究发现，AI 模型处理相同任务时，所需 Token 数量可能因语言而大幅不同。在使用人数最多的 20 种语言中，消耗量相差 1.5 至 5 倍；扩大到 200 种语言后，某个模型的差距最高达到 17 倍。Token 消耗更多会增加费用、拖慢响应，并减少可用上下文容量，尤其影响资源较少的语言和计算能力有限的地区。研究人员认为，原因包括分词器主要针对英语等数据丰富的语言优化，以及高质量数字语言数据不足。他们呼吁公布不同语言的成本与性能评估，并改进分词器设计。
本文来源：IT之家，仅供学习参考，版权归原作者所有。