原文跳转提示
此资讯内容来源于外部网站,将在 60 秒后自动跳转到原文页面
https://www.techmeme.com/261027/p13#a261027p13
立即前往原文

研究:非英语语言可能消耗多得多的 AI 令牌

一项研究发现,某些语言在由 AI 模型处理时所需的令牌数量,是其他语言的 1.5 至 5 倍。这种所谓的“分词器税”会提高使用成本,并减少使用这些语言的人可获得的上下文容量。
行业资讯 行业新闻 伦理与安全 研究 2026-10-27 21:01:03 953 阅读 阅读约 1 分钟 来源:Techmeme
本文来源:Techmeme,仅供学习参考,版权归原作者所有。