能力问题:大语言模型的技能是否与语言无关?
一项研究考察大语言模型在不同语言中是否具备相同能力,并将语言影响与知识水平及通用基准测试表现区分开来。在多语言自我对弈实验中,同一模型的两个实例分别使用不同语言,在六种文本游戏中对战。模型、规则、状态空间和可用行动均保持不变。研究人员在八种语言上评估了三个开放权重模型,发现模型的对战能力、无效行动数量和策略倾向会因语言不同而显著变化。空间推理、基于卡牌的决策以及最优行动选择中都出现了特定语言的失误。在部分情况下,仅改变中间推理所使用的语言,就能恢复相当一部分损失的性能。研究表明,语言导致的技能差异是构建真正多语言且公平的模型时一个可测量的重要障碍。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。