“英语（美国）”如何成为默认选项？研究揭示大语言模型对美式英语的结构性偏向
一项研究探讨大语言模型为何偏好美式英语而非英式英语。研究人员比较了1,813组英美英语表达，并分析训练数据、分词器、预测成本及生成文本。在受审查的6个预训练语料库和21个后训练数据集中，美式英语均占优势。分词器通常能更紧凑地表示美式英语，模型对其预测成本也更低。即使使用中性的英语提示，生成内容仍以美式英语为默认。研究指出，这种结构性语言偏向可能导致语言同质化，并加剧全球人工智能部署中的不平等。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。