通过长尾表现评估大语言模型的创造力
大语言模型创造力基准在任务和评测指标上差异很大。本研究提出，可将它们共同衡量的目标定义为模型在文本输入与输出参考分布长尾区域中的任务表现。研究人员评估了15个基准和26个开放权重模型，并以预训练数据中未出现的n元语法作为新颖性的代理指标。创造力基准比标准基准更深入分布的尾部区域；在尾部程度较高的子集上，模型排名也更符合LM-Arena中的人类创造力判断。研究还提出成本较低的诊断指标q@Tail(α)，用于衡量现有基准尾部样本上的平均任务质量。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。