CulturalRiddles：多元文化谜语基准测试
随着大型语言模型覆盖更多语言，评估它们理解和呈现不同文化的能力变得愈发重要。CulturalRiddles 是一个由人类创作原创谜语构成的基准测试，涵盖 62 种文化、45 个国家和 51 种语言。解题需要溯因推理和组合推理，也需要文化、语言、事实及社会知识。在对 28 种 LLM 配置进行测试并开展大规模人工评估后，研究发现，即使是前沿模型，在部分社群中的准确率也不超过 22%。研究团队已公开所有材料，并开放社区贡献渠道以扩展基准测试。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。