Game Arena：在竞争环境中评估大语言模型的战略能力
Kaggle Game Arena 是一个开放且持续扩展的平台，通过竞技游戏评估大语言模型（LLM）。不同于静态基准测试，该平台让模型在结构化环境中直接对战，并可随着模型进步提高挑战难度，从而避免性能饱和。技术报告介绍了平台基础设施，以及三个试点游戏：国际象棋、扑克和狼人杀。这些游戏覆盖完全信息、不完全信息和多人对局，可用于系统研究模型的战略规划、适应能力以及在不确定性下的稳健性。报告还分别说明各游戏环境、评估指标和模型间完整竞赛的结果。平台通过可靠的基础设施和大规模、基于标准答案的评估，旨在保障可复现性和透明度，并支持扩展到新的游戏及变体。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。