Business Arena：在真实市场中评测大语言模型智能体
Business Arena 是一个用于评估 AI 智能体复杂商业运营能力的受控测试环境。智能体需要长期经营一家跨境商店，从供应商采购商品并销售给客户。该环境采用 Alibaba.com 的真实采购数据，以及根据权威来源校准的市场条件。评估不仅关注利润，还分析采购、定价、客户服务和问题恢复等技能，并追踪具体行动对收益和损失的影响。在对 15 个前沿模型的评测中，各模型的平均最终净资产相差达 9 倍。即使表现最好的模型也落后于人类设计的策略。结果表明，让大语言模型智能体端到端运营企业仍然具有很高难度。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。