MAServeBench：基于层级多智能体协作工作负载评测 LLM 服务系统
MAServeBench 是一套基准测试，用于评估多智能体系统生成的工作负载下的 LLM 服务系统。它以可配置的流程模拟专业智能体如何协作、交换上下文，并触发相互依赖的模型与工具操作。层级语义轨迹会记录实际执行的操作及其依赖关系，以支持可复现的比较。与任务关联的测量结果展示了这些工作负载对服务性能和 GPU/NPU 硬件的影响，也说明服务效率提高为何不一定能让任务更快完成。基准测试代码已在 GitHub 上提供。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。