AgentScope Benchmark Runner

安装指南

1. ClawHub CLI 从源直接安装技能的最快方式。
   npx clawhub@latest install agentscope-benchmark-runner
2. 手动安装 将技能文件夹复制到以下位置之一
   全局模式
   ~/.openclaw/skills/
   工作区
   /skills/
   优先级：工作区 > 本地 > 内置
3. 提示词安装 将此提示词复制到 OpenClaw 即可自动安装。
   请帮我使用 Clawhub 安装 agentscope-benchmark-runner。如果尚未安装 Clawhub，请先安装（npm i -g clawhub）。
   更倾向于下载？
   获取包含原生技能文件的ZIP压缩包。
   下载技能 (.zip)

什么是

AgentScope Benchmark Runner 可生成场景配置和运行脚本，用于对 AgentScope 2.0 agent 和 pipeline 进行可复现的性能测试。它可帮助开发者测量单次请求延迟、并发吞吐量、估算 token 使用量，并比较不同提示词或模型版本。
作为用于 agent 评估的 Openclaw Skills 工具，它会生成 JSON 或 CSV 结果，可用于分析基准版本与变体版本的运行情况。生成的配置使用占位 API 密钥，而非硬编码密钥；分享前请检查结果文件，因为其中可能包含提示词文本。

应用场景

测量单个 AgentScope agent 的响应延迟。
测试并发请求下 pipeline 的吞吐量。
估算基准测试场景的 token 使用量。
将模型或提示词版本与基准版本进行比较。
开发 AgentScope agent 时创建可重复的性能检查。
以 JSON 或 CSV 格式分析基准测试输出。

工作原理

选择受支持的场景：latency、throughput 或 compare。
运行生成器，在所选输出目录中创建基准测试场景文件和运行脚本。
为实时模型基准测试配置服务提供商凭据；可使用可选的 OPENAI_API_KEY 和 AGENTSCOPE_MODEL 变量进行配置。
在输出目录中运行生成的 run_benchmark.py 脚本。
检查生成的 JSON 或 CSV 结果，以评估性能或比较基准版本与变体版本。

配置指南

确保已安装 Python 3。如果尚未安装 AgentScope，请进行安装：
pip install agentscope
在 skill 文件夹中，选择输出路径和场景以生成基准测试文件：
python3 scripts/generate_benchmark.py --output /path/to/benchmarks --scenario latency
支持的场景为 latency、throughput 和 compare。对于特定模型或实时基准测试，请配置相应的服务提供商凭据。OPENAI_API_KEY 为可选项，AGENTSCOPE_MODEL 可用于指定可选的默认模型。
切换到生成的目录并运行基准测试：
cd /path/to/benchmarks
python run_benchmark.py
如果高并发运行遇到速率限制，请酌情调整 --concurrency。请将结果文件视为可能包含敏感信息，因为其中可能含有提示词文本。
AgentScope Benchmark Runner 数据架构与分类体系
该 skill 会在通过 --output 指定的输出目录中生成以下文件：
产物 用途
基准测试场景文件 配置生成的基准测试场景。
run_benchmark.py 运行生成的基准测试。
JSON 或 CSV 结果 记录基准测试输出，供分析使用。
场景类型包括 latency（单次请求延迟）、throughput（并发请求吞吐量）和 compare（提示词或模型版本比较）。SKILL.md 未说明生成的配置文件和结果文件所包含的字段或确切架构。配置使用占位 API 密钥；结果可能包含提示词文本，因此分享前请先检查。

高级特性

支持对单 agent 和 pipeline 工作负载进行可重复测量。
compare
场景，支持比较不同提示词或模型的基准版本与变体版本。
提供并发吞吐量测试；高并发可能触发服务提供商的速率限制。
将结果导出为 JSON 或 CSV，以供后续分析。
使用占位 API 密钥，避免在生成的基准测试配置中保存密钥。

name: agentscope-benchmark-runner description: Run benchmarks against AgentScope 2.0 agents and pipelines. Use this when the user wants to measure latency, throughput, token usage, or compare model/prompt performance in a reproducible way. version: 0.1.0