AgentScope 模型比较

安装指南

1. ClawHub CLI 从源直接安装技能的最快方式。
   npx clawhub@latest install agentscope-model-compare
2. 手动安装 将技能文件夹复制到以下位置之一
   全局模式
   ~/.openclaw/skills/
   工作区
   /skills/
   优先级：工作区 > 本地 > 内置
3. 提示词安装 将此提示词复制到 OpenClaw 即可自动安装。
   请帮我使用 Clawhub 安装 agentscope-model-compare。如果尚未安装 Clawhub，请先安装（npm i -g clawhub）。
   更倾向于下载？
   获取包含原生技能文件的ZIP压缩包。
   下载技能 (.zip)

什么是

AgentScope Model Compare 可帮助开发者通过向多个已配置的聊天模型发送同一任务，评估适用于 AgentScope 2.0 的模型。它会报告实用的比较数据，包括延迟、Token 数量、输出长度，以及每个模型是成功完成还是失败，以便你为代理任务做出更明智的选择。
作为用于模型评估的 Openclaw Skills 之一，它使用环境配置中的 API 密钥，而不是将凭据硬编码。必须配置 OpenAI；DashScope 支持为可选项。API 使用可能会产生费用。

应用场景

在为 AgentScope 代理选择模型之前比较候选 LLM。
检查不同模型如何处理相同的提示或任务。
在响应速度与 API 用量之间权衡时，查看延迟和 Token 用量。
找出未能完成共同任务的模型。
快速比较已配置模型的输出长度和风格。

工作原理

配置必需的 OpenAI API 密钥，并可选配置 DashScope API 密钥。
向比较脚本提供任务提示。
脚本会在多个已配置的 AgentScope 聊天模型上运行同一任务。
脚本会记录每个模型的延迟、Token 数量、输出长度以及完成或失败状态。
脚本会在终端中打印比较表，供你查看。

配置指南

Python 3（python3）
OpenAI 模型所需的 OPENAI_API_KEY
Alibaba Cloud 模型可选的 DASHSCOPE_API_KEY
该技能会从 .env 文件读取 API 密钥，该文件已加入 gitignore。请将密钥添加到该文件中，不要提交机密信息。技能文档未指定单独的软件包安装命令。
运行比较
在技能文件夹中运行：
python3 scripts/compare_models.py --task "将以下内容翻译成中文：Hello world"
脚本会打印比较表。API 调用可能会产生费用，因此必要时请限制并发调用。
AgentScope 模型比较 数据架构与分类体系
输入和配置
项目 用途 要求 --task 发送给模型的共享提示或任务 运行示例命令时必需 OPENAI_API_KEY OpenAI 模型的 API 访问凭据 必需
DASHSCOPE_API_KEY Alibaba Cloud 模型的 API 访问凭据 可选
比较输出
脚本会打印一个终端表格，列出各模型的结果，包括延迟、Token 数量、输出长度以及完成或失败状态。技能文档未指定持久化输出文件或其他结果架构。
技能元数据
该技能名为 agentscope-model-compare，版本为 0.1.0，并声明 python3 为必需的可执行程序。其元数据将 OPENAI_API_KEY 标识为主要环境变量。

高级特性

在多个已配置的 AgentScope 聊天模型上运行相同任务，以实现更一致的比较。
同时报告多项评估指标：延迟、Token 用量、输出长度以及完成或失败状态。
除必需的 OpenAI 密钥外，还支持可选的 DashScope API 密钥。
从已加入 gitignore 的
.env
文件读取 API 密钥，避免将凭据写入源代码。
让开发者清楚了解权衡因素，以便监控 API 用量和潜在费用。

name: agentscope-model-compare description: Compare multiple LLM models for use with AgentScope 2.0. Use this whenever the user wants to evaluate models, benchmark responses, or choose the best model for their agent task. version: 0.1.0