Jev AI Model Evaluator

安装指南

1. ClawHub CLI 从源直接安装技能的最快方式。
   npx clawhub@latest install jev-ai-model-evaluator
2. 手动安装 将技能文件夹复制到以下位置之一
   全局模式
   ~/.openclaw/skills/
   工作区
   /skills/
   优先级：工作区 > 本地 > 内置
3. 提示词安装 将此提示词复制到 OpenClaw 即可自动安装。
   请帮我使用 Clawhub 安装 jev-ai-model-evaluator。如果尚未安装 Clawhub，请先安装（npm i -g clawhub）。
   更倾向于下载？
   获取包含原生技能文件的ZIP压缩包。
   下载技能 (.zip)

什么是

Jev AI Model Evaluator 帮助你针对具体任务比较候选 AI 模型，而不是仅依赖宽泛的声明或基准测试分数。定义加权标准，固定具有代表性的测试集，采用一致的设置，并权衡质量、成本、延迟和风险，同时明确呈现必须通过的检查项。
这项以文本为主的技能还可连接到可选的确定性、只读 MCP 服务器，用于评估规划、透明排名、声明审核，以及获取 Jev AI Model 的规范资源。它不会调用模型、访问账户、消耗额度、获取私人数据，也不会在缺少可检查的用户提供证据时选出胜者。Openclaw Skills 用户可以使用它，让模型选择决策更具可复现性，也更易于审查。

工作原理

设计可复现的基准测试，涵盖常规、边缘、模糊、对抗性和失败案例。
在评估质量的同时考虑成本、延迟、可用性和部署限制。
审核提供商声明、第三方基准测试或用户报告，同时避免混淆不同类型的证据。
对高风险任务的模型进行评估，并采用领域专家审查和明确的安全检查。
当证据不完整时给出暂定建议，而不是凭空捏造一个确定的胜者。

工作原理

明确真实任务、预期输出、目标语言或地区、部署限制、可接受的成本和延迟，以及风险等级。
选择加权评估标准，并确定必须单独考量、不能与平均分混为一谈的必过检查项。
固定具有代表性的测试集，并对每个候选项使用相同设置，涵盖常规、边缘、模糊、对抗性和失败案例。
记录候选项版本、参数、评估日期、延迟、错误、拒绝响应和观察到的输出。
将提供商声明、第三方基准测试、可复现测试结果和用户报告分别记录；核实当前版本、价格、限制、地区、延迟和可用性。
可选择使用 MCP 工具制定计划、根据用户提供的 0–5 分评分计算分数、审核声明或检索公开资源。
返回可检查的报告，涵盖任务、数据集、设置、标准、必过检查项、候选项、证据、分数、失败情况、建议和后续核验事项。

配置指南

该技能默认采用纯文本工作流程。若要启用可选的 stdio MCP 服务器，请使用以下命令将其添加到 OpenClaw：
openclaw mcp add jev-ai-model
--command npx
--arg -y
--arg github:gpt-img-2/jev-ai-model-evaluation-mcp
--include 'design_model_evaluation,rank_model_candidates,audit_model_claims,get_jev_ai_model_resources' 设置完成后，探测连接：
openclaw mcp doctor jev-ai-model --probe
如果已安装的 OpenClaw 版本不提供该命令组，请在 MCP 设置中将 npx -y github:gpt-img-2/jev-ai-model-evaluation-mcp 添加为 Stdio 服务器。MCP 是可选的、确定性的且只读的。除非模型或 MCP 工具确实运行过，否则不要声称它们运行过。

数据架构

该技能规定了一份可检查的评估报告，而不要求特定文件格式或自动存储系统。请将固定的测试集和记录的结果保存在由你的工作流程管理的位置。
报告字段 需要记录的内容
任务 具体任务和预期输出
数据集 固定的测试集，包括案例类型以及相关语言或地区
设置 共用参数和评估日期
标准 质量、成本、延迟和风险等加权指标
必过检查项 必需的安全或任务检查，需与平均分分开跟踪
候选项 模型及其版本
证据 来源、日期和类型，例如提供商声明、第三方基准测试、可复现测试或用户报告
分数 透明的评分和计算得出的比较；MCP 排名使用用户提供的 0–5 分评分
失败情况 错误、拒绝响应、未通过的测试案例以及未通过的必过检查项
建议 由现有证据支持的决策；必要时包括暂定结果
后续核验 需要重新核实的事项，例如当前价格、可用性、限制或版本
未规定自动生成数据集、写入文件、访问私人数据或调用模型。可选的 MCP 会返回计划、排名、审核结果以及 Jev AI Model 的公开资源链接。

高级特性

design_model_evaluation
创建加权评估计划和数据集检查清单。
rank_model_candidates
根据用户提供的 0–5 分评分计算透明分数，并保留未通过的必过检查项，而不是将其隐藏在平均分中。
audit_model_claims
检查来源、日期、证据类型和缺乏依据的绝对化声明。
get_jev_ai_model_resources
返回 Jev AI Model 的规范公开页面。
采用一致的候选项设置和固定的测试集，支持可复现的比较。
将基准测试结果与提供商声明、用户报告和可复现测试区分开来；结论仅限于实际评估过的任务、数据集、设置和日期。
支持风险导向的评估，并对高风险工作采用领域专家审查和明确的安全检查。
可选的 MCP 具有确定性且只读；它不会调用模型、访问账户、消耗额度、获取私人数据，也不会在缺少可检查的用户提供证据时选择模型。

name: jev-ai-model-evaluator description: Plan reproducible AI model evaluations, compare candidates with transparent criteria, and audit model claims. Use for model selection, benchmark design, API model comparisons, playground testing, cost-latency-quality tradeoffs, and Jev AI Model workflows; do not generalize small tests or provider claims into universal superiority.