Jev Pipeline

Jev Pipeline 帮助开发者将适用的标签、评分和是/否 LLM 调用替换为可测试和校准的类型化 Jev 问题。

vicfei
2026年10月11日
0 收藏
45 下载

安装与下载

1 ClawHub CLI

从源直接安装技能的最快方式。

npx clawhub@latest install jev-pipeline

2 手动安装

将技能文件夹复制到以下位置之一

全局模式 ~/.openclaw/skills/
工作区 {'/skills/'}

优先级:工作区 › 全局 › 内置

3 提示词安装

将此提示词复制到 Openclaw 即可自动安装。

请帮我使用 Clawhub 安装 skill-jev-pipeline。如果尚未安装 Clawhub,请先安装(npm i -g clawhub)。

更倾向于下载?

获取包含原生技能文件的ZIP压缩包。

下载技能 (.zip)

基本信息

名称 Jev Pipeline
Slug jev-pipeline
创建者 vicfei
创建时间 2026-10-11 05:52:49
更新时间 2026-10-11 05:52:49
收藏数 0
使用量 45
浏览量 2

安装指南

  1. ClawHub CLI 从源直接安装技能的最快方式。
    npx clawhub@latest install jev-pipeline
  2. 手动安装 将技能文件夹复制到以下位置之一
    全局模式
    ~/.openclaw/skills/
    工作区
    /skills/
    优先级:工作区 > 本地 > 内置
  3. 提示词安装 将此提示词复制到 OpenClaw 即可自动安装。
    请帮我使用 Clawhub 安装 jev-pipeline。如果尚未安装 Clawhub,请先安装(npm i -g clawhub)。
    更倾向于下载?
    获取包含原生技能文件的ZIP压缩包。
    下载技能 (.zip)

什么是

Jev Pipeline 是一种实用工作流,可在代码库中查找决策型 LLM 调用,并判断 Jev(TypeSafe System One)是否适用。它引导开发者查找候选项、评估适用性、起草类型化 Choice、Score 或 Noul 问题、检查这些问题,并评估记录下来的响应。
此技能强调范围狭窄、彼此独立的判断,稳定的问题文本,明确的退出选项,以及谨慎设置阈值。其工具离线运行,不会调用 API。对于 Openclaw Skills 用户,它提供可操作的指导,帮助判断哪些场景可交由 Jev 处理大量分类任务,同时将模糊或影响重大的情况留给人工或 System Two 模型处理。

应用场景

审查代码库,查找返回标签、分数或是/否决策的 LLM 调用。
判断候选任务是否适合 Jev,或是否应继续使用常规代码或聊天模型处理。
使用成熟的设计规则起草并检查类型化 Choice、Score 和 Noul 问题。
检查记录的响应,判断问题能否有效区分不同情况。
根据已标注示例校准评分阈值,并定义执行、通过和升级处理区间。
为低置信度或模糊的决策构建更安全的升级处理路径。

工作原理

查找:扫描代码库,查找生成决策而非开放式文本的 LLM 调用。
评估:评估每个候选项。Jev 可能适用于针对文本的封闭集合判断;精确逻辑、计算、计数和日期比较应交由代码处理。
起草:创建范围狭窄、原子化的问题。Choice 使用退出选项,Score 使用有序评分标准,Noul 使用单个可核验的命题。
检查:根据已知的问题设计规则检查草稿,并标记常见失误模式。
分布分析:分析记录的响应,判断问题能否区分不同情况,还是几乎总是产生相同答案。
设定阈值:使用已标注的分数和棘手案例拟合评分切分点,而不是依赖任意的全局阈值。
级联:设置两个决策区间:对最高区间采取行动,对最低区间放行,并将中间区间或低置信度结果升级交由人工或 System Two 模型处理。

配置指南

从项目代码库安装 CLI,并同步一次上游工具:
pip install git+https://github.com/vicfei/jev-pipeline-skill
python -m jev_pipeline tools-sync
针对代码库运行完整的查找、评估、起草和检查工作流:
python -m jev_pipeline run REPO
CLI 还提供专门的命令:find REPO、fit、draft、lint、spread RESPONSES.jsonl、threshold SCORES.jsonl 和 cascade SCORES.jsonl。fit 命令需要可编辑的 *.answers.json 文件;spread 需要已记录的响应,而 threshold 需要已标注的分数。状态和报告会写入 --out,其默认值为 ./jev-pipeline-out/。此工作流离线运行,不会调用 API。

数据架构

Pipeline 使用本地输入,并将状态和报告写入配置的输出目录。
数据或构件 用途
代码库路径(REPO) 用于查找决策型 LLM 调用的输入。 *.answers.json fit 步骤使用的可编辑答案。 RESPONSES.jsonl 记录的 Jev 响应,供 spread 用于评估问题的区分能力。
SCORES.jsonl threshold 和 cascade 使用的评分数据;拟合阈值需要已标注的分数。 --out 目录 存储 pipeline 状态和报告;默认为 ./jev-pipeline-out/。 问题文本必须保持字节级稳定,因为阈值取决于它;可变内容应放入 state。阈值很重要时,请记录返回的 Jev 版本;应固定使用 jev-1.13.0,而不是依赖 jev-latest。随附的技能文档未指定详细的 JSONL 字段架构。

高级特性

run REPO
运行从查找到检查的完整流程,或单独调用各阶段以执行针对性工作流。
spread
找出无法根据真实响应区分不同情况的问题。
根据已标注的分数和棘手案例拟合阈值,然后使用
cascade
规划执行、放行和升级处理行为。
保持问题措辞稳定并记录 Jev 版本,以便审计阈值行为。
将 Choice 退出选项、有序 Score 评分标准和 Noul 的
(“无法判断”)语义视为设计约束。
对中间区间内的模糊结果或低置信度结果进行升级处理,不要将不确定性平均进决策中。
将副作用和授权逻辑置于 Jev 问题之外;此技能明确警告,不要将 Jev 用作授权机制。
上游工具通过引用调用,而非复制。项目在
ATTRIBUTION.md
中注明其来源项目,并声明自己是独立的社区项目,与 TypeSafe AI 无关。


name: jev-pipeline description: Use when a codebase has LLM calls that only pick a label, a score, or a yes/no; when deciding whether a task should use Jev / TypeSafe System One instead of a chat model; when drafting or debugging typed Choice/Score/Noul questions; or when calibrating thresholds and escalation bands from logged Jev responses.

Jev pipeline

One workflow for Jev question design: find → fit → draft → lint → spread → threshold → cascade. Find decision-shaped LLM calls in a repo, judge whether Jev fits them, draft typed questions from field-tested patterns, lint them, then calibrate on real responses and plan which answers act, pass, or escalate.

If the CLI is installed
pip install git+https://github.com/vicfei/jev-pipeline-skill # stdlib only
python -m jev_pipeline tools-sync # once: clones the upstream tool repos (MIT, by reference)

Command Answers Needs

run REPO find+fit+draft+lint in one pass nothing (offline)
find REPO which LLM calls output decisions, not text? nothing
fit go / go-with-guards / no-go per candidate editable *.answers.json
draft first question template per candidate nothing
lint does the draft break known rules? nothing
spread RESPONSES.jsonl does the question discriminate or is it constant? logged responses
threshold SCORES.jsonl where does the bar go, fitted on hard cases? labeled scores
cascade SCORES.jsonl act / pass / escalate plan scores

State and reports land in --out (default ./jev-pipeline-out/). No step calls an API.

If it is not installed — the rules that matter

Fit (should this be Jev at all?): output is a decision from a closed set (≤255 options, 2–10 levels, or yes/no) → maybe. Plain code/regex could decide it exactly → no. The decision needs math, counting, or date comparison → no (compute in code, judge the meaning). Input is text and fits ~32k tokens → yes. High volume and latency-sensitive → Jev's territory.

Drafting: atomic judgments only — one narrow question each, many per request, evaluated independently. Choice always carries an escape option (other / review). Score criteria are a strictly ordered rubric. Noul states one checkable proposition. Variable content goes in state; question text stays byte-stable because thresholds depend on it.

The ten ways questions go wrong: (1) asking Jev to compute; (2) Choice without an escape; (3) Score with an unordered rubric; (4) reading Noul 0.5 as "medium" — it means can't tell; (5) one global threshold everywhere; (6) trusting jev-latest when thresholds matter — pin jev-1.13.0, log the returned version; (7) ignoring probabilities when the top two are 0.45/0.42; (8) questions owning side effects; (9) using Jev as authorization; (10) open-ended "Choice" with unbounded options.

Cascade policy: two bands, not three verdicts. Act on the top band, pass the bottom, and treat the middle — and any low-confidence top — as an explicit escalation branch to a System Two model or a human. Never average uncertainty into a decision.

Sources and attribution

Patterns condensed from awesome-jev-prompts (CC0). Steps call upstream tools by reference, never copied: abhisheksharma001/jev-skill (find, fit) and VBS2004/jev-questions-skill (lint, spread, threshold, coverage) — see the repo's ATTRIBUTION.md. Independent community project, not affiliated with TypeSafe AI.

Dikciz Launcher

knownAs