BOSS 直聘职位抓取工具

一个基于 Chrome CDP 驱动的抓取工具,可搜索 BOSS 直聘职位、捕获明文薪资和 JD 数据、导出 JSON 或 CSV 并汇总市场结果。

eatmoreduck
2026年10月16日
0 收藏
57 下载

安装与下载

1 ClawHub CLI

从源直接安装技能的最快方式。

npx clawhub@latest install boss-zhipin-scraper-2-3-1

2 手动安装

将技能文件夹复制到以下位置之一

全局模式 ~/.openclaw/skills/
工作区 {'/skills/'}

优先级:工作区 › 全局 › 内置

3 提示词安装

将此提示词复制到 Openclaw 即可自动安装。

请帮我使用 Clawhub 安装 skill-boss-zhipin-scraper-2-3-1。如果尚未安装 Clawhub,请先安装(npm i -g clawhub)。

更倾向于下载?

获取包含原生技能文件的ZIP压缩包。

下载技能 (.zip)

基本信息

名称 BOSS 直聘职位抓取工具
Slug boss-zhipin-scraper-2-3-1
创建者 eatmoreduck
创建时间 2026-10-16 05:43:49
更新时间 2026-10-16 05:43:49
收藏数 0
使用量 57
浏览量 6

安装指南

  1. ClawHub CLI 从源直接安装技能的最快方式。
    npx clawhub@latest install boss-zhipin-scraper-2-3-1
  2. 手动安装 将技能文件夹复制到以下位置之一
    全局模式
    ~/.openclaw/skills/
    工作区
    /skills/
    优先级:工作区 > 本地 > 内置
  3. 提示词安装 将此提示词复制到 OpenClaw 即可自动安装。
    请帮我使用 Clawhub 安装 boss-zhipin-scraper-2-3-1。如果尚未安装 Clawhub,请先安装(npm i -g clawhub)。
    更倾向于下载?
    获取包含原生技能文件的ZIP压缩包。
    下载技能 (.zip)

什么是

BOSS 直聘职位抓取工具是一个 Openclaw Skills 自动化工具,通过 Chrome DevTools Protocol (CDP) 从 zhipin.com 收集结构化的职位市场数据。它支持关键词、城市、公司规模、薪资、经验和学历筛选,同时保留网站 API 返回的明文薪资值。
该技能可以检索列表页和详情页数据、对重复结果进行去重、导出适用于 Excel 的 UTF-8 BOM CSV 文件,并生成聚合的职位市场摘要和求职优化提示词。它使用持久化、隔离的浏览器程序文件,以保护用户的首选 Chrome 程序文件和账户会话。

应用场景

按职位关键词和中国城市搜索 BOSS 直聘职位空缺。
比较薪资范围、公司规模、融资阶段、行业、福利和所需技能。
跨多页收集职位列表并自动去重。
获取选定的职位描述,以便进行更深入的职位和要求分析。
导出用于程序化处理的结构化 JSON,或用于 Excel 和电子表格的 CSV。
将多次搜索(例如不同城市或时间段)合并为一个数据集。
生成简明的职位市场摘要以及用于简历或申请优化的提示词材料。
运行 CDP 冒烟测试以验证浏览器连接、身份验证和明文薪资可用性。

工作原理

解析已安装技能目录中 boss_cdp_raw.py 和 job_summary.py 的绝对路径。
使用 --check 验证 Python 依赖项、Chrome CDP 连接以及已通过身份验证的 zhipin.com 会话。
如果 CDP 不可用,则在使用持久隔离配置文件的配置端口上启动专用的 Chrome 或 Edge 实例。
必要时要求用户在专用浏览器中登录 zhipin.com,然后验证搜索 API 是否返回 salaryDesc 值。
通过 Chrome DevTools Protocol 连接到浏览器并将 JavaScript 注入 BOSS 直聘页面。
从页面上下文调用 /wapi/zpgeek/search/joblist.json 端点,应用关键词、城市、分页和筛选参数。
打开详情页时保留请求上下文(例如 securityId 和 lid),并可选择收集完整的职位描述。
将每个完成的页面增量写入 JSON,并提供可选的列表和详情 CSV 导出,以便中断的运行保留已收集的数据。
通过基于职位链接的 16 位 MD5 派生 job_id 对记录进行去重,并可选择合并先前的 JSON 文件。
针对最新或明确选择的列表和详情文件运行摘要脚本,以生成市场洞察和申请提示词。

配置指南

前提条件
macOS 或 Linux
Chrome 或 Microsoft Edge
Python 3.10 或更高版本
已验证身份的 zhipin.com 账户
本地安装的 Hermes 技能文件
安装技能
mkdir -p ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts && \
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/SKILL.md
-o ~/.hermes/skills/data-science/boss-zhipin-scraper/SKILL.md &&
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/scripts/boss_cdp_raw.py
-o ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/boss_cdp_raw.py &&
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/scripts/job_summary.py
-o ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/job_summary.py &&
mkdir -p ~/.hermes/skills/data-science/boss-zhipin-scraper/data && \
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/data/city_codes.json
-o ~/.hermes/skills/data-science/boss-zhipin-scraper/data/city_codes.json 安装 Python 依赖项
在用户的项目虚拟环境中运行此命令:
uv add websocket-client requests

或者:

pip install websocket-client requests
解析脚本路径
SCRIPT_PATH=$(find ~/.hermes/skills -name "boss_cdp_raw.py" -type f 2>/dev/null | head -1)
SUMMARY_PATH=$(find ~/.hermes/skills -name "job_summary.py" -type f 2>/dev/null | head -1)
检查并初始化 CDP
python3 "$SCRIPT_PATH" --check --cdp-port 9222
python3 "$SCRIPT_PATH" --setup-chrome --cdp-port 9222
在仅安装了 Microsoft Edge 的系统上使用 --setup-edge。在专用浏览器中手动登录,然后重新运行 --check。默认的隔离配置文件存储在 ~/.boss-zhipin-scraper/chrome-profile 中,并在多次运行之间重复使用。
运行抓取
python3 "$SCRIPT_PATH" --keyword "AI Agent" --city "Shanghai" --pages 3 --output ~/.boss-zhipin-scraper/job-result/jobs.json
python3 "$SCRIPT_PATH" --keyword "AI Agent" --city "Shanghai" --pages 3 --detail --max-details 8 --analysis --format csv --output ~/.boss-zhipin-scraper/job-result/jobs.json
python3 "$SUMMARY_PATH" --top 15
使用 --stop-chrome 仅关闭专用浏览器,或使用 --close-chrome 在成功抓取后关闭它。除非用户明确请求与 Cookie 相关的登录状态导入,否则请避免使用 --copy-login-state。
BOSS 直聘职位抓取工具 数据架构与分类体系
输出位置
工件 默认位置 用途
列表 JSON ~/.boss-zhipin-scraper/job-result/ 搜索元数据和职位列表记录
详情 JSON ~/.boss-zhipin-scraper/job-result/ 完整的职位描述和详情页数据
列表 CSV 列表输出附近 与电子表格兼容的列表导出
详情 CSV 详情输出附近 与电子表格兼容的详情导出
浏览器配置文件 ~/.boss-zhipin-scraper/chrome-profile 持久隔离的 BOSS 登录会话
列表级字段
典型记录包括 job_id、title、salary、location、tags、boss_name、boss_title、company_scale、company_stage、company_industry、skills、job_link、company_link 和 welfare。顶层 JSON 还记录了搜索 keyword、city 和结果 total。
分类与筛选 --scale:公司规模,从 20 人以下到 10,000 人以上。 --salary:薪资区间,从 3K 以下到 50K 以上。 --experience:在校生、应届生、不限经验以及最高 10 年以上的经验区间。 --degree:初中及以下到博士。 城市值接受中文名称或支持的城市代码,包括北京、上海、广州、深圳、杭州、成都、武汉、南京和厦门。
job_id 是从职位链接生成的,用于合并时的去重。
CSV 文件使用带 BOM 的 UTF-8,以便 Excel 打开中文文本时不会出现编码问题。摘要脚本读取 boss_jobs_.json 和 boss_details_.json;它不读取本地简历,也不需要 PDF 处理。

高级特性

API 优先的薪资提取读取明文
salaryDesc
值,并避免不可靠的前端字体混淆解码。
可选的 DOM 回退默认情况下处于禁用状态,必须使用 --allow-dom-fallback 显式启用。
可以使用 --max-details 限制详情抓取,以控制运行时间和请求量。
多页收集支持最多 10 页,每页 30 个职位,并采用增量写入以确保弹性。 --merge FILE 结合先前的 JSON 结果并通过
job_id
删除重复项。 --analysis 创建分析报告,而
job_summary.py
生成聚合摘要和申请优化提示词。
Chrome 和 Edge CDP 设置共享隔离配置文件并支持可配置端口,例如 --cdp-port 9223 。 --copy-login-state 提供了一条显式的、用户请求的途径来导入相关的浏览器 Cookie 文件;默认不使用。
感知配置文件的关闭使用专用的
user-data-dir
而不是按名称杀死进程,从而降低影响用户首选浏览器的风险。
当必须清除 BOSS 登录状态时, --reset-chrome-profile 会完全重建专用配置文件。
冒烟测试在不写入结果文件的同时验证真实的浏览器/API 访问。
内置节奏控制(包括随机页面和详情延迟)有助于限制请求强度;该工具适用于个人求职研究。


name: boss-zhipin-scraper description: "Scrape BOSS直聘 (job listing site) via Chrome CDP. Searches jobs by keyword/city/filters, fetches JD details, outputs structured JSON/CSV with plaintext salary, and can summarize scraped results into a job-market prompt. Use when user wants to search/analyze jobs on BOSS直聘 or zhipin.com." version: 2.3.1
author: eatmoreduck
license: MIT
platforms: [macos, linux]