使用 Scavio 进行网站爬取

安装指南

1. ClawHub CLI 从源直接安装技能的最快方式。
   npx clawhub@latest install website-crawler-api
2. 手动安装 将技能文件夹复制到以下位置之一
   全局模式
   ~/.openclaw/skills/
   工作区
   /skills/
   优先级：工作区 > 本地 > 内置
3. 提示词安装 将此提示词复制到 OpenClaw 即可自动安装。
   请帮我使用 Clawhub 安装 website-crawler-api。如果尚未安装 Clawhub，请先安装（npm i -g clawhub）。
   更倾向于下载？
   获取包含原生技能文件的ZIP压缩包。
   下载技能 (.zip)

什么是

Website Crawler via Scavio 为 Openclaw Skills 提供了三种收集网站内容的方式：从站点地图和页面链接映射 URL、按广度优先爬取网站或部分页面、以及批量提取所提供的 URL 列表。结果可以返回为 Markdown、纯文本或 HTML，这使得该技能在研究、文档工作流以及为 LLM、向量存储和 RAG 系统创建源材料时非常有用。
爬取和批处理作为带有状态端点、分页、取消和可选签名 webhook 的作业运行。该 API 遵守 robots.txt，根据所选模式对成功页面进行计费，并为范围、页面限制和成本提供清晰的控制。对于单页，请改用单独的 url-to-markdown-api 技能。

应用场景

将文档网站、博客、帮助中心或选定的网站部分转换为适用于 LLM 或向量存储的 Markdown。
列出网站的 URL、检查其站点地图或查找匹配路径或搜索过滤器的页面。
通过先映射然后批量提取选定页面，将站点地图 URL 转换为内容。
构建或刷新基于网站的知识库或 RAG 语料库。
在一个异步批次中提取已知的 URL 列表，结果按输入顺序返回。
通过选择高级模式渲染依赖 JavaScript 的页面，或者对最困难的页面使用究极模式。
当任务涉及许多页面时使用 Openclaw Skills；当用户只提供一个链接并询问相关内容时，使用单页提取。

工作原理

使用 SCAVIO_API_KEY 中的 Scavio API 密钥对请求进行身份验证。
选择一个操作：映射网站的 URL、启动广度优先爬取、或提交您已有的 URL 批次。
设置范围和输出选项，例如路径过滤器、页面或深度限制、站点地图行为、内容格式和提取模式。映射是同步的；爬取和批处理返回作业 ID 和状态 URL。
对于作业，在工作运行时轮询不含内容的的状态端点，或为签名完成、失败或取消事件配置 webhook。在爬取和批处理请求上使用幂等密钥，以避免重试后出现重复作业。
从状态端点检索结果，跟随其游标对内容进行分页。结果包括页面 URL、提取状态以及成功页面的内容；失败和被 robots 跳过的页面被单独识别。
在结果三小时过期前保存所需结果。准确审查使用的额度和报告页面失败，将源 URL 与引用的内容保留在一起。

配置指南

在 dashboard.scavio.dev 创建一个 Scavio 账户。注册会创建一个 API 密钥并为账户启动 50 个额度；无需信用卡。
在代理使用的环境中设置密钥。请求使用 Authorization: Bearer $SCAVIO_API_KEY 进行身份验证。
使用 https://api.scavio.dev 处的 REST API，或者可选地安装 SDK 或配置 Scavio MCP 服务器。
export SCAVIO_API_KEY=sk_live_your_key
可选的 Python SDK：
pip install scavio==0.23.0
可选的 JavaScript SDK：
npm install scavio@0.23.0
可选的 MCP 服务器配置：
{
"mcpServers": {
"scavio": {
"command": "npx",
"args": ["-y", "@scavio/mcp-server@0.21.0"],
"env": {
"SCAVIO_API_KEY": "sk_live_your_key"
}
}
}
}
在启动超过 100 页的爬取或批处理之前，说明最大可能成本（max_pages × credits_per_page）并获得确认。当网站规模不确定时先进行映射；正常模式下映射消耗 1 个额度。

数据架构

该 API 将工作组织为 URL 映射和异步爬取或批处理作业。
操作 输入和结果组织 计费与限制
映射 接受网站 URL 以及可选的搜索、站点地图、路径、子域、查询参数和模式设置。返回带有 URL、来源（sitemap 或 page）、可选 lastmod 以及诸如 total_found、returned 和 truncated 等总数的链接。 同步；正常模式下 1 个额度。映射链接上限取决于套餐。
爬取 从一个 URL 开始并按广度优先发现页面，具有深度、页面、路径、站点地图和子域控制。结果包括 URL、深度、状态、HTTP 状态码、内容长度、截断、错误或跳过原因、额度和提取的内容。 带有状态 URL 的异步作业；按成功页面计费。
批处理 接受 1–1,000 个提供的 URL，并去除重复项。结果遵循输入顺序；开始响应可以包含 urls_count 和 invalid_urls。 带有状态 URL 的异步作业；按成功页面计费。套餐限制可能低于 API 最大值。
爬取和批处理内容格式为 markdown（默认）、text 或 html。作业状态通过 queued 和 running 进展到 completed、failed 或 cancelled。状态响应报告页面数、使用的额度、停止原因、过期时间、结果以及用于分页的 next_cursor。结果状态为 succeeded、failed 或 skipped；失败和跳过的页面不计费。结果在作业完成后三天过期。作业还具有六小时的时间限制和 250 MB 的存储限制。内置了 Robots.txt 读取和强制执行功能。

高级特性

include_paths
exclude_paths
glob、站点地图模式、最大深度、页面限制和可选子域包含来围栏工作；排除项优先。
normal
、
advanced
ultra
提取模式。正常和高级模式每个成功页面消耗 1 个额度；究极模式消耗 2 个。高级模式渲染 JavaScript。
使用带时间戳的 HMAC-SHA256 验证的签名完成 webhook；如果 webhook 交付未收到 2xx 响应，将进行重试。
Idempotency-Key
防止重复的爬取或批处理作业；取消正在运行的作业以停止进一步计费。
include_content=false
轮询轻量级进度，然后通过状态过滤器和游标分页获取内容。
通过将失败的页面 URL 提交为新批次来进行选择性恢复，可能使用更强的提取模式。
通过 Python 或 JavaScript SDK 连接，或使用 Scavio 的 MCP 工具：
map_website
、
crawl_website
、
get_crawl_status
、
cancel_crawl
、
batch_extract
、
get_batch_status
cancel_batch
。
遵守操作护栏：遵守 robots.txt，避免获取用户无权访问的 URL，绝不为失败的页面虚构内容。

name: website-crawler-api description: Crawl a whole website to clean Markdown, map every URL from its sitemap, or batch extract up to 1,000 URLs in one job. Crawl and batch run as jobs with a status URL or a signed webhook; map is 1 credit; each successful page is 1 credit (2 on ultra), failed pages are free. Robots.txt obeyed. version: 1.0.0
tags: website-crawler, web-crawler-api, crawl-website, site-crawler, sitemap, sitemap-to-markdown, url-list, batch-scrape, batch-extract, website-to-markdown, rag, llm-context, knowledge-base, firecrawl-alternative, agent-tools, langchain, crewai, autogen, structured-data, json, ai-agents