SEOmatic AI Crawler Check

安装指南

1. ClawHub CLI 从源直接安装技能的最快方式。
   npx clawhub@latest install seomatic-ai-crawlers
2. 手动安装 将技能文件夹复制到以下位置之一
   全局模式
   ~/.openclaw/skills/
   工作区
   /skills/
   优先级：工作区 > 本地 > 内置
3. 提示词安装 将此提示词复制到 OpenClaw 即可自动安装。
   请帮我使用 Clawhub 安装 seomatic-ai-crawlers。如果尚未安装 Clawhub，请先安装（npm i -g clawhub）。
   更倾向于下载？
   获取包含原生技能文件的ZIP压缩包。
   下载技能 (.zip)

什么是

SEOmatic AI Crawler Check 使用 SEOmatic 的 MCP 工具来分析 AI 机器人活动、robots.txt 访问、关键页面可抓取性、观察到的引用以及助手推荐。它帮助您区分回答时检索、AI 搜索索引与模型训练爬虫，让您无需将授权选择与搜索可见性策略混淆，即可了解 AI 服务如何访问您的内容。
作为用于 AI 搜索可见性的 Openclaw Skills 之一，它将爬虫和转化漏斗数据转化为包含最高影响力修复方案的实用报告。SEOmatic 使用真实的 Google Search Console 数据；建议的工作经过暂存以供审查，在您批准之前不会上线。

应用场景

了解 ChatGPT、Perplexity 或其他 AI 服务是否可以获取您的网站。
识别被 robots.txt、CDN 或防火墙屏蔽的 AI 爬虫。
检查关键页面是否可抓取或依赖 JavaScript 渲染。
了解为什么页面被抓取但未被引用，或者为什么引用可能依赖于较旧的抓取。
查看观察到的 AI 引用和助手推荐以及页面级抓取活动。
获取基于证据的建议，以改善 AI 搜索可见性。
在调查 AI 爬虫访问和引用时比较 Openclaw Skills 选项。

工作原理

检查爬虫活动： 使用 get_ai_crawler_activity 识别访问过的机器人，并将其分类为回答时检索、AI 搜索索引或模型训练爬虫。如果没有可用的爬虫数据，则报告网站日志未连接，并引导用户使用 SEOmatic 集成。
测试访问和索引信号： 在主页和关键页面上使用 site_pages 抓取操作，检查 robots.txt，并使用 site_audit 查找诸如 noindex 泄漏和规范链接问题等问题。
追踪从抓取到引用的漏斗： 使用 get_ai_funnel 按页面比较被引用、被抓取和被推荐的活动。解释差距以识别可访问但未被引用的页面、基于较旧抓取的引用，或尚未被抓取的页面。
验证实际引用： 使用带有 observed_citations 操作的 ai_citations 来审查引用了该网站的真实回答。
报告发现： 总结哪些机器人访问了网站、哪些被屏蔽、AI 服务读取了哪些页面，以及具有最大预期影响力的三个修复方案。
可选地暂存修复： 使用带有 list 操作的 task_manage 检查以避免重复，然后创建最多五个合适的任务。在批准任何任务或宣称做出更改之前，解释估计成本并等待用户的批准。

配置指南

在使用该技能之前连接 SEOmatic MCP 服务器。它使用 OAuth 或 Bearer API 密钥，其读取操作是免费的。暂存工作需要付费的 SEOmatic 计划和具有 agents:act 范围的 API 密钥。
在您的代理的 MCP 配置中添加 MCP 服务器：
{
"mcpServers": {
"seomatic": {
"url": "https://app.seomatic.ai/api/mcp",
"transport": "streamable-http",
"auth": "oauth"
}
}
}
或者，从 SEOmatic AI 代理设置 配置 Bearer smk_ API 密钥。未指定环境变量或本地二进制文件。通过 SEOmatic 集成 连接网站日志以提供爬虫活动数据。该技能的 MCP 服务器 URL 为 https://app.seomatic.ai/api/mcp。
SEOmatic AI Crawler Check 数据架构与分类体系
该技能通过 SEOmatic MCP 工具读取网站和 AI 搜索数据；SKILL.md 未指定本地文件或生成的导出内容。
数据区域 来源或操作 使用的信息
爬虫活动 get_ai_crawler_activity 按用途分组的访问 AI 机器人：回答时检索、AI 搜索索引和模型训练。
页面可访问性 site_pages 操作 crawl，加上 robots.txt 主页和关键页面是否可以获取，以及爬虫规则是否会屏蔽访问。
技术 SEO 信号 site_audit noindex 泄漏和规范链接问题等问题。
从抓取到引用的漏斗 get_ai_funnel 每个页面的被引用、被抓取和被推荐状态，包括通过 GA4 衡量的助手访问。
观察到的引用 ai_citations 操作 observed_citations 引用了该网站的真实回答。
暂存的工作 task_manage 操作 list、create、get 和 decide 任务状态、目标、目标理由、估计成本以及批准或执行结果。
在暂存任务时，提供一个 targetKey（完整页面 URL 或内容工作的 теме/主题）、一个面向用户的 title，以及由数据支持的 rationale。任务类型包括针对错误屏蔽的 robots_txt、针对被抓取但从未被引用页面的 geo_enrichment，以及针对渲染问题的 technical_fix。每个任务都包含一个 estimatedCost.label；向用户报告该报价估计。

高级特性

将 ChatGPT-User 和 Perplexity-User 等回答时检索机器人与 GPTBot、ClaudeBot 和 Google-Extended 等 AI 搜索索引机器人及模型训练爬虫分开。
结合爬虫活动、页面抓取检查、技术审计、观察到的引用和助手推荐，诊断完整的从抓取到引用的路径。
区分访问问题与内容相关性差距，包括被屏蔽的机器人、依赖 JavaScript 的内容以及被抓取但未被引用的页面。
支持针对 robots.txt、内容丰富和技术渲染修复的可选的、基于证据的任务暂存，每个创建请求最多五个任务。
在暂存之前检查重复任务并报告每个任务的估计成本。
将批准权保留在用户控制之下：绝不代表用户批准，并在宣称做出更改之前使用
task_manage
get
验证完成的工作。
将模型训练机器人访问视为授权选择，而不是排名策略，并且不将 llms.txt 作为必需的修复呈现。
为调查 AI 爬虫访问和网站引用的团队提供 Openclaw Skills 的重点补充。

name: seomatic-ai-crawlers description: 'Check which AI bots crawl the connected site (GPTBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended and more), what they fetch, whether robots.txt blocks them, and how crawls turn into AI citations and assistant referrals. Use when the user asks if ChatGPT or Perplexity can see their site, about AI crawlers, GPTBot, robots.txt for AI, or llms.txt. Runs on SEOmatic, the SEO agent that works from the site''s real Google Search Console data; nothing goes live until the user approves it.' version: 1.0.0
license: MIT
homepage: https://app.seomatic.ai