Hacker News AI· crawlerpeek·· 4 小时前AI 评分42
Crawlerpeek 发布：检查 AI 爬虫访问权限的 CLI 工具
Crawlerpeek – check which AI crawlers your site lets in (CLI, MCP)
AI 导读
Crawlerpeek 是一款开源 Node.js 工具，用于检查网站对 GPTBot、ClaudeBot 等 15 种 AI 爬虫的访问权限。它结合 robots.txt 规则与实时 HTTP 抓取验证，提供 CLI、库及 MCP 服务器接口。工具支持生成允许 AI 爬虫的 robots.txt，但需注意其模拟请求可能被 WAF 拦截，且默认禁用 JavaScript 执行。
来源：Hacker News AI · github.com