热点事件持续更新

开源工具 Crawlerpeek 发布

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Crawlerpeek 作为一款开源 Node.js 工具正式发布，旨在检查网站对 GPTBot、ClaudeBot 等 15 种 AI 爬虫的访问权限。该工具通过结合 robots.txt 规则解析与实时 HTTP 抓取验证，提供 CLI、库及 MCP 服务器接口。在技术实现上，Crawlerpeek 支持生成允许 AI 爬虫的 robots.txt 配置。其运行环境要求 Node 20 或更高版本，无运行时依赖，同时兼容 ESM 和 CommonJS 模块规范，并包含 TypeScript 类型定义。除了本地命令行工具，用户也可通过网页端 crawlerpeek.com 执行相同的检查操作。报道指出使用注意事项：该工具模拟请求时可能被 WAF 拦截，且默认禁用 JavaScript 执行。它能判断 URL 路径是否被 robots.txt 允许，并验证实际抓取返回的状态码、最终 URL、内容类型及大小，同时识别响应是否为拦截或挑战页面。

AI 根据报道生成 · 3 小时前更新

最新进展10月26日 05:11

Crawlerpeek 发布：检查 AI 爬虫访问权限的 CLI 工具

报道时间线

沿着报道，了解事件的不同侧面。

10月26日

05:11
Hacker News AI
Crawlerpeek 发布：检查 AI 爬虫访问权限的 CLI 工具
Crawlerpeek 是一款开源 Node.js 工具，用于检查网站对 GPTBot、ClaudeBot 等 15 种 AI 爬虫的访问权限。它结合 robots.txt 规则与实时 HTTP 抓取验证，提供 CLI、库及 MCP 服务器接口。工具支持生成允许 AI 爬虫的 robots.txt，但需注意其模拟请求可能被 WAF 拦截，且默认禁用 JavaScript 执行。

本事件热度走势

可比范围当前: 9
可比范围峰值: 1010月26日 06:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。