Hacker News AI· floxolab·· 7 天前AI 评分41
Show HN: 我构建了一个检查 14 个 AI 爬虫网站访问权限的工具
Show HN: I built a tool to check website access for 14 AI crawlers
AI 导读
一款工具可检测网站对 14 个主流 AI 爬虫的访问权限,支持每 10 分钟免费检查 8 次。 该工具解析 robots.txt 并用爬虫 user agent 模拟请求,对比浏览器基线结果,判定允许、部分允许或阻止状态。 检查基于 FloxoLab 服务器 IP 发起,且明确标注无法检测 IP 验证或用户发起的 agent 行为。
来源:Hacker News AI · floxolab.com