Hacker News AI· researchaiexe·· 3 小时前AI 评分34
13,938 个网站对 AI 爬虫的 robots.txt 封禁策略研究
Block training, keep answers? What 13,938 sites ask of AI bots
AI 导读
研究显示，在明确封禁 OpenAI 训练爬虫 GPTBot 的 1,331 个网站中，17.1% 同时封禁了用于答案获取的 OAI-SearchBot，47.0% 封禁 ChatGPT-User。
来源：Hacker News AI · trakis.io