Brave 将搜索索引卖给 AI 公司，你的网站很可能已包含在内

纽约时报起诉 Brave，指控其未经识别或未提供屏蔽机制便爬取超 300 亿网页并出售给 AI 公司。Brave 的爬虫不标识独立 user agent 以遵循 Googlebot 规则，导致网站无法在 robots.txt 中单独屏蔽 Brave 而不影响 Google，且该行为涉及 Anthropic、Perplexity 等 AI 企业的训练数据。