Mojo Dojo 发布 AI 爬虫流量与发现速度统计数据
热点事件观察中
Mojo Dojo 发布 AI 爬虫流量与发现速度统计数据
2 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
2026年10月7日，Mojo Dojo开始记录访问其网站mojodojo.io的爬虫，并基于公开IP地址校验，以识别AI训练、搜索等不同类型的机器人。 10月8日，该团队发布“AI Crawler Index”，显示过去30天内AI爬虫占其站点机器人流量的23.3%，其中AI训练类爬虫占比最高（16.3%），传统搜索引擎爬虫占26.1%。官方强调，该统计仅基于单一网站案例，数据反映的是mojodojo.io的具体情况，而非全行业普查结果。 10月20日，该团队更新发布“AI Discovery Index”，监测新增网页被AI爬虫首次发现的速度。数据显示，Bingbot和ClaudeBot均在页面发布后中位数14小时内完成首次抓取，77%的新增页面在24小时内被AI爬虫访问，其中ClaudeBot在49%的页面上成为首个访问的AI爬虫。该数据开放在CC BY 4.0协议下供复用。
AI 根据报道生成 · 1 天前更新
最新进展10月20日 08:38
AI 爬虫对新增网页的首次发现速度监测数据事件进展
2 个进展
- 10月20日 08:38 · 1 篇报道发布AI发现指数追踪新页面爬取时间Hacker News AI：AI 爬虫对新增网页的首次发现速度监测数据
- 10月8日 14:26 · 1 篇报道Mojo Dojo 发布 AI 爬虫流量占比及行为排行榜Hacker News AI：Mojo Dojo 发布 AI 爬虫索引：AI 爬虫占站点机器人流量 23%
报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- Hacker News AIAI 爬虫对新增网页的首次发现速度监测数据
监测数据显示，Bingbot 和 ClaudeBot 均在页面发布后中位数 14 小时内完成首次抓取。 77% 的新增页面在 24 小时内被 AI 爬虫访问，ClaudeBot 在 49% 的页面上成为首个 AI 爬虫。
10月8日
- Hacker News AIMojo Dojo 发布 AI 爬虫索引：AI 爬虫占站点机器人流量 23%
Mojo Dojo 基于自家网站流量数据发布 AI 爬虫索引，显示过去 30 天 AI 爬虫占机器人流量的 23.3%，其中 AI 训练爬虫占比最高（16.3%），搜索引擎爬虫占 26.1%。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 1010月20日 10:00
- 近 24 小时变化
- -49%
02.557.510
12:0018:0010月21日06:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。