跳到正文
arXiv · NLP· Malte Ostendorff·· 2026-10-12AI 评分36

针对 LLM 预训练数据的宿主感知网络爬虫研究

Host-Aware Web Crawling for LLM Pretraining Data

AI 导读

研究指出,LLM 预训练数据中约一半分类器分数差异发生在不同网络宿主(host)之间。 结合文档级质量分数、Web 图谱中心性指标和 Common Crawl 覆盖数据,模拟显示基于采样的深度爬取比均匀分配高效数倍。 Common Crawl 的中心性指导分配增益有限,且大量高质量页面仍集中在少量已知但未爬取的 URL 上。

来源:arXiv · NLP · arxiv.org