arXiv · ML· Federico Pennino, Andrea Gurioli, Maurizio Gabbrielli, Paolo Ferragina·· 10 天前AI 评分22
SWHForest: 面向大规模代码语料库的结构化精选与搜索层
SWHForest: A Structural Curation and Search Layer for Large-Scale Code Corpora
AI 导读
SWHForest 是一个开源框架,通过单次遍历解析 AST 并仅保留结构摘要,避免了下载整个多 TB 语料库。 在 Stack-Edu 10 大语言(52.1M 文件)测试中,该工具将搜索时间从小时级降至秒级,下载量减少 46-72%。 该框架解决了现代语料库缺乏结构层导致需先下载再过滤的问题。
来源:arXiv · ML · arxiv.org