跳到正文
arXiv · NLP· Yunhao Wang, Feng Zhang, Tinghao Yu, Xing Wu, Jiang Zhou·· 2026-10-15AI 评分25

AFCS:面向事实知识预训练的原子事实条件合成方法

AFCS: Atomic-Fact-Conditioned Synthesis for Factual Knowledge Pretraining

AI 导读

AFCS 通过提取原子事实驱动数据合成,在 OLMo-3-7B 和 32B 基座上优于 WRAP 和 Nemotron-CC。 该管线结合结构感知提取与多格式生成,100B-token 中训练使通用基准平均提升 +1.09。 实验在 FineWiki 语料上验证了事实级合成优于片段级和实体级合成。

来源:arXiv · NLP · arxiv.org