跳到正文
arXiv · ML· Zhiyun Shi·· 17 小时前AI 评分28

Legible:通过读等价写作解决模型微调中的“两跳诅咒”

Write Facts the Way Models Read Them: Lifting the Two-Hop Curse

AI 导读

Legible 方法指出微调模型无法推理新事实的根源在于“写作”错误而非推理缺陷,通过让桥接短语匹配模型对新实体的自我表征来解决该问题。 该方法在 Qwen2.5、Llama-3 和 Qwen3 上验证有效,Legible 的桥接准确率是 CaKE 的 1.8-2.6 倍,且无需使用多跳训练数据,仅使用模型自身的短语和目标进行优化。

来源:arXiv · ML · arxiv.org