arXiv · ML· Zhiyun Shi·· 17 小时前AI 评分28
Legible:通过读等价写作解决模型微调中的“两跳诅咒”
Write Facts the Way Models Read Them: Lifting the Two-Hop Curse
AI 导读
Legible 方法指出微调模型无法推理新事实的根源在于“写作”错误而非推理缺陷,通过让桥接短语匹配模型对新实体的自我表征来解决该问题。 该方法在 Qwen2.5、Llama-3 和 Qwen3 上验证有效,Legible 的桥接准确率是 CaKE 的 1.8-2.6 倍,且无需使用多跳训练数据,仅使用模型自身的短语和目标进行优化。
来源:arXiv · ML · arxiv.org