arXiv · ML· Can Wu, Xinrui Chen, Ou Wu, Yi Du·· 2026-10-14AI 评分21
指令微调中提示词与响应监督的条件性 Token 选择:BRIDGE 方法
Token Utility Is Selection-Conditioned: Coupled Selection of Prompt Context and Response Supervision for Instruction Tuning
AI 导读
在指令微调中,提示词与响应监督的 Token 选择存在耦合效应,现有方法通常独立优化。BRIDGE 方法通过注意力机制路由效用并交替进行预算选择,解决了状态不匹配问题。 在三个模型族和任务域中,BRIDGE 表现最佳,在 Llama-3.2-3B 模型上 MATH 优势随压缩率提升,达到 1.66 个百分点。
来源:arXiv · ML · arxiv.org