arXiv · ML· Jinwoo Kim·· 2026-10-05AI 评分28
Constraint-Aware Training:通过外部化程序分析提升语言模型生成效率
Constraint-Aware Training
AI 导读
该论文提出一种约束感知训练目标,将程序分析(如语法、类型检查)从模型训练中外部化,以避免训练与推理阶段的重复。 研究形式化证明了这种外部化在模型参数量和数据效率上的益处,并通过合成实验验证,在相同参数和数据量下,约束感知训练比标准交叉熵训练具有更低的预测损失。
来源:arXiv · ML · arxiv.org