arXiv · NLP· Zifan Carl Guo, Laura Ruis, Jacob Andreas, Belinda Z. Li·· 10 天前AI 评分37
内省耦合:固定监督下的语言模型自我解释追踪行为变化
Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision
AI 导读
研究发现,利用早期检查点或行为相似模型生成的固定反事实解释训练语言模型,其生成的解释往往比训练目标更忠实地反映模型当前的真实行为。 这种“内省耦合”现象在解释与当前行为保持相关时发生,即便行为发生转变,解释也会随之调整,且对标签噪声具有鲁棒性。
来源:arXiv · NLP · arxiv.org