arXiv · AI· Huiting Liu, Jinsong Wu·· 4 小时前AI 评分30
Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models
Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models
AI 导读
自适应残差路由解码器存在隐藏的未来token泄漏，导致 teacher-forced 评估虚高但自由生成性能劣化。 研究定位到全序列摘要通过动态路由查询路径广播是泄漏根源。修复后的12层因果模型消除了可检测泄漏，使验证损失和困惑度回归至对照基线水平。
来源：arXiv · AI · arxiv.org