扩散语言模型事实访问机制及编辑应用研究发布

2026年10月21日，Yuchen Guo 等人在 arXiv 发布研究（arXiv:2610.27580），探讨扩散语言模型（DLMs）中的事实访问机制。研究发现，DLMs 中事实访问状态在早期注意力层和前馈层完成组装，关于同一事实的查询占据状态空间区域而非单点。 基于该机制，研究提出知识编辑器 Multi-View Edit。该编辑器能从单条陈述中为每个方向安装共享值，显著提升了改写与反向问答效果。相比之下，自回归编辑器在这些任务中的收益接近零。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。