arXiv · AI· Wenxi Dai, Jingyu Hu, Yanting Yang, Mengnan Du·· 4 小时前AI 评分23
从表征到读出：大语言模型成员信号机制分析
From Representation to Readout: Mechanistic Analysis of Membership Signals in Language Models
AI 导读
研究提出 DUG 指标，量化大语言模型中可解码的成员信息及其读出暴露程度。 在 SFT 下，成员特定效应同时体现在可解码信息量和读出中，而在 RL 方法中主要出现在读出层；激活补块将效应定位至中间层。 发现 RLVR 污染下行为变化可发生，且不一定伴随基于似然的成员推理信号增加。
来源：arXiv · AI · arxiv.org