跳到正文
arXiv · ML· Suchit Gupte, Zhongteng Cai, Xueru Zhang, Mohammad Mahdi Khalili·· 3 天前AI 评分25

自我消耗训练下的表征变化:稀疏自编码器分析

Representational Change Under Self-Consuming Training: A Sparse Autoencoder Analysis

AI 导读

研究发现自我消耗训练会导致LLM内部表征发生漂移,且稀疏自编码器(SAE)的零样本性能随代际推进而衰退。 实验对比了五代合成数据模型与真实数据对照组,显示虽然微调SAE可恢复重建保真度,但任务相关信息的特征级有用性并未同步恢复。

来源:arXiv · ML · arxiv.org