跳到正文
arXiv · ML· Rishikesh Mallagundla, Pranav Patel·· 9 天前AI 评分31

TopicScope 利用稀疏自编码器实现模型生成过程中的主题监控

Train on prefill, monitor at decode: Using sparse autoencoders for topic monitoring

AI 导读

TopicScope 框架利用稀疏自编码器(SAE)特征训练因果主题分类器,实现对模型生成过程中每个 token 的主题标记。 在 Gemma-3 1B 和 4B 模型上,基于 prefill 隐状态特征训练的监控器能有效泛化至 decode 阶段,且在干扰下最多仅损失 5 个 macro-F1 点。

来源:arXiv · ML · arxiv.org