arXiv · NLP· Aishik Nagar, Cheston Tan·· 21 天前AI 评分22
推理还是模式利用?RL训练语言模型的机制洞察
Reasoning or Pattern Exploitation? Mechanistic Insights from RL-Trained Language Models
AI 导读
研究表明RL训练的大语言模型在Tic-Tac-Toe游戏中虽具高准确率,但机制分析显示其依赖提示词中的显式信息而非高级概念。 稀疏自编码器发现模型主要利用回合进度等输入信息,策略分叉等战略概念表征微弱,提示基准测试可能高估模型真实推理能力。 该研究首次提供了追踪小规模LLM内部表征动态的可解释性流水线,并证明RL后训练重组而非增减概念信息。
来源:arXiv · NLP · arxiv.org