跳到正文
arXiv · AI· Yuzhang Luo, Mohamed Aghzal, Liangming Pan, Ziyu Yao·· 10 天前AI 评分30

LLM 智能体中的价值-策略解离:表征存在但未用于行动选择

Represented but Not Used: Value-Policy Dissociation in LLM Agents

AI 导读

在 Qwen2.5-7B/32B 与 GPT-OSS-20B 测试中,研究发现候选行动的相对价值可从中间隐藏状态线性解码,即使策略选择了较差行动。 沿读出方向干预效果有限且不一致,而基于自然价值传输(NVT)的变换在后期层更一致地影响行动偏好。 结果揭示 LLM 智能体可能表征了前瞻价值却无法可靠转化为策略选择,并验证了闭环控制器可改善任务结果。

来源:arXiv · AI · arxiv.org