arXiv · ML· Michael Kingston, Sonit Singh, Alan Blair·· 3 天前AI 评分31
在不完全信息博弈中通过评分每个决策节点来衡量语言模型智能体
Instrumenting Failure: Scoring Language Model Agents at Every Decision Node in Imperfect-Information Games
AI 导读
研究对三款12B至14B指令微调语言模型在五个零和不完全信息博弈中的每个决策节点进行评分,揭示行为不一致问题。 模型在温度0下陈述信念与均衡后验的总变差距离为0.250至0.288;动作与状态一致性超随机概率区间为-0.04至0.19。 研究指出,无记忆且贪心解码时,模型动作在38个参考变量单元格中的10个里不随状态变化,该结果源于智能体行为而非内部信念。
来源:arXiv · ML · arxiv.org