arXiv · ML· BHVSP Subrahmanyam, Neeraj Choudhary·· 8 小时前AI 评分31
FLARE：基于物理的电力馈线恢复语言模型智能体基准测试
FLARE: Physics-Grounded Evaluation of Language-Model Agents for Feeder Restoration with Degraded Observations
AI 导读
研究者推出 FLARE 基准，包含 800 个交流可行案例，涵盖 5 种观测设定。评估显示 5 个模型的 P95 后悔值高达 1.000，且 96.4% 的被拒动作会导致物理违规。 该基准要求智能体在受限条件下收集证据并执行恢复，揭示了当前模型的长尾失败问题，强调了外部安全检查的必要性。
来源：arXiv · ML · arxiv.org