arXiv · NLP· Ruoxi Shang, Christina-Maria Androna, Orfeas Menis Mastromichalakis, Yu Feng, Aniruddhan Ramesh, Rico Angell, Shang Hong Sim, Chrysoula Zerva, Emmanouil Koukoumidis·· 6 小时前AI 评分34
AURA-Eval：评估 LLM 智能体在风险感知下行动的框架
AURA-Eval: Evaluation Framework for Acting Under Risk Awareness in LLM Agent Trajectories
AI 导读
AURA-Eval 通过截断工具使用轨迹并生成下一步行动，评估 LLM 智能体的风险感知与适应能力。 框架基于 157 条种子轨迹构建 1,249 个评估项，测试了 20 个前沿及开源模型。前沿模型在存在安全路径时拒绝率极低，无安全路径时不安全行动率为 27-40%；开源模型不安全行动率高达 58-83%。
来源：arXiv · NLP · arxiv.org