arXiv · AI· Shilong Pan, Zhiliang Tian, Zihan Chen, Wentao Zou, Weiguo Chen, DongSheng Li·· 10 天前AI 评分29
尾部风险感知的智能体安全:约束多步 LLM 智能体工作流中的尾部风险
Tail-risk-aware Agent Safety: Constraining Tail Risks Across Multi-step LLM Agent Workflows
AI 导读
针对现有防御忽视多步执行风险传播的局限,提出尾部风险感知的智能体安全(TAS)框架。该框架将智能体工作流建模为马尔可夫决策过程(MDP),通过共享预算约束极端且罕见的尾部风险,而非仅关注平均风险。 实验结果显示,TAS 在三个基准上对比十一个基线方法均取得更优性能,有效抑制高成本失败同时保留正常情况下的效用。
来源:arXiv · AI · arxiv.org