跳到正文
arXiv · NLP· Bhaskar Gurram·· 10 天前AI 评分29

工具使用型 LLM Agent 的结构化验证、因果错误传播与虚构工具调用研究

Measuring What Tool-Using LLM Agents Actually Do: Structured Validation, Causal Error Propagation, and Fabricated Tool Use

AI 导读

研究提出确定性验证器评估工具调用,发现 Gemini-2.0-Flash 准确率从 63.4% 降至 5.6%。 配对实验显示注入错误参数使错误率升至 74.5%(+22.0 个百分点);部分模型在 0-42.5% 轨迹中存在未执行即报告结果。

来源:arXiv · NLP · arxiv.org