arXiv · NLP· Bhaskar Gurram·· 10 天前AI 评分29
工具使用型 LLM Agent 的结构化验证、因果错误传播与虚构工具调用研究
Measuring What Tool-Using LLM Agents Actually Do: Structured Validation, Causal Error Propagation, and Fabricated Tool Use
AI 导读
研究提出确定性验证器评估工具调用,发现 Gemini-2.0-Flash 准确率从 63.4% 降至 5.6%。 配对实验显示注入错误参数使错误率升至 74.5%(+22.0 个百分点);部分模型在 0-42.5% 轨迹中存在未执行即报告结果。
来源:arXiv · NLP · arxiv.org