arXiv · NLP· Srimonti Dutta, Akshata Kishore Moharir·· 4 小时前AI 评分33
LLM 数据智能体执行完整性审计：超越答案准确度的结构化计算评估
Trace Integrity for LLM Data Agents: Auditing Structured-Data Computation Beyond Answer Accuracy in Real-World Systems
AI 导读
研究在 BIRD Mini-Dev 的 100 个文本转 SQL 案例中测试了三种提示条件，答案准确率分别为 20.0%、22.0% 和 24.0%，而执行完整性通过率为 39.0%、43.0% 和 40.0%。 研究定义正确答案无效追踪（CAIT）比率来衡量有效计算支持，结果分别为 55.0%、59.1% 和 45.8%，证明答案准确性与追踪有效性揭示了系统行为的不同侧面。
来源：arXiv · NLP · arxiv.org