跳到正文
arXiv · ML· Satiyabooshan Murugaboopathy, Entejar Alam, Adel Daoud, Connor T. Jerzak·· 12 小时前AI 评分27

Agent Verifiers 在反事实分析中的初步研究:智能体异质性处理效应基准测试

Agent Verifiers in Counterfactual Analysis: A Pilot Study Benchmarking Agentic Heterogeneous Treatment Effects

AI 导读

研究提出三层基准协议,利用 11 个数据集验证智能体生成的协变量,发现 xAI 的 GrokBot 工作区队友在文本及组合特征下于 6/11 和 7/11 数据集中获得更高的 RATE 比率。 协议包含检索合法性过滤、基于 RATE 的异质性验证及编码器合法性检查。研究显示编码器选择显著影响异质性信号,且时间过滤仅能保证检索合法性,无法消除编码器中记忆的未来事实泄露风险。

来源:arXiv · ML · arxiv.org