arXiv · AI· Jiayu Ding, Yupan Huang, Jinyoung Park, Yilin Jia, Wenshan Wu, Tengchao Lv, Shaohan Huang, Yuzhong Zhao, Xiangyang Zhou, Tao Ge, Sun Mao, Xun Wang, Huitian Jiao, Si-Qing Chen, Lei Cui, Nanning Zheng, Furu Wei·· 7 天前AI 评分29
WordInferBench 评测智能体在 Word 文档上下文中推断编辑属性的能力
WordInferBench: Can Agents Infer How to Edit from Word Document Context?
AI 导读
研究提出包含 280 个实例的 WordInferBench,评估智能体在 Word 文档中推断属性的能力。基准涵盖 13 种对象类型,测试三种指令条件。结果显示 Claude Code with Opus 4.6 在推断型任务中通过率仅 40.7%。
来源:arXiv · AI · arxiv.org