arXiv · NLP· Wei Guo, Yuanjian Xu, Jianing Hao, Yongyao Duan, Ran Chen, Zhong Li, Guang Zhang·· 16 小时前AI 评分32
通过操作级测量框架弥合 LLM 基础与 Agentic 能力
Bridging Foundational and Agentic Capabilities of LLMs
AI 导读
研究提出操作级测量框架，以弥合大语言模型（LLMs）基础能力与 Agentic 能力间的差距，并发布在 $\tau^2$-Bench 上的实验代码与结果。 框架将模型表征为基础能力画像和交互轨迹生成的操作画像，通过定义能力实现差距，揭示了同等基础画像模型在执行表现上的显著差异。 实验表明，操作画像能补充信息并显著提升任务评分预测准确性，帮助在操作层面定位执行偏差。
来源：arXiv · NLP · arxiv.org