arXiv · NLP· Krishanu Adhikary, Prashant Devadiga·· 3 小时前AI 评分29
TauIndianBankBench: 面向印度零售银行工具调用对话智能体的程序感知与行动导向评估基准
TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents
AI 导读
TauIndianBankBench提出包含1,000项印度零售银行任务的行动导向评估基准，用于衡量对话智能体是否完整执行规定步骤及避免未请求变更。 现有基准仅检查最终记录，常遗漏被跳过的必要步骤，导致6.5-12.0%的会话在存在违规步骤时被误判为成功。 同时评估程序与结果能更准确反映大语言模型在印度零售银行业务中的实际表现。
来源：arXiv · NLP · arxiv.org