跳到正文
arXiv · NLP· Radha Yadav, Prasanna Devadiga, Peeyush Mishra, Apoorv Singh·· 21 天前AI 评分23

正确数字,错误问题:评估 LLM 处理欠规范金融查询的能力

Right Numbers, Wrong Questions: Evaluating LLMs on Underspecified Financial Queries

AI 导读

研究显示,金融助手常因忽略用户未言明的背景发生“框架坍缩”,即便使用真实数据也会回答错误问题。在印度共同基金测试中,模型盲目接受模糊标签,且在缺乏投资者信息时默认套用过时税则。这些数据一致的错误答案能通过常规事实核查,凸显了评估 LLM 金融应用鲁棒性的必要性。

来源:arXiv · NLP · arxiv.org