arXiv · NLP· Hangyeul Lee, Juyoung Oh, Jaeyong Ko, Sunmin Kim, Jaeik Park, Hyunkyu Kim, Jungmin Son, Pilsung Kang·· 3 小时前AI 评分28
FinLifeBench 评估 LLM 纵向银行对话中的生活事件与财务状态重建
FinLifeBench: Exhaustive Life-Event History and Financial-State Reconstruction from Longitudinal Banking Dialogue
AI 导读
研究人员发布 FinLifeBench，包含 6000 个韩语银行对话，评估 LLM 重建 24 类生活事件和 34 条财务状态路径的能力。 测试 11 个 LLM 发现，事件锚点召回率随对话长度增加从 0.591 降至 0.445，主要因遗漏事件而非定位不准。 财务状态重建易将过时信息视为最新，最佳 GCA@15 仅为 0.470，且两项任务表现弱相关。
来源：arXiv · NLP · arxiv.org