arXiv · NLP· Yi-Cheng Lai, Hen-Hsen Huang·· 13 小时前AI 评分21
FutureBench 提出评估 LLM 知识-上下文冲突的可再生框架
FutureBench: A Renewable Framework for Evaluating Knowledge-Context Conflict in LLMs
AI 导读
FutureBench 利用时间戳问题评估 LLM 知识-上下文冲突,发现 Verify 提示词在截止前事件中使 5 个模型错误答案采纳率全面上升。 该框架覆盖 3629 个问题和 6 个模型,针对 902 个截止后问题的对比显示,Adversarial-Aware 提示词可恢复 82.5-98.9% 的被取代答案。 支持在固定队列上重复评估并扩展至新事件,以适应模型更新。
来源:arXiv · NLP · arxiv.org