arXiv · NLP· Zengqing Wu, Chuan Xiao·· 7 天前AI 评分30
语言模型在本地定义缺失时的稳定错误研究
When Local Definitions Are Missing: Stable Errors in Language Models
AI 导读
研究发现,当熟悉词汇被重新定义时,语言模型常给出稳定但错误的回答,且重复回答或置信度无法可靠识别错误。 在合成测试中,提供源定义可修复大部分错误,但在真实合同场景中仅能修复约一半;小模型在获得答案后能预测大模型出错概率。 该结果呼吁建立检查完整源文件的测试标准,以涵盖本地定义。
来源:arXiv · NLP · arxiv.org