arXiv · NLP· Zhenshuai Yin, Jianshu Liang, Xuyue Xiong, Yongxin Guo, Mingda Zhang, Zhongze Luo, Haoyue Liu, Lianmin Zhang, Xiaoying Tang·· 3 小时前AI 评分20
LADDER：噪声反馈下诊断领域级自我评估能力
LADDER: Diagnosing Domain-Level Self-Assessment Under Noisy Feedback
AI 导读
LADDER 框架揭示语言模型在不可靠交互反馈下形成可信自我评估的局限性。模型能准确复述提供的性能信息，却难以从交互经验中建立可靠自我认知，且这种表面准确的评估未必能预测未来任务表现。研究为基于实际任务表现评估模型能力意识提供了实证基础。
来源：arXiv · NLP · arxiv.org