arXiv · AI· Jae Oh Woo, Mengdie Flora Wang, Rahul Ghosh, Baishali Chaudhury, Mun Young Kim·· 7 小时前AI 评分32
LLM 能否可靠自我评估？一种概率 VC 框架
Can LLMs Reliably Evaluate Themselves? A Probabilistic VC Framework
AI 导读
研究构建了概率 VC 框架，测试 11 个 7-8B 模型在 360 道数学题上的自我评估能力。发现自我评估表达力与校准度存在系统性反向关系，Qwen2.5-7B-Instruct 表现最佳。 该框架结合 Probabilistic VC 与校准感知指标，优于传统 ECE 评估。 结果表明不同架构与训练范式下均存在此权衡，为诊断自反式 LLM 提供了实用工具。
来源：arXiv · AI · arxiv.org