arXiv · AI· Sahil Kale·· 4 小时前AI 评分28
跨语言与本地化场景下的 LLM 时序置信度评估:超越校准
Beyond Calibration: Temporal LLM Confidence Assessment Across Languages and Local Settings
AI 导读
研究评估了两个前沿 LLM 在解题前后阶段的置信度信号,发现解决前信号校准较弱,而解决后信号具有更强的认知对齐但增加推理成本。 该信号在英文与马拉地语直接翻译间保持良好转移,但在本地马拉地语知识任务上显著退化,且幻觉回答在生成后仍维持高置信度,揭示现有 LLM 自我评估机制的局限。
来源:arXiv · AI · arxiv.org