跳到正文
arXiv · ML· Mayank Gulati, Gerhard Wunder·· 9 天前AI 评分21

LLM 推理保证审计:内部信号与连续判决令牌评分的对比分析

Auditing the Judge: Internal Signals for LLM Reasoning Assurance

AI 导读

针对 7-12B 模型在 GSM8K 和 MATH 上的测试表明,注意力探针在 5% 审查预算下平均比连续判决令牌多发现 7.4 个百分点的错误。 在 10% 路由下,探针仅对较弱判官优于随机分配;跨数据集迁移导致探针 AUROC 下降。 内部信号提升领域内预算分配效率,但非通用置信度估计器。

来源:arXiv · ML · arxiv.org