arXiv · ML· Leon Eshuijs, Archie Chaudhury, Alan McBeth, Ethan Nguyen·· 3 天前AI 评分27
JUSSA 框架利用导向向量辅助 LLM 评判器识别诚实度
But what is your honest answer? Aiding LLM-judges with honest alternatives using steering vectors
AI 导读
提出 JUSSA 框架,通过诚实导向向量生成对比替代方案,提升 LLM 评判器识别细微不诚实的可靠性。 GPT-4.1 评判器的 AUROC 从 0.893 提升至 0.946,Claude Haiku 从 0.859 提升至 0.929,且在人工验证的数据集上表现显著。 研究指出导向向量可作为白盒审计工具,在模型中间层最有效,开启了评估而非输出优化的新方向。
来源:arXiv · ML · arxiv.org