arXiv · ML· Hiroki Tamba·· 24 天前AI 评分39
LLM-as-Judge 安全评估中温度控制与可复现性的必要非充分性研究
Necessary but Not Sufficient: Temperature Control and Reproducibility in LLM-as-Judge Safety Evaluations
AI 导读
日本 AISI 开源工具 aisev 实测显示,温度设为 0 无法保证 LLM-as-Judge 评估结果可复现。在 690 次 API 调用中,强制贪心解码下仍有 1-2 个边缘样本存在翻转。该研究揭示了单次运行结果缺乏方差指标的结构性缺陷,并建议将评分器分歧作为一级健康指标。
来源:arXiv · ML · arxiv.org