arXiv · NLP· Dongsun Moon·· 7 天前AI 评分27
声明式评分规则并非阈值合规:开放语言模型中的弃权行为研究
Abstention Is Not Threshold Compliance: Stated Scoring Rules in Open Language Models
AI 导读
在开放语言模型中,仅限定回复为“答案”或“弃权”的格式可将弃权率从20%提升至91%,但调整阈值 t=0.5 至 0.9 仅改变0.8个百分点。 模型对强制选择探测中的阈值反应微弱,40%项目的决策违反无阈值依赖信念的合规策略;OLMo 3 7B在训练后的决策未能一致遵循未见阈值。 使用显式评分规则进行评估时,应报告模型弃权频率、决策对阈值的响应及具体作答项目。
来源:arXiv · NLP · arxiv.org