arXiv · NLP· Abhishek Barali, Aayush Paudel·· 7 小时前AI 评分36
开放权重模型在提取列表中填充至 schema 最小计数：预注册研究揭示 34.5% 至 55.4% 的误报率
Padding to k: A Minimum Count in the Schema Makes Open-Weight Models Pad Their Extraction Lists
AI 导读
一项预注册研究测试了 8 个开放权重模型在 558 份真实文档上的表现，发现当 schema 设定未强制的最小计数 k 时，模型倾向于填充列表。 显示 schema 中的最小计数会将列表长度超过真实数量的比例从 34.5% 提升至 55.4%，且约一半的填充项来自原文，难以通过常规检查发现。 研究者发布了代码和运行记录，指出常见修复方法效果有限，重新询问验证错误反而使填充更常见。
来源：arXiv · NLP · arxiv.org