跳到正文
arXiv · NLP· Mohammed Nayeem Khan, Logesh L·· 11 天前AI 评分24

Laya 非自回归决策模型的选项顺序敏感性测试

Maya a1: Do the Options Read the Model, or Does Their Position? Order Sensitivity in a Non-Autoregressive Decision Model

AI 导读

测试显示 Laya 模型在选项顺序变化下改变答案的比例高达 25.8%,其中低置信度区间翻转率显著更高。 针对 951 道验证过的题目进行多种排列测试,发现调整选项顺序可显著影响结果。使用 2,818 行数据微调后,翻转率降至 7.2%,其中打乱顺序策略贡献了 4.2 个百分点的改进。

来源:arXiv · NLP · arxiv.org