跳到正文
arXiv · AI· Nicolas Dufour, Elouan Gard\`es, Amil Dravid, Patrick P\'erez, Loic Landrieu·· 6 小时前AI 评分36

Neural Thickets 新解:无权重扰动下的输出多样性机制

Rethinking Neural Thickets Without Weight Perturbations

AI 导读

研究提出 Perturb-Select-Vote (PSV) 框架,证明无需修改预训练语言模型的权重,仅通过添加随机偏置即可在推理任务上匹配或超越全权重扰动效果。 PSV 通过在验证集筛选并投票聚合生成预测,将 Neural Thickets 假设与采样及自一致性等推理时方法联系起来。 该方法提供简单且免训练的替代方案,在视觉领域显著提升了性能。

来源:arXiv · AI · arxiv.org