新研究质疑随机搜索发现预训练任务专家的有效性

2026年11月3日，Julian Asilis等人发布论文，重新审视“神经网络丛林”理论中关于随机权重扰动能发现任务专家的观点。研究在12个模型-任务对中进行了实证分析，发现其中10个案例的最佳专家奖励提升超过75%可由纯选择噪声解释，表明存在明显的对选择集过拟合现象。 该研究进一步指出，随机扰动带来的性能优势通常在留出集上消失。此外，随机优化方法（RandOpt）常被基础模型的多数投票策略所超越。研究团队已公开代码与产物，结果显示随机搜索可能无法有效发现任务专家，任务适配需要比简单随机搜索更复杂的策略。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。