arXiv · AI· Roberto Dailey, Kajetan Schweighofer, Jamieson Warner, Conor F. Hayes, Elliot Meyerson, Babak Hodjat, Risto Miikkulainen, Xin Qiu·· 3 小时前AI 评分28
进化策略悖论：更差的扰动如何带来更好的模型
The Evolution Strategies Paradox: Better Models from Worse Perturbations
AI 导读
进化策略（ES）在微调大语言模型时存在一个悖论：生成的子代模型通常表现比父代更差，但父代在训练过程中持续改进。 这一现象源于高维空间中探索导致的局部性能下降，但聚合扰动方向后仍能实现局部改进，体现了噪声与曲率的协同作用。 研究指出这种“优化范式的副产物”为利用ES方法微调LLM提供了理论指导。 ```
来源：arXiv · AI · arxiv.org