arXiv · ML· Nian Ran, Tianhe Jia, Zhengyang Mu, Yue Wang, Sebastian Brulin, Markus Olhofer, Mauricio A. Alvarez, Yang Liu, Richard Allmendinger·· 6 小时前AI 评分44
LLM 优化器中的重要瓶颈：原则级局部最优
An important Bottleneck in LLM Optimizers: Principle-Level Local Optima
AI 导读
研究发现反馈驱动的 LLM 优化器易陷入原则级搜索坍塌，161 次运行中 78.3% 存在坍塌支持，其中 55.3% 为强支持。 该研究构建了涵盖分子、网络及 GPU 内核优化的基准，并指出多样性注入只能带来有限且不一致的收益，参考原则干预的效果也随模型和任务波动。 这一诊断协议为评估未来优化器提供了基础，凸显了在线坍塌检测及维持替代原则机制的必要性。
来源：arXiv · ML · arxiv.org