arXiv · ML· Aditya Kulkarni, Davide Sartor, Carlos Soto, Nathan Wycoff·· 2026-10-14AI 评分30
LlMBO:利用贝叶斯优化微调 LLM
How Low Can You Go: Fine-Tuning LLMs with Bayesian Optimization (LlMBO)
AI 导读
LlMBO 提出一种基于贝叶斯优化的 LLM 微调方法,作为 TinyLoRA 中梯度法的有效替代。 该方法无需梯度、内存占用低,支持跨设备并行,并能直接优化贪心解码准确率。 在数学基准测试中,LlMBO 的性能可匹敌或超越 GRPO,且计算与内存开销大幅降低。
来源:arXiv · ML · arxiv.org