arXiv · AI· Terry Yue Zhuo, Armel Zebaze, Nitchakarn Suppattarachai, Leandro von Werra, Harm de Vries, Qian Liu, Niklas Muennighoff·· 4 天前AI 评分26
Astraios:参数高效指令微调代码大语言模型
Astraios: Parameter-Efficient Instruction Tuning Code Large Language Models
AI 导读
Astraios 构建了包含 28 个基于 OctoCoder 的指令微调模型,覆盖 7 种微调方法及 4 种不同规模的模型(最大 16B 参数)。 在 5 类任务和 8 个数据集上的测试表明,全参数微调(FFT)在下游任务中表现最好,而 LoRA 在成本与性能之间通常能取得最佳平衡。 研究还发现,模型规模越大,其鲁棒性和代码安全性往往越低。
来源:arXiv · AI · arxiv.org