跳到正文
arXiv · AI· Genshin Kakimoto, Atsushi Yanagisawa·· 4 小时前AI 评分20

分阶段持续适配多模态基础模型用于日本金融文档

Staged Continual Adaptation of Multimodal Foundation Models for Japanese Financial Documents

AI 导读

追踪一个 8.4B 参数模型在日本金融文档上的三阶段后训练发现,各阶段能力交换非加性,最佳检查点因任务而异。 纯数学蒸馏会覆盖早期金融知识但保留程序性数学技能,领域阶段修复多于安装,跳过阶段消融虽最优但失去数值推理收益。 这意味着检查点保留和调度策略需根据任务动态调整,而非简单增加训练阶段。

来源:arXiv · AI · arxiv.org