arXiv发布日本金融文档多模态模型适配研究

arXiv 发布论文《Staged Continual Adaptation of Multimodal Foundation Models for Japanese Financial Documents》，聚焦多模态基础模型在日本金融文档上的分阶段持续适配研究。 该研究追踪了一个 8.4B 参数模型在日本金融文档上的三阶段后训练过程，涵盖视觉语言对齐、推理蒸馏与领域调优，并发现各阶段能力交换具有非加性特征，最佳检查点因任务而异。 实验表明，纯数学蒸馏会覆盖早期金融知识但保留程序性数学技能，领域阶段修复多于安装，跳过阶段消融虽最优但失去数值推理收益。这意味着检查点保留和调度策略需根据任务动态调整，而非简单增加训练阶段。

AI 根据报道生成 · 2 小时前更新