跳到正文
arXiv · ML· Yingtong Dou, Shubham Jain, Junpeng Wang, Hadi Abdullah, Vineeth Rakesh Mohan, Yuzhong Chen, Liang Wang, Yiwei Cai·· 2 天前AI 评分41

VRLLM:通过微调 Llama 3.2 1B 构建强大的表格分类器

VRLLM: Turning LLMs into Powerful Tabular Classifiers

AI 导读

Visa Research 通过微调预训练模型 Llama 3.2 1B,利用数十亿行标注表格数据训练出模型 VRLLM,该模型性能超越了多种表格分类器及现有的生产级深度学习模型。 研究团队在论文中详细说明了数据准备、训练策略及部署验证流程,并通过消融实验发现最早的两个 FFN 层对任务信息的涌现有贡献。 该研究为将紧凑型 LLM 适配到工业级表格预测任务提供了一套工程方案与实证案例。

来源:arXiv · ML · arxiv.org