arXiv · AI· Shengtao Wu, Zichao Dong, Weixuan Qiao, Xiaolu Liu, Xin Zhan, Junbo Chen, Jianke Zhu·· 7 天前AI 评分34
三元组增量训练框架:将通用 VLM 转化为多功能驾驶 VLM
From Foundation VLM to Versatile Driving VLM: A Triplet Incremental Training Approach
AI 导读
三元组增量训练框架通过非侵入式方法,在保留通用 VLM 开放世界能力的同时注入 3D 几何感知,无需修改架构。 框架利用 (图像, 深度, QA 对) 三元组进行三流训练:主 VLM 流适配驾驶任务,辅助深度流隐式想象 3D 几何,冻结孪生 VLM 流通过 logit 级 KL 蒸馏防止语义漂移;部署时丢弃深度流,实现零推理开销。
来源:arXiv · AI · arxiv.org