arXiv · ML· Zhichao Xu, Xueguang Ma, Shengyao Zhuang, Luyu Gao, Wenqian Ye, Yu Wang, Jamie Callan, Jimmy Lin·· 10 天前AI 评分40
Tevatron 3.0 整合 Megatron-Core 实现学术级专家并行重排序器训练
Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget
AI 导读
Tevatron 3.0 集成 Megatron-Core,开放源代码并支持 Qwen3-30B-A3B 重排序器训练。 在 BEIR-15 测试中,全参数 8B 密集模型 epoch 时间降低约 4% 至 22%,内存占用提升;MoE 模型激活参数减半且推理吞吐量更高。
来源:arXiv · ML · arxiv.org