跳到正文
arXiv · ML· Zhichao Xu, Xueguang Ma, Shengyao Zhuang, Luyu Gao, Wenqian Ye, Yu Wang, Jamie Callan, Jimmy Lin·· 10 天前AI 评分40

Tevatron 3.0 整合 Megatron-Core 实现学术级专家并行重排序器训练

Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget

AI 导读

Tevatron 3.0 集成 Megatron-Core,开放源代码并支持 Qwen3-30B-A3B 重排序器训练。 在 BEIR-15 测试中,全参数 8B 密集模型 epoch 时间降低约 4% 至 22%,内存占用提升;MoE 模型激活参数减半且推理吞吐量更高。

来源:arXiv · ML · arxiv.org