arXiv · ML· Jiading Gai, Shuai Zhang, Xiang Song, Bernie Wang, George Karypis·· 11 小时前AI 评分35
DualKV：共享提示 Flash Attention 实现高效长上下文 RL 训练
DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts
AI 导读
DualKV 提出首个消除共享提示复用的 FlashAttention 内核变体，实现与标准注意力数学等价。 在 Qwen3-8B 上支持 8K 上下文和 32 次 rollouts，策略更新提速 1.63-2.09 倍，MFU 从 36% 提升至 76%。 该方案扩展至 30B MoE 模型和 64K 长上下文 Gemma-4-31B，有效解决大 rollout 长上下文训练瓶颈。
来源：arXiv · ML · arxiv.org