arXiv · ML· Hans Peter Lyngs{\o}e Raaschou-jensen (University of Copenhagen), M. Onurcan Kaya (Technical University of Denmark), Desmond Elliott (University of Copenhagen)·· 7 小时前AI 评分21
BatchParScale：面向序列模型的稀疏批次混合注意力机制
BatchParScale: Sparse Batch-Mixing for Sequence Models
AI 导读
BatchParScale 是一种允许并行推理流通过少量通信位置交换信息的注意力机制，旨在改进测试时扩展性能。 在预训练、微调及协作多智能体强化学习评估中，BatchParScale 在语言模型损失上优于 ParScale，并可通过 LoRA 添加到预训练 Transformer 中。
来源：arXiv · ML · arxiv.org