BatchParScale注意力机制提出与评测

Raaschou-Jensen等人提出BatchParScale，一种允许并行推理流通过少量通信位置交换信息的稀疏批次混合注意力机制，旨在改进测试时扩展性能。 在预训练、微调及协作多智能体强化学习评估中，BatchParScale在语言模型损失上优于ParScale，并可通过LoRA添加到预训练Transformer中。 该机制在协调敏感的MARL任务上具有竞争力，但作者指出预训练及微调后的BatchParScale模型在事实检索性能上仍不明确。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。