PACK3D算子解决3D数据注意力几何问题并被NeurIPS接收

Amil Khan等团队提出PACK3D注意力算子，旨在解决3D体积数据打包后几何编码失效的问题。该算子分离内存布局与注意力几何，通过轴向RoPE保持空间可解释性，确保局部注意力精确，并将远距离上下文压缩为连续的3D块摘要。 在Allen WTC-11数据集上测试表明，PACK3D性能优于参数匹配的3D U-Net。该研究的Triton实现支持长达65k tokens的上下文窗口，增强了长程依赖处理能力。 该研究成果已被NeurIPS 2026接收为Poster展示。这项进展为处理大规模3D数据提供了新的局部-全局注意力机制，通过解耦布局与几何结构优化了计算效率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。