Perceiver IO：适用于任意模态的可扩展全注意力模型

Hugging Face Transformers 新增 Perceiver IO，这是首个基于 Transformer 且适用于文本、图像、音频、视频及点云等任意模态及其组合的模型。该架构在潜在变量上使用自注意力，使计算量独立于输入大小，仅线性依赖输入规模。模型支持 256 或 512 个潜在变量，可实现图像分类及光流预测等任务。