跳到正文
arXiv · AI· Alexandra G. Roberts, Maneesh John, Jinwei Zhang, Dominick Romano, Mert Sisman, Ki Sueng Choi, Heejong Kim, Mert R. Sabuncu, Thanh D. Nguyen, Alexey V. Dimov, Pascal Spincemaille, Brian H. Kopell, Yi Wang·· 17 小时前AI 评分23

小数据下高效分词的光谱 Vision Transformer 架构

Spectral Vision Transformer for Efficient Tokenization with Limited Data

AI 导读

针对 Vision Transformer 分词依赖分辨率且需大量数据的问题,作者提出光谱 Vision Transformer 架构,在有限数据场景下实现高效分词。 该架构将图像分词为固定基底的系数,每个 token 对应一个频谱模态,序列长度由选择决定而非分辨率隐含,从而降低注意力成本。 在公开医疗影像基准、自然图像及受保护临床数据上,该模型在数据稀缺时表现出优越或相当的绩效。

来源:arXiv · AI · arxiv.org