arXiv · ML· Junsoo Oh, Wei Huang, Taiji Suzuki·· 10 天前AI 评分21
Mamba 如何通过测试时特征学习在上下文中学习低维目标
Mamba Can Learn Low-Dimensional Targets In-Context via Test-Time Feature Learning
AI 导读
Mamba 通过测试时特征学习高效实现上下文学习(ICL),提取单索引模型中的相关特征方向。 其样本复杂度优于类似核方法的线性 Transformer,并与非线性 Transformer 相当。分析揭示了非线性门控机制在特征提取中的关键作用,驱动 Mamba 的算力效率与高性能。
来源:arXiv · ML · arxiv.org