arXiv · ML· Alireza Asghari, Parikshit Ram, Kaushik Sinha·· 9 小时前AI 评分24
梯度下降学习 Expand-and-Sparsify 表示优于随机映射
On Learning Expand-and-Sparsify Representations
AI 导读
实验表明，学习 Expand-and-Sparsify 映射在窄扩展维下显著优于随机映射，优势随扩展维增加而消失。 在 73 个分类和 48 个回归任务中，学习后的 top-k 稀疏表示与密集 ReLU 层性能持平，且稀疏程度随扩展维增加而提升。
来源：arXiv · ML · arxiv.org