arXiv · NLP· Yujian Liu, Li An, Zelin He, Jacob Helwig, Jiabao Ji, Rohit Jain, Siyu Zhu, Shiyu Chang·· 16 小时前AI 评分41
构建用于自主发现线性注意力架构的 AI 研究团队
Building AI Research Teams for Autonomous Discovery of Linear Attention Architectures
AI 导读
由具备不同学科背景、保留私有研究历史并通过自适应分配获取机会的 AI 研究团队，在 1.3B 规模下搜索线性注意力架构，其语言建模、常识推理及检索任务表现均优于 GDN2。 实验证实移除学科背景、私有历史或改为均匀分配策略都会导致发现能力显著下降，表明持续自主发现依赖于研究人员构成、记忆机制及资源分配方式。
来源：arXiv · NLP · arxiv.org