跳到正文
arXiv · ML· Hyunjong Ok, Jaeho Lee·· 2 天前AI 评分37

权重空间编程中的 LLM 设计:稀疏表模型优于同构 Transformer

Weight-Space Programming Doesn't Need Transformers

AI 导读

在权重空间编程任务中,前沿 LLM 设计出的稀疏表模型在多选题测试集上达到 54.4% 准确率,参数数量比同 LLM 编写的 Transformer 少约 1,800 倍。

来源:arXiv · ML · arxiv.org