arXiv · ML· Hyunjong Ok, Jaeho Lee·· 2 天前AI 评分37
权重空间编程中的 LLM 设计:稀疏表模型优于同构 Transformer
Weight-Space Programming Doesn't Need Transformers
AI 导读
在权重空间编程任务中,前沿 LLM 设计出的稀疏表模型在多选题测试集上达到 54.4% 准确率,参数数量比同 LLM 编写的 Transformer 少约 1,800 倍。
来源:arXiv · ML · arxiv.org