跳到正文
arXiv · ML· Hadi Salloum, Ammar Ali·· 9 天前AI 评分25

Tree-Ising:利用比特级 Ising 编辑修复大语言模型

Tree-Ising: Repairing Language Models with Bit-Level Ising Edits

AI 导读

Tree-Ising 方法将模型权重修复转化为稀疏离散优化问题,Qwen3.5-0.8B 在 MATH-500 上得分为 54.6%。 该方法通过修改 13%-17% 权重并减少 2.2-2.3 倍比特翻转,仅耗 4 次前向传播及约 $0.90 GPU 费用。 在 Qwen3.5-2B 上,GSM8K 准确率从 21.6% 提升至 69.4%,并在 IBM Heron 处理器验证可行性。

来源:arXiv · ML · arxiv.org