跳到正文
Hacker News LLM· vaibhavarduino·· 4 天前精选AI 评分82

通过修改 LLM 输出层单行权重停止过度思考

Editing one row of an LLM's output layer to stop it overthinking

AI 导读

作者通过修改 </think> 行的输出层权重,在免训练条件下让模型根据隐藏状态判断何时停止思考。在 Qwen3.5-4B 上,该方法在保持准确率的同时减少 54% 的 token 用量;在 DeepSeek V4.1 Flash 763B 上,解决数学题的 token 用量降低 40%,且代理任务的盲评得分最高。

推荐理由

提供免训练的单行权重修改方法,读者可复用在本地模型以缩短思考时间并节省token。

来源:Hacker News LLM · think-graft.vercel.app