跳到正文
arXiv · ML· Amin Golnari, Saeid Sanei·· 3 天前AI 评分26

无训练权重烘焙能否提升LLM潜在空间几何成熟度

Can AI Mature a Model's Geometry? Training-Free Weight Baking in LLMs

AI 导读

研究者提出一种无训练权重烘焙方法,让分析模型读取冻结目标层拓扑描述符,通过岭回归直接改写前馈权重。 在126次实验及5模型循环互测中,方法显著提升了未见词语和句子的类别纯度,基准准确率保持在采样误差范围内。 该方法为基于LLM引导、不使用原始权重的无训练模型编辑提供了基线方案。

来源:arXiv · ML · arxiv.org