跳到正文
LessWrong · All Posts· nesiacel·· 4 小时前AI 评分41

LoRA 逆向工程框架与 Weird Generalization 后门分析

Towards LoRA science

AI 导读

研究者开发了针对 MLP 下投影层训练的 LoRA 逆向工程框架,推测该框架可扩展至所有 LoRA。该框架揭示 Weird Generalization 后门机制通过连接通用问题激活神经元与残差流中写入异常输出的神经元起作用。 这一研究包含四个实验以构建该框架,旨在通过逆向工程理解 LoRA 在冻结模型权重上的具体影响机制。

来源:LessWrong · All Posts · lesswrong.com