跳到正文
arXiv · ML· Ziqi Gao, Yaotian Zhu, Qingcheng Zeng, Xu Zhao, Ziqing Wang, Feng Ruan, Kaize Ding·· 10 天前AI 评分33

RAPTOR:一种基于岭回归自适应的Logistic探针方法

RAPTOR: Ridge-Adaptive Logistic Probes

AI 导读

RAPTOR 是一种基于岭回归自适应的正则化 Logistic 探针,通过验证集调优岭强度从归一化权重中提取概念向量。该方法在指令微调 LLM 实验中与强基线持平或更优,且训练成本大幅降低。研究借助凸高斯极小极大定理解释了惩罚强度对探针准确性及稳定性的机制。

来源:arXiv · ML · arxiv.org