跳到正文
arXiv · AI· Nathan Sheffield, Alek Westover, Lukas Finnveden, Alexa Pan, Julian Stastny, Ryan Greenblatt·· 4 天前AI 评分29

不透明串行深度的操作化:NLS 深度及其在 AI 模型可监控性中的应用

An Operationalization of Opaque Serial Depth

AI 导读

提出 NLS 深度作为不透明串行深度的操作化指标,用于衡量模型中不可被语言解读的串行计算路径。该指标在训练中即可判定,对提示、蒸馏和强化学习等普通后训练不敏感。研究发现,在开放权重模型中,NLS 深度与层数强相关,且近年增长缓慢。

来源:arXiv · AI · arxiv.org