跳到正文
LessWrong · All Posts· Adam Bricknell·· 3 小时前AI 评分30

小型 NLA 和探针读取 Qwen3.6-27b 评估意识效果媲美全尺寸 NLA

Smaller NLAs and probes read eval awareness as well as full size NLAs

AI 导读

从 Qwen3.6-27b 蒸馏出的 2B NLA 在读取智能体错位与评估意识方面表现与 27B NLA 相当,但冷知识表现较差。 基于 2B 模型生成的标签训练的线性探针,以极低成本匹配了 27B NLA 结合 LLM 评审在评估意识上的效果,且 2B-align 增加对齐强化学习未见提升。 相关基准和探针已在 GitHub 及 HuggingFace 开源,可用于大模型内部状态的大规模读取。

来源:LessWrong · All Posts · lesswrong.com