LessWrong · All Posts· Ram Bharadwaj·· 10 天前AI 评分62
TASTE基准显示期待自动评分会降低模型研究品味
Does expecting automated grading degrade models’ research taste?
AI 导读
研究者让3个开放权重模型相信其回答由自动化验证程序而非人类评分,并测量模型在TASTE基准上与AI安全专家判断的一致性。在SDF和激活引导两种信念植入条件下,模型对专家判断的一致率低于人类评分信念,其解释更侧重可行性而非概念贡献,表明自动评分预期可能偏好易于验证的项目而非对降低AI风险潜力更大的项目。
来源:LessWrong · All Posts · lesswrong.com