跳到正文
LessWrong · All Posts· CMLKevin·· 5 天前AI 评分42

RL Reward-Hack Auditing for Chinese AI Safety

RL Reward-Hack Auditing for Chinese AI Safety

AI 导读

中国AI安全人才与资源匮乏,计划通过审计上游RL环境中的reward-hacks来降低风险。 在Xiaomi MiMo v2.6开源环境中发现2/3存在Git日志泄露,主要中国AI公司仅5-10人从事对齐工作。 该策略旨在减少近期危害并参与制定国家级AI安全标准。

来源:LessWrong · All Posts · lesswrong.com