AI 安全倡导者应如何优化灭绝风险沟通策略
AI 安全组织需测试不同灭绝风险场景(如生物、网络)对公众的说服力,而非仅争论是否使用该类框架。文章建议通过测试不同信源(如医生、AI 科学家)及场景具体化,改进风险传播效果。
AI 安全组织需测试不同灭绝风险场景(如生物、网络)对公众的说服力,而非仅争论是否使用该类框架。文章建议通过测试不同信源(如医生、AI 科学家)及场景具体化,改进风险传播效果。
文章探讨了递归自我改进(RSI)的概念,即AI模型自动构建更强大后继者的反馈循环。文中引用了Anthropic、OpenAI等机构的近期表态,指出虽然它们都强调需极度谨慎对待RSI,但并未完全禁止,而是强调安全性。文章还提及了Ezra Klein等人呼吁禁止RSI的观点,认为这关乎人类对AI前沿的控制权。
作者在秘鲁库斯科为读书会“De Profundis”举办烛光演讲,纪念 1983 年成功阻止核误判的 Stanislav Petrov。作者引用 Petrov 名言“计算机没有大脑”,指出随着 AI 发展,人类日益丧失质疑机器的能力与最后裁决权。文章反思了当前环境下 AI 对人类判断力的挑战,呼吁给予 AI 更多时间来审慎发展。