LessWrong · All Posts· Josh Snider·· 3 小时前AI 评分30
暴力破解 AlgZoo 432 参数可解释性挑战
Brute-Force Progress on AlgZoo's 432-param Interpretability Challenge
AI 导读
通过训练 8,000 个同配方模型构建估计器,在单次前向传递数低于 300 时,将 432 参数 RNN 的准确率估计误差降低 9-36 倍。 该方法基于批量大小为 128 的 Adam 优化器训练,以 1 次前向传递等价于 2,880 次乘加运算作为算力基准,旨在超越随机采样推进帕累托前沿。 属于探索性尝试,作者认为其为针对模型族的拟合而非突破性理论。
来源:LessWrong · All Posts · lesswrong.com