跳到正文
arXiv · NLP· Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho·· 9 小时前AI 评分29

NeuNeu 将扩展定律预测转化为时间序列外推

Neural Neural Scaling Laws

AI 导读

NeuNeu 模型在 66 个下游任务中预测精度的平均绝对误差为 1.99%,较逻辑扩展定律降低 44%。 该模型基于 HuggingFace 开源检查点训练,能将准确率轨迹与 token 级验证损失结合进行预测。NeuNeu 可零样本泛化至未见过的模型家族、架构及参数规模。

来源:arXiv · NLP · arxiv.org