Nicholas Roberts等提出合成数据改写标度律
热点事件持续更新
Nicholas Roberts等提出合成数据改写标度律
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Nicholas Roberts等人发布论文《Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints》，提出合成数据改写标度律。该理论旨在预测在计算与数据限制下的最优改写比例，覆盖模型规模、训练令牌数及自然数据epoch数对loss的影响。研究显示，计算量从10^18 FLOPs增至10^22 FLOPs时，最优改写比例由不足10%升至32%。在22B参数模型上，该方法损失预测误差为1.1%，其BPB优于改写者，且计算量仅为后者的十分之一。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 12:00
提出合成数据改写标度律：预测计算与数据限制下的最优改写比例报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv · ML提出合成数据改写标度律：预测计算与数据限制下的最优改写比例
研究提出合成数据改写标度律，预测模型规模、训练令牌数、改写比例及自然数据epoch数下的loss。在计算限制场景下，最优改写比例从$3\times10^{18}$ FLOPs时的不足10%增至$10^{22}$ FLOPs时的32%，22B参数模型损失预测误差为1.1%，其BPB优于改写者且计算量仅为后者十分之一。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。