arXiv · ML· Benhao Huang, Chaitanya Dwivedi, Xuezhe Ma, Alexander Moreno, Hector Liu·· 3 天前AI 评分38
潜反馈是算力与数据放大器
Latent Feedback Is a Compute and Data Amplifier
AI 导读
潜反馈(Latent Feedback)机制在固定数据或算力时,分别比标准Transformer减少48%算力和47%数据消耗。 该结论基于60M至778M参数模型的实验与缩放定律拟合,预测误差控制在0.3%以内。 当数据而非算力成为瓶颈时,潜反馈是给定规模模型更高效的算力利用方式。
来源:arXiv · ML · arxiv.org