arXiv · ML· Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford·· 7 天前AI 评分32
Next-Latent Prediction Transformers Learn Compact World Models
Next-Latent Prediction Transformers Learn Compact World Models
AI 导读
该研究提出Next-Latent Prediction(NextLat)方法,通过在隐空间进行自监督预测,使Transformer学习压缩的潜在状态和一致转移规则,解决标准下一词预测泛化能力差的问题。
来源:arXiv · ML · arxiv.org