跳到正文
arXiv · ML· Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford·· 7 天前AI 评分32

Next-Latent Prediction Transformers Learn Compact World Models

Next-Latent Prediction Transformers Learn Compact World Models

AI 导读

该研究提出Next-Latent Prediction(NextLat)方法,通过在隐空间进行自监督预测,使Transformer学习压缩的潜在状态和一致转移规则,解决标准下一词预测泛化能力差的问题。

来源:arXiv · ML · arxiv.org