arXiv · ML· Omer Haq·· 7 天前AI 评分26
Recursive SALM:预训练语言模型的持久潜变量自适应框架
Recursive State-Augmented Language Models: Persistent Latent-State Adaptation of Pretrained Language Models
AI 导读
Recursive SALM框架通过模态化读写架构生成预训练模型自适应,在四轮假设推理任务中,基于64维状态的LoRA达到89.1%准确率。 该结果与全上下文LoRA基线的88.0%相当,在双轮任务中可改善未训练词码排序但难以精确生成。实验证明持久潜变量条件化自适应可在无先前证据时支持序列推理。
来源:arXiv · ML · arxiv.org