跳到正文
arXiv · ML· Runlin Shi, Bojian Yin, Guoqi Li·· 12 小时前AI 评分24

自回归语言建模的两个原则

Two Principles for Autoregressive Language Modeling

AI 导读

研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。

来源:arXiv · ML · arxiv.org