arXiv · ML· Runlin Shi, Bojian Yin, Guoqi Li·· 12 小时前AI 评分24
自回归语言建模的两个原则
Two Principles for Autoregressive Language Modeling
AI 导读
研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。
来源:arXiv · ML · arxiv.org