研究提出自回归语言建模两大原则
热点事件持续更新
研究提出自回归语言建模两大原则
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Runlin Shi、Bojian Yin 和 Guoqi Li 发布论文《Two Principles for Autoregressive Language Modeling》,在 Qwen3 和 Llama3.1 模型中引入两项基于干预的指标:RoPE 频率重要性分数(RFIS)通过移除频率贡献测量注意力分布变化,RoPE 位置依赖性(RPD)隔离旋转调制的效果。 研究发现中低频全局位置带阻碍零样本长度外推,建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,以支持基于功能需求的架构创新。
AI 根据报道生成 · 11 小时前更新
最新进展11月19日 13:00
自回归语言建模的两个原则报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv · ML自回归语言建模的两个原则
研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 911月19日 15:00
- 近 24 小时变化
- –
02.557.510
16:0018:0020:0022:0011月20日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。