跳到正文
热点事件持续更新

研究提出自回归语言建模两大原则

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

Runlin Shi、Bojian Yin 和 Guoqi Li 发布论文《Two Principles for Autoregressive Language Modeling》,在 Qwen3 和 Llama3.1 模型中引入两项基于干预的指标:RoPE 频率重要性分数(RFIS)通过移除频率贡献测量注意力分布变化,RoPE 位置依赖性(RPD)隔离旋转调制的效果。 研究发现中低频全局位置带阻碍零样本长度外推,建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,以支持基于功能需求的架构创新。

AI 根据报道生成 · 11 小时前更新

最新进展11月19日 13:00
自回归语言建模的两个原则

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv · ML
    自回归语言建模的两个原则

    研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。

本事件热度走势

可比范围当前
7
可比范围峰值
911月19日 15:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。