Transformer提示遗忘幂律衰减机制研究
热点事件持续更新
Transformer提示遗忘幂律衰减机制研究
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
10月16日，研究人员Shuyang Xiang在arXiv发布论文《Transformer的条件无毛定理：语言模型如何忘记其提示》，提出自回归Transformer中提示对隐藏状态的影响随生成Token数呈幂律衰减。\n\n该衰减特性并非无条件成立，而是有明确的适用边界：模型需为有限深度的pre-LN softmax Transformer，注意力logits需有界，且pre-norm激活值需远离零。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · AIA Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt
研究指出，自回归 transformer 中 prompt 对 hidden states 的影响随生成 token 数 $t$ 呈幂律衰减 $t^{-\alpha}$。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。