热点事件持续更新

arXiv论文测试动态评估在不同LLM架构上的效果

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

arXiv论文测试了“动态评估”（即语言模型在读取文本时通过梯度步降低损失）在不同架构上的表现。该测试覆盖混合线性注意力（如Gated-DeltaNet）、扩散语言模型（如Nemotron-Diffusion-8B）和标准长上下文基准，每128个token在最后一部分块的MLP输出投影上执行一次SGD步，窗口为2k，未进行训练，并在多个基准（RULER等）上评估100条以上样本。在Softmax模型中，2k动态窗口比32k冻结模型损失少5-8%；Gated-DeltaNet增益不足1%；扩散模型提升明显（8%-20%）。但动态评估主要改变风格与词汇，无法恢复因截断上下文导致的检索准确率损失。

AI 根据报道生成 · 2 小时前更新

最新进展10月27日 12:00

语言模型思考时能否学习？跨架构梯度适应测试

报道时间线

沿着报道，了解事件的不同侧面。

10月27日

12:00
arXiv · NLP
语言模型思考时能否学习？跨架构梯度适应测试
语言模型在动态评估中通过梯度步降低损失。Softmax 模型在 2k 窗口下比 32k 冻结模型少 5-8% 损失，而 Gated-DeltaNet 模型增益不足 1%。扩散模型效果更显著，Nemotron-Diffusion-8B 提升 8%，DiffusionGemma-26B 提升 17-20%。该适应主要改变风格与词汇，无法恢复被截断上下文导致的检索准确率损失。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。