arXiv · NLP· Surya Saka·· 3 小时前AI 评分21
语言模型思考时能否学习？跨架构梯度适应测试
Can Language Models Learn While They Think? Testing Gradient Adaptation Across Architectures
AI 导读
语言模型在动态评估中通过梯度步降低损失。Softmax 模型在 2k 窗口下比 32k 冻结模型少 5-8% 损失，而 Gated-DeltaNet 模型增益不足 1%。 扩散模型效果更显著，Nemotron-Diffusion-8B 提升 8%，DiffusionGemma-26B 提升 17-20%。该适应主要改变风格与词汇，无法恢复被截断上下文导致的检索准确率损失。
来源：arXiv · NLP · arxiv.org