跳到正文
arXiv · ML· Gal Katzhendler, Gilad Yehudai, Gal Vardi·· 10 天前AI 评分38

线性状态空间模型与自回归训练中的隐式偏差研究

Implicit Bias in State Space Models and Linear Autoregressive Training

AI 导读

研究揭示了线性状态空间模型(SSM)和线性自回归模型在共享参数下的隐式偏差机制。在指数损失梯度下降下,方向收敛至有效度最大间隔问题的 KKT 点,仅有效度最小的样本构成硬边界约束。 该结果指出长度偏差成因:更长的输入序列或额外自回归步骤会提高样本的有效度,导致最小有效度样本主导极限分类器,且非齐次性改变了经典齐次隐式偏差结论。

来源:arXiv · ML · arxiv.org