arXiv · AI· Khizar Qureshi·· 3 天前AI 评分30
无重放循环状态迁移的信息极限
Information Limits of Replay-Free Recurrent State Migration
AI 导读
研究指出循环模型状态迁移所需的最小连续因果记忆,等于提升系数系统的可达维数减去锚定状态信息。对于可控 d 状态模型,标量输入最多需要 k d 个额外实数坐标,即使矩阵替换方向在流式传输后才揭示。单秩一方向即可要求全部 k d 坐标。 在小语言模型实验中,等记忆三次插值比三阶系数提高了平均状态保真度,但未带来有意义的预测增益。
来源:arXiv · AI · arxiv.org