跳到正文
11月6日周五
  1. arXiv · ML23

    ASAP: 基于注意力沉锚点的剪枝

    ASAP 是一种免训练的 ViT 框架,将注意力沉点重构为特征以解决高解析度下的计算瓶颈,实现吞吐提升 48% 并保持或超越基线精度。 该框架通过懒随机游走建模信息流,利用扩散距离计算实现径向扩散聚类,并经由转移权重池化单次压缩背景冗余。 该研究已被 NeurIPS 2026 接收,在图像、视频及视觉语言任务中展现出优于最先进方法的性能表现。

  2. arXiv · ML37

    语言模型不变特征:几何表征与模型归因

    该研究提出局部几何框架,证明语言模型通过潜空间不变子空间编码语义,支持对复述输入的强鲁棒性。 研究贡献包括不变特征几何表征、对比子空间发现方法及零样本模型归因应用,实证表明不变结构在特定深度区域涌现。 相关论文已被 NeurIPS 2026 接收,代码已开源。

  3. arXiv · ML25

    数据受限训练下的规范性扩展定律:单参数模型揭示计算与数据的最优分配

    该论文提出了一种针对数据受限训练的规范性扩展定律,通过单一系数建模重复训练导致的过拟合,证明了在特定阈值后增加模型容量比继续重复数据更有效。 该法通过隔离过拟合项实现了不同训练配置的直接对比,并解释了为何数据受限场景下较大的权重衰减(如 $\lambda=1.0$)能提升性能。

  4. arXiv · ML35

    多源思维链异质性如何影响高效可学习性

    研究揭示被动收集的多源异质思维链(CoT)数据即使单源学习容易,整体学习仍具密码学难度。 难度源于难以学习的贡献偏差或未过滤的混合数据,但过滤后的同质子集足以支持高效学习。 提出一种主动且自适应的高效算法,其按源 CoT 预算与目标误差完全独立,指明了 CoT 监督的数据收集与策展实践。

  5. arXiv · ML28

    扩散语言模型推理一致性:双向流形一致性自验证方法

    扩散语言模型自验证机制提出双向流形一致性方法,通过训练自由指标量化生成序列稳定性。 该方法利用前向掩码与反向重建周期,识别有效生成轨迹在分布高密度流形上的稳定吸引子特性,抑制无效路径偏离。 BMC指标支持无需参考答案的解决方案有效性诊断,并作为密集几何奖励实现稀疏监督向细粒度引导转化。

  6. arXiv · ML22

    循环 Transformer 稳定性与泛化性分析框架

    该研究提出基于不动点的分析框架,以评估循环 Transformer 的测试时计算扩展能力。 理论上证明无召回循环网络无法实现强输入依赖,而带外归一化的召回网络能产生稳定的局部吸引子。 实验在围棋、数独和前缀和任务中验证了该框架的预测,结果被 NeurIPS 2026 主会场接收。

  7. arXiv · ML40

    Nexus 优化器:相同预训练损失下通过共同时隙实现更好下游泛化

    Nexus 优化器通过最大化梯度相似性鼓励任务特有时隙接近,在相同预训练损失下显著提升下游性能。 该优化器应用于 130M 至 3B 参数模型,在 3B 模型上将分布外损失降低 0.012,复杂推理任务准确率提升最高 15.0%。 该研究挑战了仅依赖预训练损失评估模型的做法,并证实隐式偏置对解锁下游泛化能力至关重要。

  8. arXiv · ML40

    DUEL:精确似然重塑掩码扩散模型缩放定律及后续影响

    DUEL 框架统一了确定性掩码扩散模型采样器,通过精确计算似然替代 ELBO 作为评估指标。 该算法无需重训即可应用,将掩码扩散模型与自回归模型的困惑度差距缩小最高 82%,使计算差距从 16 倍降至 9 倍。 使用 DUEL 评分 LLaDA-8B 多选题任务,准确率最高提升 9.7 个百分点,证实了该模型相比 ELBO 评估更具竞争力。

  9. arXiv · ML25

    LAMP:大语言模型的前瞻混合精度推理

    LAMP 提出一种基于舍入误差分析的前瞻自适应混合精度推理策略。该策略在 Transformer 中通过仅对 g(x) 的少量关键组件进行高精度计算,其余部分采用低精度执行。在 GPT-2 模型上的数值实验表明,极低的重计算率即可实现高达两个数量级的精度提升。 该算法已被 NeurIPS 2026 接收,为本地化部署的大语言模型提供了高效的推理优化方案。

  10. arXiv · AI34

    LIFT 通过语言侧推理向量恢复 VLM 退化的推理能力

    LIFT 是一种轻量级向量干预方法,无需重训骨干即可将基础 LLM 的推理能力迁移至 VLM,在六个推理基准上验证了其有效性。 该方法定义推理向量为推理路径与求解路径答案 token 隐层状态之差,并注入目标 VLM 的语言侧激活,其中 LLM 提取的向量表现优于 VLM 自身。 分析表明该向量影响了中间推理行为而非仅改变最终答案,论文已被 NeurIPS 2026 接收且源码即将发布。

  11. arXiv · ML28

    统一中心流、杆流与边缘耦合:梯度下降在稳定性边缘的连续时间模型分析

    研究提出第三类对象“边缘耦合”统一了中心流与杆流,解释梯度下降在稳定性边缘的振荡行为。 该对象是对连续迭代的泛函,其临界点对应固定点与周期二轨道,揭示两种流分别是不同时间尺度的粗粒化。 基于边缘耦合推导了重球法与 Adam 等动量方法对应的杆流与中心流,并在代表性神经网络架构上验证了其在训练各阶段的跟踪能力。

  12. arXiv · ML21

    基于 Transformer 的 sEMG 优化机器人康复轨迹处方

    该研究提出可个性化 Transformer 模型,将表面肌电信号映射至末端执行器康复机器人的接触力轨迹,实现面向神经运动激活的处方生成。 模型采用旋转位置嵌入(RoPE)生成潜在表征,并引入流匹配生成轨迹分布;基于 16 名健康参与者 15 项等长任务评估,留出任务与用户轨迹预测误差低于 8%,具备亚秒级采样与近即时确定性推理。

  13. arXiv · ML23

    基于上下文正则化交叉熵提升卷积网络上下文偏移鲁棒性

    论文提出训练框架 CR-CE,结合新归因方法 ContrastiveCAMs 提升卷积网络在上下文偏移下的鲁棒性。 方法利用空间特征归因引导模型依赖物体特征而非背景,并在 Waterbirds、ImageNet 等数据集上验证了性能提升。 该成果已被 NeurIPS 2026 接受,展示了减少非因果上下文依赖的训练新路径。

  14. arXiv · AI43

    LinAlg-Bench:揭示 LLM 数学推理结构性故障模式的前瞻性基准

    LinAlg-Bench 发布,评估 10 个前沿 LLM 在 3x3 至 5x5 线性代数计算上的表现,发现模型在 4x4 规模存在行为阈值。 基准包含 660 道 SymPy 验证题目及 6,600 条模型输出,通过自动化流程将 1,156 个错误归类为十种主要标签。 研究表明,模型故障非随机而是受算法类型与维度约束,且 4x4 以上主要失败模式转为“计算放弃”与“幻觉编造”,而非执行错误。

  15. arXiv · AI36

    Dreamer:深度循环注意力混合框架通过跨深度注意力实现潜在推理

    研究人员提出Dreamer框架,结合序列、深度及稀疏专家注意力,解决深度循环模型在恒定隐藏尺寸下的潜在推理瓶颈。 该模型在语言推理基准测试中,相比同等FLOP、参数和内存配置的SOTA模型,训练所需token减少2至8倍,性能超过2倍规模模型,且专家选择多样性高出2至11倍。

  16. arXiv · AI23

    认知科学基础如何映射到大语言模型推理中

    研究构建包含28个认知元素的分类体系,结合18个模型的192K条推理轨迹与1346条人类有声思维数据进行对比分析。 基于发现模型与人类使用认知机制的差异,该框架开发了自动脚手架测试时推理引导技术,将最强模型在非结构化问题上的准确率提升9.7个百分点。 meta分析显示当前研究过度关注易量化指标,此框架通过建立认知科学与LLM研究的共享词汇,使模型能通过稳健认知机制而非虚假捷径进行推理。

  17. arXiv · AI20

    类型化决策编码器 Ru-Jev 中标签措辞增强的增益:生词有效,缩写与代码无效

    307M 参数多语言交叉编码器 Ru-Jev 后续版本增加标签表面形式增强,在普通词和外来词路由任务中准确率最高提升 0.24。 在缩写和晦涩代码场景下无可用增益,且部分指标随候选数增加出现置信错误上升。 模型在未见数据集上准确率变化为 -8.4 和 +5.6 个点,验证了增强对非熟悉词汇的鲁棒性。

  18. arXiv · AI35

    扩散语言模型并行解码的测量耦合方法

    研究人员提出基于测量耦合的扩散语言模型并行解码方法,用提交 token 对模型置信度的实际影响替代平均场近似。该方法在三个模型和四个 benchmark 上运行,平均准确率代价为 1.1 分,比平均场解码所需步数少且速度更快。该方法无需额外模型或训练,可直接接入现有平均场规则。

  19. arXiv · ML24

    用户嵌入是可解释行为模式的叠加

    研究发现用户嵌入可被理解为可解释行为模式的稀疏叠加,该结构由生成模型预测并符合叠加假设。 通过稀疏自编码器(SAE)恢复模式,在合成数据上表现优于经典稀疏基线,并支持零样本受众检索。 该框架事后处理且模型无关,无需修改上游嵌入系统,已获 NeurIPS 2026 接收。

  20. arXiv · AI31

    RELOAD 通过在有类型决策模型中引入循环扩展推理能力

    论文提出 RELOAD 方法,通过在预训练编码或解码器的中间块添加衰减循环并配合轻量控制器自适应选择路径次数,提升有类型决策模型的推理能力。 在 0.4B 至 4B 参数的六个模型上测试,循环训练显著提升了精度与校准效果,编码器精度最高提升 23 分。这种提升源于模型处理比训练时更长的推理链,且控制器以约四分之三的算力保留了大部分收益。

  21. arXiv · ML35

    研究质疑 LLM 权重编程是否具备真实推理能力:以 Claude Opus 5.5 为例

    研究测试 Claude Opus 5.5 处理约 125,000 参数卷积网络的权重,发现其解读依赖局部算术与记忆而非权重流追踪。 模型在识别 CIFAR-10 等熟悉数据集时表现准确,但面对快食、SAT-6 等非常见数据时出现误判,表明其依赖先验知识。 该结果为零样本权重阅读提供了审计协议,澄清了大语言模型在权重空间编程中的实际能力边界。

  22. arXiv · ML31

    DMGT:通过决策模型引导的强化学习训练方法

    DMGT将决策模型用于初始化强化学习策略,让智能体在稀疏奖励任务中首次交互即获取奖励。 该方法结合了决策模型无需训练即可行动与强化学习依靠奖励优化的优势,实验表明其在7个任务中表现均优于纯强化学习。 消融研究为向决策模型描述环境和任务提供了指南,解决了探索困难与样本低效问题。