跳到正文
11月6日周五
  1. arXiv · AI21

    GigaBrain-WBC-0.5 提出行为世界模型 InterTrack 实现人形机器人跨地形全身跟踪

    GigaBrain-WBC-0.5 团队提出首个支持环境交互的行为世界模型 InterTrack,采用 Transformer 架构预测下一动作、状态及行为分布。在复杂地形交互中,其成功率达 81.3%,优于最佳基线 4.3 倍,且跌倒恢复率达 99.3%。该模型实现了人形机器人实时跨地形全身遥操作,并具备物体交互及支持缺失下的稳定响应能力。

  2. arXiv · AI20

    TraceViT: 基于轨迹监督的视觉抽象推理模型

    论文提出循环视觉推理器 TraceViT,在 ARC-AGI-1 和 ARC-AGI-2 基准上分别取得 67.8% 和 24.3% 的 pass@2 成绩。 该模型通过语义单调变换链进行中间步骤监督,每个迭代由少样本任务参考和对象工作区提供依据。 消融实验表明,轨迹监督仅在结合接地信息时有效,相关代码和数据将公开可用。

  3. arXiv · AI31

    接受于 NeurIPS 2026 的 HyperVAttention 提出时空聚类加速视频扩散

    HyperVAttention 是一款免训练稀疏注意力框架,针对视频扩散 Transformer 的自注意力二次复杂度瓶颈。 该方法通过 3D 局部窗口聚类与混合聚类策略降低开销,并结合硬件感知集群合并提高 CTA 利用率。 在 HunyuanVideo 上实现 2.13 倍速度提升,HVA-Flash 变体达 2.23 倍,且高保真度优于 SVG2。

  4. arXiv · ML23

    研究揭示 Muon 优化器打破大语言模型预训练中稳定性边缘的耦合机制

    Muon 优化器在 LLM 预训练中大步长动力学不符合经典梯度下降的稳定性边缘(EoS)理论,其解除了损失中性、更新反转与边缘稳定性之间的耦合。 针对无动量随机 Muon,研究推导出经过一致性修正的条件损失中性边界 $2\rho_b/\eta$,并证实时间对齐遵循不同的几何特性。

  5. arXiv · ML25

    Trust the Mass: 揭示 KV-Cache 驱逐中的强制权重与 ContourKV 方法

    研究发现保留最大 KV-Cache 权重已近最优,最佳子集仅比全注意力低 2%-5%。 现有非均匀预算方法因计算重要性时包含问题上下文,导致基准分数降低 14-62 点,检索准确率受影响达 87.6 分。 提出的无训练方法 ContourKV 在 RULER 和 LongBench 测试中表现优于基线,内存占用减少 28 至 1078 倍。

  6. arXiv · ML27

    RL 会遗忘:迈向持续策略优化 (CPO)

    持续后训练中的强化学习 (RL) 仍会遭遇灾难性遗忘。研究指出其根源在于 KL 正则化在旧任务分布上评估。 该方法提出了无需重放 (replay-free) 的 CPO,通过基于历史 KL 目标的局部 Fisher 代理实现稀疏正则化,且额外计算开销极低。 在三种模型规模的实验中,CPO 在保持适应能力的同时,有效减少了遗忘并维持了预训练模型的广泛能力。

  7. arXiv · ML23

    ASAP: 基于注意力沉锚点的剪枝

    ASAP 是一种免训练的 ViT 框架,将注意力沉点重构为特征以解决高解析度下的计算瓶颈,实现吞吐提升 48% 并保持或超越基线精度。 该框架通过懒随机游走建模信息流,利用扩散距离计算实现径向扩散聚类,并经由转移权重池化单次压缩背景冗余。 该研究已被 NeurIPS 2026 接收,在图像、视频及视觉语言任务中展现出优于最先进方法的性能表现。

  8. arXiv · ML37

    语言模型不变特征:几何表征与模型归因

    该研究提出局部几何框架,证明语言模型通过潜空间不变子空间编码语义,支持对复述输入的强鲁棒性。 研究贡献包括不变特征几何表征、对比子空间发现方法及零样本模型归因应用,实证表明不变结构在特定深度区域涌现。 相关论文已被 NeurIPS 2026 接收,代码已开源。

  9. arXiv · ML25

    数据受限训练下的规范性扩展定律:单参数模型揭示计算与数据的最优分配

    该论文提出了一种针对数据受限训练的规范性扩展定律,通过单一系数建模重复训练导致的过拟合,证明了在特定阈值后增加模型容量比继续重复数据更有效。 该法通过隔离过拟合项实现了不同训练配置的直接对比,并解释了为何数据受限场景下较大的权重衰减(如 $\lambda=1.0$)能提升性能。

  10. arXiv · ML35

    多源思维链异质性如何影响高效可学习性

    研究揭示被动收集的多源异质思维链(CoT)数据即使单源学习容易,整体学习仍具密码学难度。 难度源于难以学习的贡献偏差或未过滤的混合数据,但过滤后的同质子集足以支持高效学习。 提出一种主动且自适应的高效算法,其按源 CoT 预算与目标误差完全独立,指明了 CoT 监督的数据收集与策展实践。

  11. arXiv · ML28

    扩散语言模型推理一致性:双向流形一致性自验证方法

    扩散语言模型自验证机制提出双向流形一致性方法,通过训练自由指标量化生成序列稳定性。 该方法利用前向掩码与反向重建周期,识别有效生成轨迹在分布高密度流形上的稳定吸引子特性,抑制无效路径偏离。 BMC指标支持无需参考答案的解决方案有效性诊断,并作为密集几何奖励实现稀疏监督向细粒度引导转化。

  12. arXiv · ML22

    循环 Transformer 稳定性与泛化性分析框架

    该研究提出基于不动点的分析框架,以评估循环 Transformer 的测试时计算扩展能力。 理论上证明无召回循环网络无法实现强输入依赖,而带外归一化的召回网络能产生稳定的局部吸引子。 实验在围棋、数独和前缀和任务中验证了该框架的预测,结果被 NeurIPS 2026 主会场接收。

  13. arXiv · ML40

    Nexus 优化器:相同预训练损失下通过共同时隙实现更好下游泛化

    Nexus 优化器通过最大化梯度相似性鼓励任务特有时隙接近,在相同预训练损失下显著提升下游性能。 该优化器应用于 130M 至 3B 参数模型,在 3B 模型上将分布外损失降低 0.012,复杂推理任务准确率提升最高 15.0%。 该研究挑战了仅依赖预训练损失评估模型的做法,并证实隐式偏置对解锁下游泛化能力至关重要。

  14. arXiv · ML40

    DUEL:精确似然重塑掩码扩散模型缩放定律及后续影响

    DUEL 框架统一了确定性掩码扩散模型采样器,通过精确计算似然替代 ELBO 作为评估指标。 该算法无需重训即可应用,将掩码扩散模型与自回归模型的困惑度差距缩小最高 82%,使计算差距从 16 倍降至 9 倍。 使用 DUEL 评分 LLaDA-8B 多选题任务,准确率最高提升 9.7 个百分点,证实了该模型相比 ELBO 评估更具竞争力。

  15. arXiv · ML25

    LAMP:大语言模型的前瞻混合精度推理

    LAMP 提出一种基于舍入误差分析的前瞻自适应混合精度推理策略。该策略在 Transformer 中通过仅对 g(x) 的少量关键组件进行高精度计算,其余部分采用低精度执行。在 GPT-2 模型上的数值实验表明,极低的重计算率即可实现高达两个数量级的精度提升。 该算法已被 NeurIPS 2026 接收,为本地化部署的大语言模型提供了高效的推理优化方案。

  16. arXiv · AI34

    LIFT 通过语言侧推理向量恢复 VLM 退化的推理能力

    LIFT 是一种轻量级向量干预方法,无需重训骨干即可将基础 LLM 的推理能力迁移至 VLM,在六个推理基准上验证了其有效性。 该方法定义推理向量为推理路径与求解路径答案 token 隐层状态之差,并注入目标 VLM 的语言侧激活,其中 LLM 提取的向量表现优于 VLM 自身。 分析表明该向量影响了中间推理行为而非仅改变最终答案,论文已被 NeurIPS 2026 接收且源码即将发布。

  17. arXiv · ML28

    统一中心流、杆流与边缘耦合:梯度下降在稳定性边缘的连续时间模型分析

    研究提出第三类对象“边缘耦合”统一了中心流与杆流,解释梯度下降在稳定性边缘的振荡行为。 该对象是对连续迭代的泛函,其临界点对应固定点与周期二轨道,揭示两种流分别是不同时间尺度的粗粒化。 基于边缘耦合推导了重球法与 Adam 等动量方法对应的杆流与中心流,并在代表性神经网络架构上验证了其在训练各阶段的跟踪能力。

  18. arXiv · ML21

    基于 Transformer 的 sEMG 优化机器人康复轨迹处方

    该研究提出可个性化 Transformer 模型,将表面肌电信号映射至末端执行器康复机器人的接触力轨迹,实现面向神经运动激活的处方生成。 模型采用旋转位置嵌入(RoPE)生成潜在表征,并引入流匹配生成轨迹分布;基于 16 名健康参与者 15 项等长任务评估,留出任务与用户轨迹预测误差低于 8%,具备亚秒级采样与近即时确定性推理。

  19. arXiv · ML23

    基于上下文正则化交叉熵提升卷积网络上下文偏移鲁棒性

    论文提出训练框架 CR-CE,结合新归因方法 ContrastiveCAMs 提升卷积网络在上下文偏移下的鲁棒性。 方法利用空间特征归因引导模型依赖物体特征而非背景,并在 Waterbirds、ImageNet 等数据集上验证了性能提升。 该成果已被 NeurIPS 2026 接受,展示了减少非因果上下文依赖的训练新路径。

  20. arXiv · AI43

    LinAlg-Bench:揭示 LLM 数学推理结构性故障模式的前瞻性基准

    LinAlg-Bench 发布,评估 10 个前沿 LLM 在 3x3 至 5x5 线性代数计算上的表现,发现模型在 4x4 规模存在行为阈值。 基准包含 660 道 SymPy 验证题目及 6,600 条模型输出,通过自动化流程将 1,156 个错误归类为十种主要标签。 研究表明,模型故障非随机而是受算法类型与维度约束,且 4x4 以上主要失败模式转为“计算放弃”与“幻觉编造”,而非执行错误。

  21. arXiv · AI36

    Dreamer:深度循环注意力混合框架通过跨深度注意力实现潜在推理

    研究人员提出Dreamer框架,结合序列、深度及稀疏专家注意力,解决深度循环模型在恒定隐藏尺寸下的潜在推理瓶颈。 该模型在语言推理基准测试中,相比同等FLOP、参数和内存配置的SOTA模型,训练所需token减少2至8倍,性能超过2倍规模模型,且专家选择多样性高出2至11倍。

  22. arXiv · AI23

    认知科学基础如何映射到大语言模型推理中

    研究构建包含28个认知元素的分类体系,结合18个模型的192K条推理轨迹与1346条人类有声思维数据进行对比分析。 基于发现模型与人类使用认知机制的差异,该框架开发了自动脚手架测试时推理引导技术,将最强模型在非结构化问题上的准确率提升9.7个百分点。 meta分析显示当前研究过度关注易量化指标,此框架通过建立认知科学与LLM研究的共享词汇,使模型能通过稳健认知机制而非虚假捷径进行推理。

  23. arXiv · AI20

    类型化决策编码器 Ru-Jev 中标签措辞增强的增益:生词有效,缩写与代码无效

    307M 参数多语言交叉编码器 Ru-Jev 后续版本增加标签表面形式增强,在普通词和外来词路由任务中准确率最高提升 0.24。 在缩写和晦涩代码场景下无可用增益,且部分指标随候选数增加出现置信错误上升。 模型在未见数据集上准确率变化为 -8.4 和 +5.6 个点,验证了增强对非熟悉词汇的鲁棒性。

  24. arXiv · AI35

    扩散语言模型并行解码的测量耦合方法

    研究人员提出基于测量耦合的扩散语言模型并行解码方法,用提交 token 对模型置信度的实际影响替代平均场近似。该方法在三个模型和四个 benchmark 上运行,平均准确率代价为 1.1 分,比平均场解码所需步数少且速度更快。该方法无需额外模型或训练,可直接接入现有平均场规则。