跳到正文
11月6日周五
  1. arXiv · ML24

    用户嵌入是可解释行为模式的叠加

    研究发现用户嵌入可被理解为可解释行为模式的稀疏叠加,该结构由生成模型预测并符合叠加假设。 通过稀疏自编码器(SAE)恢复模式,在合成数据上表现优于经典稀疏基线,并支持零样本受众检索。 该框架事后处理且模型无关,无需修改上游嵌入系统,已获 NeurIPS 2026 接收。

  2. arXiv · AI31

    RELOAD 通过在有类型决策模型中引入循环扩展推理能力

    论文提出 RELOAD 方法,通过在预训练编码或解码器的中间块添加衰减循环并配合轻量控制器自适应选择路径次数,提升有类型决策模型的推理能力。 在 0.4B 至 4B 参数的六个模型上测试,循环训练显著提升了精度与校准效果,编码器精度最高提升 23 分。这种提升源于模型处理比训练时更长的推理链,且控制器以约四分之三的算力保留了大部分收益。

  3. arXiv · ML35

    研究质疑 LLM 权重编程是否具备真实推理能力:以 Claude Opus 5.5 为例

    研究测试 Claude Opus 5.5 处理约 125,000 参数卷积网络的权重,发现其解读依赖局部算术与记忆而非权重流追踪。 模型在识别 CIFAR-10 等熟悉数据集时表现准确,但面对快食、SAT-6 等非常见数据时出现误判,表明其依赖先验知识。 该结果为零样本权重阅读提供了审计协议,澄清了大语言模型在权重空间编程中的实际能力边界。

  4. arXiv · ML31

    DMGT:通过决策模型引导的强化学习训练方法

    DMGT将决策模型用于初始化强化学习策略,让智能体在稀疏奖励任务中首次交互即获取奖励。 该方法结合了决策模型无需训练即可行动与强化学习依靠奖励优化的优势,实验表明其在7个任务中表现均优于纯强化学习。 消融研究为向决策模型描述环境和任务提供了指南,解决了探索困难与样本低效问题。

  5. arXiv · AI40

    Qwen3.8-27B 神经元中的原型语境:智能的架构?

    研究在 Qwen3.8-27B 中验证了模型将关系模式与主题域分离,发现“原型”、“主题”和“语言”分别由不同神经元集承载。 预训练过程中,模型层自组织成“三明治”结构:外层处理语言,中层处理主题,核心层处理原型;该结构在映射的所有模型中均自发出现。 该结构被认为是类比智能的机制,论文已发布神经元集、文本及代码等复现包供他人验证。

  6. arXiv · ML32

    语言模型中信念内容与证据权重的解耦:同一答案,不同未来

    该研究在伯努利推理任务中,通过四种文本路径和两种激活级干预,测试了三个开源权重语言模型的信念更新机制。 发现证据格式决定读取方式:结果序列主要影响续写,摘要和比率影响显式估计。不同路径的有效证据权重差异显著,摘要权重随观测数弱扩展。 结果表明,当前读取的一致性不足以确立信念更新的等价性,信念获取与读取方式共同决定其后续动态。

  7. arXiv · ML31

    DISCERN:面向无保留集增量机器遗忘的分布式合成重放

    提出DISCERN方法,通过拟合每类参数化分布生成合成嵌入替代保留集访问,实现增量类遗忘。 该方法适配Transformer隐层几何特性,支持高斯、拉普拉斯及冯·米塞斯-费希尔等分布族,并通过统计检验自动选择分布。 在ViT-B/16上经20次顺序删除后调和均值达0.797,显著优于同时设置下降至0.048的最强基线,有效抑制已遗忘类知识重新浮现。

  8. arXiv · ML21

    PBPO:用于扩散语言模型的前缀块策略优化

    针对扩散大语言模型(dLLM)中块级似然不可计算的问题,研究提出前缀块策略优化(PBPO),利用单步因子化代理定义块似然。 PBPO 在保留块级条件的基础上,对每个 token 单独应用代理重要性加权和截断,并通过重采样腐蚀视图实现多样化更新。 在两个 LLaDA 系列初始化、六个基准测试及三种生成长度的评估中,PBPO 的表现优于现有 dLLM 强化学习方法。

  9. arXiv · ML33

    ConvPE:卷积位置嵌入提升 Transformer 性能与效率

    ConvPE通过轻量级因果卷积向注意力分数注入窗口化内容依赖偏置,提升了Transformer在语言建模、长上下文扩展及视觉领域的性能与效率。 该方法是即插即用模块,兼容RoPE、注意力掩码及KV拼接,支持高维卷积生成位置嵌入。复现结果显示,ConvPE性能优于五个一维基线和八个二维基线,代码已公开。

  10. arXiv · ML25

    NeurIPS 2026 录用基于 VINE 互信息估计器

    论文提出名为 VINE 的非参数互信息估计器,基于简化 D-vine copulas。它通过简化联合密度使密度比简化为成对 copula 乘积,实现非参数估计。 该估计器灵活且计算高效,在 SotA 神经互信息估计器对比中表现具有竞争力,适用于低到中等维度数据集。 该方法已被 NeurIPS 2026 接收。

  11. arXiv · ML35

    可验证奖励强化学习在监督微调之外的边际价值测量

    研究显示,在 GPU 训练故障诊断基准测试中,GRPO 带来的分布外收益有限,主要增益来自监督微调。 使用 1,877 个合成任务构建的基准测试中,SFT 达到 0.785 分数,而 60 步 GRPO 仅带来 0.33 点的分布外提升。 该研究以 8.69 美元算力成本完成,所有代码和生成数据已归档,支持完全复现。

  12. arXiv · ML21

    MoViL: 离线安全强化学习中的单调可行性学习

    论文提出单调可行性学习(MoViL),通过单调有限时域集合递归从离线转移数据学习可行性集合。该方法在安全强化学习基准上取得当前最优的回报-成本性能,并在所有任务中满足平均成本约束。实验验证了该数值准确性,并指出其适用于无可靠动力学模型且在线探索不安全的关键安全系统。

  13. arXiv · AI29

    Qwen3-VL-8B-Instruct 模拟视角下的表征与行为解离研究

    研究在 Qwen3-VL-8B-Instruct 上考察视角模拟如何重塑内部表征,发现提示框架对表征的影响强于身份,而身份对行为判断影响更大。 在 100 张图像和 53 种条件下,早期层编码图像身份,后期层形成角色结构;最小身份声明可改变表征而不改变响应。 结果证明表征距离不必然反映行为相关性,揭示了人工认知系统中内部几何结构与功能后果的根本区别。

  14. arXiv · AI26

    SMART: 基于状态的多智能体推理痕迹框架用于验证导向的问题解决

    SMART 多智能体框架通过捕获问题上下文中参与实体的隐式状态来获取知识,并利用多样化且互补的前提提升复杂科学声明的验证性能。 该框架使用多种 LLM 和基于角色的结构化提示策略策划状态知识,在 3 个数据集上将验证准确率最高提升 20%。 研究显示,将前提基于现实世界知识是必要的,并能带来最高 5% 的额外性能提升。

  15. arXiv · AI38

    BabyTheorist:基于纯观察的观测理论学习基准

    BabyTheorist 提出新基准以评估机器从纯观察中获取可复用理论的能力,解决现有视觉推理基准主要侧重应用而非学习的局限。 该基准通过隐藏的组合程序生成前后视觉流,训练时不提供程序标签。 七个代表性基线表现远低于上限,且差距随课程进度扩大,证明其隔离了当前方法尚未解决的观测理论学习能力。

  16. arXiv · ML31

    Test-Time Self-Play 方法:无需验证器的测试时扩展

    新提出的 Test-Time Self-Play (TTSP) 方法通过非对称自我博弈实现测试时扩展,且不依赖验证器。 在 LiveCodeBench v6 难度校准子集上,TTSP 在所有测试的验证器强度下均表现最佳。 无验证器极限情况下,TTSP 使 mean@8 绝对提升 35%,且验证器越弱优势越明显。

  17. arXiv · AI52

    TCSExam 发布:评测前沿 LLM 解决理论计算机科学问题的能力

    论文提出了 TCSExam,一个覆盖定理证明、求解器工程、构造及解决未解难题的理论计算机科学评测基准。基准包含 100 道专家审查任务,验证结果由 Lean kernel 或可执行检查器确认。评测显示 GPT-6 Astra 在全量版得分最高为 71.9,Opus 5.5 在轻量版得分最高为 72.3,两者排名高度一致(Spearman's ρ=0.93)。

  18. arXiv · ML25

    WeightLoop: 基于实验反馈的权重空间编程框架

    WeightLoop 框架利用 GPT-6 Astra 编写有界的参数编辑程序,将实验反馈转化为部署预测器的持久更新。 该框架在离线回放中,针对八种端点预算设置中的七种,通过定向编辑提升了平均排名效用。 此方法使实验证据直接驱动模型变化,且无需额外的 LLM 调用或梯度再训练。

  19. arXiv · AI23

    Circe: 基于组件交互一致性的免训练 LLM 自我评估方法

    研究人员提出免训练方法 Circe,利用内部信号(CIC、RG)与外部信号(LC)融合评估 LLM 响应正确性,无需参考答案或重复采样。 CIC 测量早期层注意力更新与后期层注意力诱导的 FFN 输出变化之间的方向对齐度,RG 刻画层间隐藏状态轨迹的几何变化。 该方法在五个 LLM 和四个领域的六个基准上表现出优于现有基线的区分能力,并泛化至多语言及多模态场景。

  20. arXiv · AI25

    GuidedWAM:自动驾驶世界动作模型的免训练能量引导框架

    提出免训练框架 GuidedWAM,在采样时向冻结的自动驾驶世界动作模型注入驾驶目标,无需重新训练。 构建可微能量作用于采样器中间动作估计,通过引导调度和速度受限修正稳定生成;在 NAVSIM v2 hard-split 上使公开模型 EPDMS 提升 1.8 至 3.6,单步采样时间增加不足 10%。 将能量引导确立为 WAM 的实用后训练控制通道。