跳到正文
11月18日周三
  1. arXiv · AI35

    MathEye:通过天使执行优化 LLM 数学证明

    MathEye 框架将 LLM 生成的不完美证明转化为经完整验证的 Lean 证明。 核心机制采用天使执行(angelic execution),通过 MaxSAT 优化确定最小必要证明义务,在分析和代数的 30 个基准测试中解决 93.3% 问题。 该方法将用户交互次数减少 55%,在保留证明结构的同时降低了人工修正成本。

  2. arXiv · AI22

    DNeo:通过改进目标特征编码提升并行草稿模型

    研究者提出 DNeo,通过 Mixture-of-Features Attention 机制实现比 SoTA(DFlash-2)快 1.3 倍的生成速度,且不增加草稿模型体积或降低质量。 MoFA 引入工作记忆编码被拒提案,结合 2-tap 因果卷积、前缀交叉注意力及非均匀目标层选择,解决标准特征编码有损、无记忆及特征采样均匀的局限。

  3. arXiv · AI63

    arXiv 论文提出语言模型可通过自身推理无梯度重写权重实现自我改进

    arXiv 论文提出语言模型可通过自身推理在无梯度和无训练情况下重写权重以实现自我改进。27B 模型在 490 道未见过的题目上准确率提升 6.6 点,且能在 8 次会话中持续累积收益。该能力还能修复受损模型副本,将六个图像基准测试的准确率从 7% 提升至 70%,并且随模型规模扩大而显现。

    推荐理由:研究展示了模型利用自身推理无梯度编辑权重的可能性,其准确率提升效果可迁移至未见过的测试场景。

  4. AWS Machine Learning Blog48

    Amazon SageMaker AI 新增 AI 数据准备功能,支持模型开发工作流

    Amazon SageMaker AI 扩展 AI 数据准备功能,支持生成合成数据、评估数据集及引入专家反馈。 提供自动标注、合成数据生成、数据质量评估及转换能力,可通过 Python SDK 或 AWS AI-ML agent skill 调用。 帮助团队高效构建高质量数据集,减少数据整理时间,加速模型开发与训练流程。

11月17日周二
  1. arXiv · ML21

    提出 Q-Learner 算法以优化比率型处理效应估计

    研究者提出 Q-Learner 算法,将二元结果下的比率型条件平均处理效应(CATE)估计简化为两个倾向性分类任务。 在合成与真实随机数据基准测试中,仅对 Q-Learner 的 log-loss 进行标准超参数调优,即可比 S-Learner 更可靠地获取效应排名、水平及分布。 该特性使其特别适用于工业界实践,当倾向性已知时,仅需基于转化者训练单个分类器即可加速开发流程。

  2. arXiv · ML30

    因果推断中的广义贝叶斯框架

    该论文提出了一个用于因果推断的广义贝叶斯框架,直接对因果效应施加先验分布。通过利用基于识别的损失函数更新先验,该框架使现有的基于损失的因果估计器具备完整的不确定性量化能力。 在Neyman正交损失下,该广义后验分布收敛至其 oracle 对应物,并对第一阶段辅助估计误差保持鲁棒性。 这是首个为因果机器学习构建灵活广义贝叶斯后验的框架,该论文已被 NeurIPS 2026 接收。

  3. arXiv · ML20

    LEON:用于世界建模的算子结构化潜空间演化

    LEON 基于控制机械演化推导潜空间转移公式,引入共享算子矩阵与加法更新实现动力学结构化,替代隐式 Transformer 预测。 模型将预训练视觉特征转化为可观测变量,系数由演化的可观测量和动作上下文推断,以调制算子结构。 在单臂和双臂操作任务中,LEON 在包含多种扰动场景下,相比对应 WAM 基线提升了平均策略成功率,并在受控系统评估中展现出优于训练条件的泛化能力。

  4. arXiv · ML29

    PDE发现的事后评估:Pde-Check 协议解决多面性挑战

    研究指出 PDE 发现的事后评估需兼顾预测精度、物理一致性、可解释性及分布外泛化能力,且这些属性往往相互冲突。现有文献多仅关注局部指标,易导致结论偏差及方程排序改变。 作者提出首个 PDE 评估指标分类体系,并发布基于规则的 Pde-Check 协议,指导根据数据可用性和物理先验等场景选择评估策略。

  5. arXiv · ML27

    稀疏 Delta 记忆(SDM):通过稀疏性扩展线性 RNN 状态

    研究提出稀疏 Delta 记忆(SDM),扩展 Gated DeltaNet 架构,利用稀疏寻址方案将门控线性 RNN 隐藏状态容量提升数个数量级。 SDM 用大型显式记忆中的稀疏读写替代密集键值外积。在 isoFLOP 约束及参数数量相同条件下,更高状态记忆容量显著提升了上下文学习和长上下文检索性能。

  6. arXiv · ML39

    PEIRA:通过视图间回归器对齐学习预测编码器

    研究提出非对比自监督学习方法 PEIRA,通过最优线性回归器迹定义目标,在 ImageNet-1K 上实现 69.17% 线性探测准确率。 该方法稳定均衡点对齐主要非线性正则相关子空间,在 CIFAR-10 等数据集上与 VICReg、LeJEPA 基准具有竞争力,并支持 8 个数据集迁移实验。 结果验证了理论稳定性分析,代码与实验已开源。

  7. arXiv · ML23

    大语言模型推理轨迹探测:七款开源模型在四个基准上的表现分析

    研究团队提出一种轨迹探测协议,通过截断并重新注入部分推理轨迹来评估模型预测答案的动态变化。 该协议应用于 Qwen3-4B/8B/14B、gpt-oss-20b/120b 等七款开源模型及 GPQA Diamond、MMLU-Pro 等四个基准。结果显示准确率随推理 token 比例增加而提升,且强模型常复现弱模型的错误,但允许进一步推理可显著恢复正确率。

  8. arXiv · ML20

    LLM 后训练量化的自适应逐层变换框架

    提出自适应逐层变换框架,将 LLM 量化中的激活和权重离群值转化为可微分优化问题,并根据权重分布峭度指导逐层选择最优变换。 在 LLaMA-3-8B 模型的 W3A3KV2 低比特量化下,该方法比现有最优方法 FlatQuant 降低高达 4.58 点的困惑度,并将六项零样本任务的平均准确率提升 2.11%。 该工作证明了采用异构逐层变换策略对于实现最优 LLM 量化是必要的。

  9. arXiv · ML20

    在线共形预测中强制长期覆盖率的相变现象

    在线共形预测中,长期覆盖率约束与即时覆盖率稳定性存在权衡。论文证明当长期覆盖率偏差界为 O(T^{-β}) 且 β∈[0, 1/2] 时,可构建两全算法;若 β∈(1/2, 1],则无法同时优化即时覆盖率。该结论揭示了在线预测中鲁棒性与稳定性之间的理论界限。

  10. arXiv · ML30

    基于杠杆增强采样的 Owen 方法用于可解释人工智能

    针对 Shapley 值计算的高昂成本,提出结合分层抽样与联盟杠杆得分的采样估计策略,在 Owen 多线性扩展框架内加速特征重要性分析。 该方法显著降低了指数级偏导数计算的复杂度,在维持解释准确性的同时大幅减少计算开销,适用于大规模机器学习模型的可解释性场景。

  11. arXiv · AI24

    ToM-2 如何通过理解陈述支持教师引导的偏好学习

    论文提出利用二阶心理理论(ToM-2)生成理解陈述,修正教师对学习者知识模型的过时偏差。 在模拟实验中,完美教师引导下的学习者所需学习轮数约为传统学习者主导查询的一半;在四名协作教师交替教学中,ToM-2 陈述能比平均信念陈述更好恢复性能优势。 该研究在 n=101 的人因实验中验证了 ToM-2 陈述在降低 regret 方面优于无信息引导教学,提升了最终奖励对齐度。

  12. arXiv · AI21

    大语言模型中逆关系方向性的分析

    研究首次系统分析大语言模型对逆关系方向性的建模能力,基于包含5457个实例、覆盖27类逆关系标签的基准,评测了5个开源LLM。 发现模型在逆关系分类中存在系统性不对称,关系描述未带来一致性能提升,且模型性能对实体表示的变化较为敏感。 该研究已被EACL 2027 Findings接收。

  13. arXiv · AI25

    对抗性概念搜索:基于特征几何预测组合错误

    提出利用LLM表征几何学预测概念组合失败的方法,将组合失效归因于显著特征间的干扰。 研究发现,若两个概念近正交编码,模型可可靠组合;若线性编码接近产生干扰,模型则失败。该方法无需评估特定输入即可预判失效模式。 该结果为基础利用几何学识别高风险样本、构建针对性压力测试提供了可扩展框架。