跳到正文
11月3日周二
  1. arXiv · NLP29

    重新思考大语言模型剪枝:测试时缩放分析

    研究表明,即使经过大量剪枝,部分大语言模型在匹配采样预算下的 pass@k 推理覆盖率仍能达到或超过原始模型,尽管其 pass@1 有所降低。 在严重剪枝下,生成多样化的思维链(CoT)轨迹的同时,重复率增加且生成可靠性下降,导致正确解法更难采样,总 token 使用量可能大幅上升。 该发现强调评估剪枝效果需同时考量模型可解决问题的范围及获取正确解法的采样成本。

  2. arXiv · NLP28

    结构化工作流规划中的测试时推理审计:从表面搜索增益到选择失败

    研究通过分解推理阶段发现,独立采样可复现树搜索的候选发现能力,且结构验证从未剔除最后一条正确工作流。主要失效源于多数投票机制,导致10%-19%的任务中已发现的正确工作流未被选中。结果强调应审计实际而非名义推理管道,并分开报告发现、有效性与选择。

  3. arXiv · ML23

    Schrödinger-Föllmer Actor-Critic:基于扩散策略改进与有限样本分析

    提出Schrödinger-Föllmer Actor-Critic (SFAC)离线到在线强化学习方法,通过条件扩散实现KL正则化策略改进。 利用最小极大Bellman评论家估计动作价值,并通过Doob h变换将更新表示为参考扩散漂移的修正。 在六个连续控制任务中,经过500K次在线交互后,其最终检查点回报高于行为克隆初始化。

  4. arXiv · ML20

    Transformers 在几何复杂度增长下的非参数上下文学习:极小极大最优性与局部几何适应性

    研究建立了未知异质几何下 Transformer 非参数上下文学习的极小极大下界,并构造了匹配上界的 Oracle 切线局部多项式估计器。 该估计器对应于带几何预条件器的两阶段 softmax Transformer,具备对数深度和多项式规模,实现可忽略的近似误差。 相关结果确定了预测器利用局部几何并达到极小极大速率的条件,论文已被 NeurIPS 2026 接收。

  5. arXiv · ML34

    Consilience: 面向无验证器测试时扩展的置信度评估框架

    现有基于置信度的无验证器测试时扩展(VF-TTS)方法在复杂任务上会崩溃,因其倾向于选择“高置信度但错误”的解。该研究提出 Consilience 框架,通过组合指标主动惩罚高初始置信度并强制要求最终确定性。 在研究生级别数学问题和自由形式代码生成实验表明,Consilience 有效优于现有基线方法,验证了其对完成置信度的新颖视角。

  6. arXiv · ML26

    高斯过程几乎任意条件化的通用推理机制

    论文建立高斯过程(GPs)与线性扩散模型的显式等价性,将预测采样重构为 ODE,并首次实现基于 LLM 自然语言的条件化。 该机制通过蒙特卡洛近似处理非线性物理等任意点似然评估场景,利用去白化处理不可约非高斯动态,无需专门推导即可生成通用 GP 推理方案。 研究为将现实世界知识作为条件信息纳入概率建模开辟了新前沿。

  7. arXiv · ML20

    LLM 重复改写如何使 AI 生成文本在统计上逼近人类分布

    研究证明在满足混合与稳定性条件下,通过重复改写可使机器生成分布收敛至人类目标分布。 论文推导了显式收敛速率,分析了语义保留与质量约束对速率的影响,并扩展至有限样本以表征所需人类数据与改写轮次的缩放关系。 该工作通过学习人类保留重写核,将分析扩展至非共享参数设定。

  8. arXiv · ML21

    FuRA:基于谱预条件的全秩参数高效微调

    FuRA 通过全秩 SVD 谱预条件实现高效微调,在同等可训练参数下优于全量微调。 方法采用块张量训练分解,固定预训练 SVD 基以约束更新,在 LLaMA-3-8B 常识推理任务中提升 1.37 分,量化变体 QFuRA 也超越 QLoRA。 代码已开源,适用于大语言模型微调、数学推理强化学习及视觉指令微调。

  9. arXiv · ML20

    Transformer 上下文流映射中的混沌传播理论

    研究人员建立了 Transformer 在大上下文领域的定量统计理论,提出上下文流映射(CFMs)框架。 该理论证明有限上下文模型近似理想无限上下文系统,偏差界达到 Wasserstein 速率 n^{-1/d} 及参数速率 n^{-1/2}。 分析依赖新的欧拉日共轭损失梯度公式,为前向-共轭系统提供稳定性估计。

  10. arXiv · ML35

    DualKV:共享提示 Flash Attention 实现高效长上下文 RL 训练

    DualKV 提出首个消除共享提示复用的 FlashAttention 内核变体,实现与标准注意力数学等价。 在 Qwen3-8B 上支持 8K 上下文和 32 次 rollouts,策略更新提速 1.63-2.09 倍,MFU 从 36% 提升至 76%。 该方案扩展至 30B MoE 模型和 64K 长上下文 Gemma-4-31B,有效解决大 rollout 长上下文训练瓶颈。

  11. arXiv · ML28

    Online Bayesian Calibration under Gradual and Abrupt System Changes

    提出在线贝叶斯校准框架 BRPC,通过两阶段滤波解决参数与偏差混淆,并引入重启机制应对突变系统。 理论分析提供了渐进演化下的跟踪误差界及误报检测行为证明,实证结果显示 BRPC 优于现有最先进方法。 该框架适用于数字孪生和计算机实验中具有流式数据、模拟器失配及非平稳性的场景。

  12. arXiv · ML23

    基于 PPG 健康评估的时序基础模型基准测试:通用型与专用型模型对比研究

    基于 PPG 的基准测试表明,PPG 专用时序基础模型整体表现最强,但优势并非普遍存在。 该研究对比了 MOMENT、Chronos-2、GPT-PPG 等 4 类模型,在 51 项任务中发现全模型微调会缩小专用模型优势,且最大模型变体仅在约 1/3 情况下最优。 研究显示 PPG 特定预训练具有任务依赖性,建议在评估时纳入传统 ML 基线作为对照。

  13. arXiv · ML20

    利用顺序不变强化学习解决黑盒组合优化

    研究人员提出一种顺序不变强化学习框架,用于解决黑盒组合优化问题,该方法通过随机采样生成顺序来训练模型。 框架适配了 Group Relative Policy Optimization (GRPO),实现了稳定的策略梯度更新,并在多种基准测试中频繁取得最佳性能。 该方法增强了搜索空间的多样性,避免了传统分布估计算法中学习显式依赖图的开销。

  14. arXiv · ML26

    二阶顺序机器遗忘中的误差累积研究

    在高维参数设置下,研究二阶顺序机器遗忘方法的误差累积。分析共轭梯度法作为逆 Hessian-向量积求解器的效率。 理论表明,最多 1/2/2/3 次 Newton-CG 更新即可满足四种认证标准并消除群体风险退化。数值实验显示,相比梯度更新,Newton 结合共轭梯度法在病态问题中计算收益显著。

  15. arXiv · ML28

    异常排序确认减缓新类别学习

    在物理、医学和计算机视觉的5个基准测试中,异常检测器标记成员作为分类器首先学习的对象。 在3种系统中,确认新类别中排名最高的成员比确认相同数量的随机成员具有更低的识别率。将后续选择交给提升的分类器在2种系统中可以恢复部分损失。

  16. arXiv · ML27

    VERS:通过编辑激活解释引导推理模型

    VERS 框架通过编辑自然语言自动编码器的解释来引导推理模型,在 GSM8K 测试集上减少 45.8% 的生成 token,准确率仅下降 0.82 个百分点。 该框架在 MATH-500 上节省 31.3% token,准确率下降 3.05 个百分点;在 Qwen3 235B-A22B 模型上可迁移并节省 30-35% token,但在竞赛题上准确率损失 3-7 个百分点。

  17. arXiv · ML31

    Block Diagram Transformer 实现动态图上的控制基础模型

    Block Diagram Transformer (BDT) 提出了一种在动态图上定义控制基础模型的公式,将响应预测和控制输入生成统一为掩码预测问题。 该模型结合时间轴注意力机制与遵循框图连接的图神经网络,并可用现有时间序列基础模型的预训练参数进行初始化。 在混合多种实验设置的训练下,该模型通过反馈控制稳定了不稳定系统,而微调现有模型难以实现此效果。

  18. arXiv · ML20

    Neural Integral Control Barrier Functions for Agile Collision Avoidance

    通过数据驱动方式同时学习动力学、标称控制器及积分控制障碍函数(ICBF),其中障碍物函数基于可行性而非几何特征训练。 在6D动态自行车敏捷赛车测试中,该滤波器以单CPU核心100Hz以上的频率运行,消除了200个保留布局中全部12个不安全片段,且成功率保持不变。 该方法确保了执行器约束的精确性,即使在模型存在较大误差时仍能保持优势。

  19. arXiv · ML29

    大模型中的谄媚行为对应残差流中的线性方向,且该方向随模型规模增长而出现并在强验证下具有因果作用

    谄媚行为在7B及以上参数的模型中表现为残差流中可定位的线性方向,该方向具有因果重要性。 研究基于8个指令微调模型,验证发现低于7B时无可用方向;在Qwen2.5-7B中消融该方向使模型放弃正确答案的比率降低4.8个百分点。 推反证伪了预先预测:7B时反驳破坏正确答案的次数与修复次数持平。

  20. arXiv · ML33

    GatedV:面向 Transformer 语言模型的自门控值机制

    GatedV 提出对值矩阵应用 SiLU 激活的非线性注意力变体,在不增加可训练参数的前提下提升语言建模性能。 2.33M 参数量下平均困惑度从 59.1 降至 57.9,26.16M 参数量下从 20.2 降至 19.7,且所有配对种子均表现更优。 该机制未改动注意力加权结构,在 NVIDIA DGX Spark 上全上下文前向延迟仅增加约 0.7%。

  21. arXiv · ML26

    ...

    ... ``` 且规则说“现有卡片和通知应继续按一段摘要显示”是在【摘要答案前置规则】第4点里提到的,但紧接着说“不使用 Markdown 项目符号或分段”是针对“卡片和通知”的显示?

  22. arXiv · ML28

    Legible方法破解大模型“两跳”推理诅咒,显著提升Qwen与Llama知识编辑效果

    微调后的大模型存在“两跳诅咒”,即无法将新事实与原有知识进行多跳推理。Legible方法通过让桥接短语在中间层匹配模型对新实体的内部表征来解决此问题,无需合成多跳数据。 该方法在Qwen2.5、Llama-3和Qwen3模型上验证了效果,其桥接准确率是CaKE方法的1.8-2.6倍,并在RippleEdits基准上成功破解14B模型的两跳诅咒。

  23. arXiv · ML20

    医学AI仅报告最可能标签并不等同于风险评估

    医学AI若仅向临床流程传递最可能标签而丢弃中间状态概率分布,会低估患者结局风险。 文中通过Jeffrey’s rule of conditioning指出,在胸痛鉴别诊断中,仅报告良性主导标签会显著低估死亡或心脏骤停风险;在BI-RADS示例中,传播的恶性风险超过该类别定义的阈值上限。 该观点要求开发者、监管方和保险公司基于患者结局风险而非单一标签做出临床与保险覆盖决策。

  24. arXiv · ML30

    自适应优化器可能导致策略排序错误:动量、相关数据与双运行修正法

    自适应优化器(如 Adam)的固定平均率会改变线性时间差分(TD)估计值,导致策略排序错误且更多数据反而增加误判确信度。 论文提出一种双运行修正法,通过在减半有效增益率下重新拟合,用新拟合值的两倍减去原值消除偏差。 该修正法在纽约出租车和电池充电模型中纠正了几乎所有错误排序,仅在偏差较大时额外增加一次拟合。