跳到正文
11月13日周五
  1. arXiv · ML21

    多链鲁棒平均收益马尔可夫决策过程的向量 Bellman 理论

    针对有限模型与紧后动作 (s,a)-矩形不确定性,本文建立了多链鲁棒平均收益 MDP 的向量 Bellman 理论。 采用“增益优先、偏差其次”原则推导耦合向量系统,设计鲁棒近似 Halpern 规划算法,证明贪心控制器在有限预算内平均最优。 连接有限 Bellman 证书与无折扣规划,为状态依赖型鲁棒平均收益提供理论解释。

  2. arXiv · ML35

    GeoPair:面向免训练 Transformer 压缩的保形跨层分解方法

    GeoPair 提出一种免训练框架,通过顺序优化跨层权重配对和共享字典分解,在保持各层激活几何结构的同时实现高效权重分解,并在多种架构、规模和模态上取得 SOTA 结果。 该方法替代启发式分组策略,结合结构化稀疏性,在保持功能保真度的前提下持续优于独立结构化权重分解和成对权重分解。 GeoPair 建立了可扩展、跨模态 Transformer 压缩的理论基础。

  3. arXiv · ML33

    LILA: 基于潜在谱几何的 LLM 无数据结构化剪枝

    summary_zh: LILA 提出一种无数据结构化剪枝方法,利用 NMF 分解和 KS 距离评分神经元重要性,无需校准数据或梯度计算。 在 7 个模型家族(最高 70B)的评测中,LILA 在 LLaMA-2-7B 上零样本准确率比 PruneNet 高 2.12 pp,比 SliceGPT 高 6.1 pp;经 LoRA RFT 后优势更显著。

  4. arXiv · ML21

    稳定性边缘选择性塑造数据分布下的学习过程

    稳定性边缘(EoS)并非全局优化属性,而是通过重分配学习来选择性塑造数据分布,放大部分群体进步同时抑制其他群体。 研究者通过分支干预证明这一权衡效应,识别出两个必要条件:群体聚合梯度需对齐Hessian最大特征向量,且需维持非消失的梯度幅度。 这表明EoS不仅是稳定性边界,更作为机制管理着学习在数据分布中的分配。

  5. arXiv · ML28

    结合 Blocked Gibbs 与 Diffusion Transformer 的约束优化无监督学习方法

    提出方法 BloGDiT,通过用分块高斯去噪替代标准联合高斯去噪,解决了 Diffusion Transformer 在约束优化中因去噪过程与求解需求不匹配导致的性能瓶颈。该方法采用迭代分块重采样并随时间退火块大小,在 Sudoku、Graph Coloring、Maximum Independent Set 及 MaxCut 基准测试中匹配或超越现有方法。

  6. arXiv · ML44

    LOFT: 基于任务感知支持选择的低秩正交微调方法

    LOFT框架通过分离子空间适应与正交变换,将支持选择确立为设计核心,并基于一阶分析提出任务感知支持选择策略。 该方法在语言理解、视觉迁移及数学推理等任务中,于匹配的可训练参数与变换设置下提升性能,证明固定预算下支持选择对正交PEFT性能具有系统性影响。 论文已被NeurIPS 2026接收。

  7. arXiv · ML23

    DHRL 解决强化学习中延迟反馈的状态爆炸问题

    提出延迟同态强化学习(DHRL)框架,基于 MDP 同态引入信念等价关系,将增广状态空间坍缩为紧凑抽象空间。 在有限域中精确抽象可恢复无延迟样本复杂度阶数;在连续域中提出的 D²HPG 算法在 MuJoCo 基准上优于强增广基线,代码已开源。

  8. arXiv · ML28

    软最大化自注意力训练动态:通过预条件实现快速全局收敛

    研究人员Hera提出一种基于矩阵分解几何重新参数化的一阶优化算法,用于训练多层softmax自注意力网络。 在无限数据极限下,该算法使自注意力回归问题等价于矩阵分解,并证明Hera-PSD变体在小高斯初始化下具有指数级快速收敛的理论保证。 实验显示,Hera训练模型的测试均方误差比AdamW低98.1%,比Muon低97.7%。

  9. arXiv · ML21

    **title_zh:** ICML 2026:Transformer 稀疏注意力模式与头部专业化的增量学习动力学研究

    **summary_zh:** 该研究在 Markov 链设定下揭示了 Transformer 稀疏注意力模式形成的增量学习动力学。 训练初期注意力头竞争主导模式,后期合作并专业化分工,且完成阶段数随数据集大小变化,体现隐式复杂度控制。 该理论账户解释了结构化注意力与头部专业化的涌现机制,无需显式课程学习。

  10. arXiv · ML27

    CRL 通过稀疏自编码器特征实现 LLM 可解释的 Token 级引导

    研究提出控制强化学习(CRL),通过训练策略选择稀疏自编码器(SAE)特征来引导 LLM,生成可解释的干预日志,在 Gemma 2 2B 上提升 MMLU 等基准表现。 CRL 采用自适应特征掩码促进多样化特征发现,并通过分支点跟踪和层级比较分析定位影响输出正确性的关键 Token 及语义特征位置。 该框架将学习到的特征引导确立为一种机制可解释性工具,与静态特征分析互补。

  11. arXiv · ML29

    理解并学习扩散模型预测目标

    研究提出基于广义预测公式 u=kx-(1-k)n 的理论框架,推导数据几何特征与最优预测目标间的解析关系。 证实当环境维度显著大于数据内在维度时,x-prediction 优于噪声或速度预测,且时间条件与损失变化会系统调节该目标。

  12. arXiv · ML40

    Transformer 误差模型:双参数视角下的 LLM 确定性任务准确性分析

    研究提出双参数模型解释 LLM 在算术等确定性任务中的误差累积,预测精度随任务复杂度呈定量关系。该模型基于有效场论视角,用注意力机制的噪声率和错误 token 数量解释错误阈值,并在 Gemini 2.5 Flash 和 DeepSeek R1 等模型上验证有效。 该模型为长重复任务中的 LLM 误差提供了替代解释框架,排除了推理崩溃的假设,并演示了通过构造提示词降低误差率的方法。

  13. arXiv · ML35

    LLMs 中目标编码的研究

    研究证实 LLM 在稀疏注意力头中编码下一子目标,该编码对后续动作具有因果性且具备可塑性。 将该编码移植到不同环境可触发相同操作,且 LLM 通过重读任务规格而非维持内部状态来持续执行目标。 该发现揭示了 Transformer 架构下非递归目标寻求(NRGS)的机制。

  14. arXiv · ML26

    稀疏卷积的理论与实证分析

    针对边缘设备资源限制,研究分析标准稀疏卷积性能,提出高效稀疏卷积技术。 3x3 稀疏卷积算术强度约为 10 FLOP/byte,低于稠密卷积的 96 FLOP/byte;高稀疏度下技术实现 1.65x 加速。 在 NVIDIA A100 上加速 1.65 倍,Jetson Nano 上加速 1.52 倍,为高效稀疏推理提供路径。

  15. arXiv · ML28

    已知规则编译为紧凑神经智能体:未见游戏上的权重空间编程

    研究测试将游戏机制编译为神经智能体,最强生成器在留出关卡达到56%成功率,Python玩家达97-100%。 使用57k参数递归架构,93%参数为零且多为小整数,训练从零开始仅1%成功,PPO微调几乎消除原有优势。 结果显示规则到网络编译有效,但优于Python程序效果有限,且与PPO结合未成功。

  16. arXiv · ML51

    小决策模型结合确定性工具在消费级 GPU 上规模化发现内存安全漏洞

    该研究提出利用 4B 参数开放权重决策模型(Intern-Decision-4B)在单次前向传播中对候选函数进行评分排序,结合确定性工具在普通 GPU 上实现开源软件漏洞的规模化发现。系统在 75 个公开 CVE 测试中,将修复函数排入前 25 名的比例是随机排序的 1.4 倍,实际扫描 4000 多个项目确认了 187 个内存安全漏洞,其中 12 个为 CVSS v3.1 严重级别。

  17. arXiv · ML28

    从功能扩展律视角分析 SignSGD 何时及如何优于 SGD

    研究提出 SignSGD 在幂律核回归下的功能扩展律,揭示梯度噪声通过诱导预条件作用将有效 Hessian 变换为 H^1/2,加速信号学习但减缓噪声遗忘。 该机制使 SignSGD 在困难任务中实现更高数据效率,且在容易任务的大批量设置下,以相同数据预算仅需更少的优化步数。

  18. arXiv · ML25

    验证和操控LLM中的职业角色向量:系统提示词真的分配了什么角色?

    该研究提出框架以提取和注入职业角色向量,并在 Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct 上通过可解释性与控制两个视角进行验证。 角色向量在可解释性上表现出高度可复现性、可分离性和领域一致性;在控制视角下,单独注入向量虽能增强角色表达,但其效果最好时与角色提示词相当,且在30轮对话中未能减缓角色衰减。

  19. arXiv · ML21

    基于强化学习的自改进 Agentic AI 在粒子物理碰撞中的挑战

    研究引入连续自动评估奖励任务,用于在强化学习环境中提升 Agentic AI 在高能物理挑战中的表现。 基准测试显示前沿推理模型在此类任务上仍难以给出完整正确解,初步验证了小型语言模型通过自动化反馈进行无干预强化学习的能力。 该工作旨在推动 Agentic AI 从复现既定工作流程迈向自主发现更优科学解决方案。

  20. arXiv · ML29

    LLM 不确定性量化机制:观察点与四种透镜

    该研究基于机制可解释性,定义 LLM 不确定性量化(UQ)的四种观察透镜:结构、表征、分布及语义,揭示观察点决定估计器信息访问与恢复能力。 研究通过残差流关联四种透镜并按信息量排序,为不同目标的 UQ 方法选择提供原则,同时区分评估目标、标准与指标以澄清协议。 该工作识别出连接不确定性估计与 LLM 内部计算及下游应用的开放问题和研究方向,旨在解决现有分类法中关于观察点的未决疑问。