跳到正文
11月2日周一
  1. arXiv · ML29

    Slim Attention 实现 MHA 上下文记忆无损减半

    Slim attention 将使用 MHA 的 transformer 模型上下文内存减半,在大型上下文窗口下推理速度提升最高 2 倍。该方法通过数学等价实现标准注意力机制,无损压缩内存且不损失模型精度。 示例中,Whisper 模型的上下文内存减少 8 倍,batch size 为 64 时 token 生成速度提升 5 倍;T5-11B 模型的内存减少 32 倍。

  2. arXiv · ML25

    博弈论与强化学习中游戏即马尔可夫决策过程的对应关系定理

    该专著通过定理证明博弈论与强化学习描述同一对象,将游戏在三种意义下定义为马尔可夫决策过程。 涵盖从正常型到演化博弈的标准类别,建立纳什均衡与Bellman算子不动点、Shapley值与信用分配等对应关系。 明确列出独立学习者失效等非对应情形,区分定义恒等、精确还原与结构类比的适用条件。

  3. arXiv · ML21

    PEEL 通过检索嵌入提取本体结构

    PEEL 方法在 Matryoshka 检索嵌入中提取本体结构,揭示前缀长度与层级粒度的对齐规律。 该方法仅使用概念词汇表,通过最小生成树解码税务 DAG,在 OLLM 基准上实现高保真结构恢复并迁移至新领域。

  4. arXiv · ML28

    剪枝冗余注意力头抑制 LLM 逐字记忆:GPT-2-XL 实验表明 729 个头削减可减少 91.5% 记忆

    在推理阶段剪枝 LLM 的冗余注意力头可显著抑制逐字记忆,无需重新训练或修改数据。在 GPT-2-XL(1.5B) 上剪除 729 个任务冗余头,记忆序列数量降低 91.5%,WikiText-103 困惑度改善 0.92。该发现表明利用注意力头冗余性可在推理时缓解隐私与知识产权泄露风险。

  5. arXiv · ML26

    Li$^2$SAO:通过组相对 Actor-Critic 自举提升轻量单轨迹异步强化学习优化

    针对 SAO 依赖闭源价值模型的问题,论文提出 Li$^2$SAO,利用组相对优势训练 Actor、组中心回报训练 Critic 进行冷启动引导,随后切换至单轨迹 GAE。 实验显示,该策略使 Li$^2$SAO 在早期训练阶段赶上或超越 GRPO,并提升了后期性能上限,相比仅无价值模型复现的 LiSAO,在智能体任务上表现更优,代码已开源。

  6. arXiv · ML28

    多任务学习几何结构:共享子空间估计的精确速率

    论文提出一种通用多任务引理,以任务回归函数及其估计器的几何条件,作为通用多任务场景下快速子空间估计的充分条件。 该引理推导出线性回归与分类在相应机制下的锐极小极大速率,以及对加性噪声回归的与对数因子匹配的速率。 这一成果填补了现有上界技术局限性导致的精确速率认知空白。

  7. arXiv · ML32

    当雅可比微调能稳定混沌 PDE 神经模拟器时

    雅可比微调整体降低了混沌 PDE 神经模拟器的错误放大效应。当错误放大比大于4时,该方法的几何平均错误降低倍数在小模型上达8倍,在33k参数模型上达55倍。匹配模拟器自身错误方向的EDJM方法在28/35种子中优于随机方向,与输入噪声注入表现相当。

  8. arXiv · ML30

    探索迁移学习中的不良极小值

    该剑桥大学硕士学位论文探讨源任务良好泛化是否必然隐含对相关目标任务的迁移能力。 作者假设答案是否定的,并通过在迁移学习流程中实施三种类型的对抗攻击寻找反例。 实证结果显示,源任务的泛化能力与迁移能力之间存在强相关关系,但结果并未排除源任务泛化作为成功迁移充分条件的可能性。

  9. arXiv · ML20

    GFlowNets 中的生成顺序研究

    现有 GFlowNet 算法难以发现可解释的生成顺序,新提出的 Learning-Order GFlowNet 无需顺序标注即可学习此类顺序并提升收敛速度。 研究发现梯度信号-噪声比(SNR)可解释顺序涌现机制,较快收敛的生成顺序在相同验证损失下具有更高的 SNR。

  10. arXiv · ML20

    FOCUS:利用最优传输监督进行基于观察的模仿学习

    FOCUS 结合局部最优传输对齐与短视距可微 actor-critic 学习,解决了仅基于状态演示且缺乏时间对应关系的模仿学习问题。 该方法通过软最佳 $K$ 目标匹配智能体轨迹与专家片段,生成可微模仿奖励,并无需时间对齐轨迹或教师强制。 在包含 152 个肌肉激活的肌肉骨骼人形机器人任务中,FOCUS 在 DFlex 环境中提升了样本效率与训练稳定性。

  11. arXiv · ML36

    基于后量子认证的车辆网络通信高效隐私联邦强化学习

    该研究通过关联私有量化技术,在车辆网络协作路由中实现了通信与隐私的高效平衡。 在参数级隐私预算为 1 时,相比独立量化,关联私有量化将平均旅行时间降低了 14.3%。 结合后量子认证通信,单次上传的认证上行链路大小减少了 92.4%,每轮平均聚合的已验证更新数从 19.6 提升至 26.5。

  12. arXiv · ML22

    密度引导的自举边界用于隐世界模型强化学习

    提出密度引导自举边界机制,利用分数感知相对密度代理自适应调整想象回报深度,解决固定想象时长的模型误差累积问题。 该机制包含硬/软边界两种门控变体,独立于具体动力学模型并应用于Dreamer V3。理论证明门控Bellman算子为严格压缩映射。实验显示其在连续控制任务和Atari Pong上提升了样本效率和后期训练性能。

  13. arXiv · ML23

    Walrus-1.3B 科学基础模型 Sim-to-Real 适应中的灾难性遗忘

    Walrus-1.3B 科学基础模型在 Sim-to-Real 适应过程中遭受灾难性遗忘。在模拟数据微调后,原始预训练数据集上的单步误差在 20 个 epoch 后增加高达 35 倍。 回放 1% 模拟数据可恢复大部分性能并保留对实验数据的适应效果。该研究确立了灾难性遗忘为科学基础模型 Sim-to-Real 适应的实用障碍,轻量级回放策略能显著改善知识保持。

  14. arXiv · AI26

    ReBRAC-v2:极简离线强化学习框架下的系统性工程突破

    离线强化学习算法 ReBRAC-v2 在 OGBench 10 个常用类别中平均得分 74.8,超过次优方法的 52.3,并在其中 8 类排名第一。该模型基于精确似然归一化流 actor 和行为正则化构建,无需结构改动即在 D4RL AntMaze 达到 90.2 分。作者完成了原始 OGBench 全部 235 个单任务问题的完整评测,确立了其作为未来研究的参考基线地位。

  15. arXiv · AI20

    AMMA:面向低延迟1M上下文注意力服务(Attention Serving)的多芯片let内存中心架构

    论文提出多芯片let内存中心架构 AMMA,专攻低延迟长上下文 LLM 注意力服务,面向 1M token 场景优化。 AMMA 用 HBM-PNM 堆替代 GPU 计算 die,配合逻辑 die 微架构与两级混合并行,显著提升注意力推理带宽效率。 相比 NVIDIA H100,AMMA 注意力延迟降低 15.5 倍,能耗降低 6.9 倍,论文已被 MICRO 2026 录用。

  16. arXiv · AI22

    分析人类对基础模型幻觉与失实信息易感性的因果研究

    研究基于918项评估提出JudgeGPT和RogueGPT框架,发现政治倾向与检测表现关联微弱(r=-0.10),而“假新闻熟悉度”是候选中介变量(r=0.35)。GPT-4因流畅度陷阱(HumanMachineScore: 0.20)绕过来源监控,使得其输出与人类文本难以区分。建议“预澄清”干预应针对认知来源监控,而非人口统计细分。

  17. arXiv · AI23

    AnytimeReasoner 框架优化任意时刻推理性能

    AnytimeReasoner 框架通过截断思维过程并生成摘要来引入可验证密集奖励,优化任意 token 预算下的推理效率。 该方法解耦优化思维与摘要策略,并引入 Budget Relative Policy Optimization (BRPO) 技术以增强强化学习鲁棒性。 在数学推理任务中,该框架在所有思维预算下均优于 GRPO,显著提升训练与 token 效率。

  18. arXiv · AI26

    LazyAgent 实现代理程序的按需物化与物理优化

    LazyAgent 提出首个代理运行时按需执行完整方案,通过仅在请求需要时运行步骤避免冗余计算。 在 303 个请求的生产工作流中,该方案节省 62.2% CPU 及 51.7% 容器时间,且在 DataSciBench 上减少 12.8% Token 消耗。 研究指出公开基准无法体现此效率差异,呼吁行业构建衡量代理工作流执行效率的新标准。

  19. arXiv · AI43

    RoboArchitect:通过持久记忆自动化机器人智能体设计

    RoboArchitect 自动化设计冻结策略外的 agent harness,在未见场景中将从 9.7% 提升至 43.3% 成功率,未见任务中从 12.7% 提升至 40.2%。 该系统让编码模型通过观察 rollout 和诊断失败来迭代优化 harness,无需更新任何模型权重即可生成持久记忆与直觉控制策略,如避开障碍的横向抓取。

  20. arXiv · AI35

    GPT-6 Astra 等通用基础模型在化学性质预测任务中超越专用模型

    GPT-6 Astra 在仅 60 个实验数据点时,五项物理化学和量子化学回归任务的准确率超过 ChemBERTa 和 MoLFormer 等专用化学基础模型。 专用化学模型需 10 倍数据量(1000 或 10000 点)才能达到 GPT-6 Astra 在 60 点或 1000 点上的表现。 通用基础模型在数据稀缺的化学研究中比专用模型更具优势。

  21. arXiv · AI41

    AI 评估者偏好由特定 AI 模型撰写的求职申请,且独立于候选人资质

    研究揭示在 AI 筛选求职申请时,本地模型生成的求职信因评估者偏好系统性处于劣势,且评估者存在自我偏好偏差。 构建由 11 个 LLM 写手和 9 个评估者组成的审计框架,发现最不利配对下约 1.8 名合格候选人仅因模型不匹配被误拒。 该机制涉及风格线索的奖励或惩罚差异,为招聘算法公平性与监管提供设计依据。

  22. arXiv · AI23

    Latent-Lens:通过隐空间通信增强小型语言模型的视觉感知能力

    轻量级编解码器 Latent-Lens 冻结 VLM 与 SLM,通过隐空间直接通信解决文本信息丢失瓶颈,仅训练约 1.6M 参数(占联合模型 0.2%)。 在 CLEVR 和 GQA 视觉问答中分别取得 81.0% 和 65.4%,较同等 LoRA 预算的文本通信基线提升 30.2-69.8 个百分点。 该论文发表于 NeurIPS 2026,验证了跨架构与词表的通用性。

  23. arXiv · AI28

    DA-CoT:基于注意力熵的训练无关难度感知思维链推理分割框架

    针对多模态大语言模型中盲目使用思维链(CoT)导致的“过度思考”问题,作者提出了无需训练的自适应框架 DA-CoT。 该框架利用模型注意力图的熵值判断任务难度,并在初始输出失败时通过双向重思机制自动反转推理决策。 DA-CoT 在推理分割基准测试中取得了最先进(SOTA)性能,同时显著提升了推理效率。

  24. arXiv · AI21

    ORION:面向基于RL的多域6G切片放置的结果驱动型LLM顾问

    针对多域6G网络切片在线放置中无固定策略占优且可行方案常被遗漏的问题,ORION提出一种层次化架构,利用两个LLM智能体生成结构化请求和抽象放置计划。 系统通过协同多智能体RL协调器选择跨域分区,并引入结果驱动的情节记忆记录网络条件、计划及可行性结果。在保持下游机制固定的情况下,该记忆机制使切片准入率比无记忆的同款规划器提升4.6至11.5个百分点。