跳到正文
11月18日周三
  1. arXiv · ML38

    ASH:通过激活引导实现提示增强 GRPO

    ASH 提出一种新的提示增强 GRPO 方法,通过在模型激活中注入可训练引导向量,解决推理时无提示导致的训练-推理上下文不匹配问题。 在四个 LLM(Qwen3-1.7B/4B-Base、Llama-3.2-1B/3B-Instruct)实验中,ASH 在 AMC、AIME 等竞赛级及分布外基准上持续提升 pass@$k$ 指标。

  2. arXiv · ML25

    状态空间变换下的迁移强化学习:Learning to Undo 算法

    该研究提出了一种基于“撤销映射”的迁移强化学习算法,通过匹配状态特征统计量学习映射并转移策略。 在线性假设下,该方法严格优于从零开始训练的样本复杂度;在连续控制和Atari等实际任务中,也表现出显著更高的样本效率。 结果证实利用任务间的共享结构可提升跨环境策略转移的效率。

  3. arXiv · AI40

    能否让 LLM 做梦?基于文本记忆智能体检验过度拟合大脑假设

    研究在 Claude Opus 5.5 上检验“梦境防止过拟合”假设,结论是损坏记忆并未帮助模型将旧知识应用到新任务。 实验包含 30 次运行,其中 40% 细节损坏使召回率从 76% 降至 60%,而随机文本干扰因模型能识别而基本无效。 结果表明预训练模型可区分损坏文本与真实事件,因此该假设需要在无法轻易区分二者的学习模型上重新测试。

  4. arXiv · ML24

    HADVQ:基于Hessian感知方向向量量化实现LLM超低比特压缩

    HADVQ提出针对LLM的向量量化方法,通过随机预条件和基于$E_8$格的结构化码本实现超低比特压缩,关键结果:在极低比特范围内提升了模型精度,额外成本仅0.16比特用于保护极敏感通道。 该方法将权重表示在极坐标中,解耦方向与幅度的量化,并利用代理Hessian检测重要通道。结合几何结构、格基码本和选择性通道保留,在极端低比特量化场景下显著改善精度。

  5. arXiv · ML38

    Gaze-RL 利用潜在奖励落地场重新分配多模态强化学习中的轨迹级奖励

    多模态强化学习中结果奖励分配在完整生成轨迹上,而视觉证据在响应中位置稀疏且不均匀,限制了token级优化。 Gaze-RL 提出一种表征驱动的策略优化方法,通过计算内部跨模态几何结构和局部预测不确定性得到“潜在奖励落地场”,将轨迹级优势重新分配到视觉锚定且承担决策的关键位置,保持均值为一、保留每次 rollout 总信用并仅改变逐位置分配。

  6. arXiv · ML21

    视觉-语言融合扩展定律:VLM 早期与晚期融合的权衡

    该研究提出统一扩展定律,揭示视觉-语言模型(VLM)中早期融合与晚期融合在固定数据预算下的性能权衡,表明模型规模扩大时早期融合优势更显著。 定律通过分离基础学习轨迹与模态竞争驱动的分布偏移来建模验证损失,实现了对混合比例、训练步长和模型规模下损失的准确预测。

  7. arXiv · AI36

    OICycle:纵向临床决策中基于信念状态学习的观察-推断-干预循环

    研究者提出 OICycle 模型,通过从回顾性轨迹中学习随机信念状态,将部分可观察马尔可夫决策过程应用于纵向临床决策。 该模型基于 MIMIC-IV 等数据构建了包含 72,075 次住院记录的基准测试集。与无历史模型相比,OICycle 将下一步干预自适应召回率从 0.253 提升至 0.347,死亡率预测 Macro-F1 从 0.585 提升至 0.649。

  8. arXiv · ML21

    VTT:通过未见车型的运动轨迹读取车辆尺寸与动力类型

    研究提出VTT数据集与基准,利用运动轨迹和CAN信号识别未见车型的车辆尺寸与动力类型,包含9,062次驾驶记录。 模型在电池纯电与燃油车区分上的宏观F1值达92.6%至93.0%,尺寸分类准确率从62.9%提升至67.1%。 物理特征分析表明动力识别关联减速行为,尺寸识别关联转向响应,跨车型泛化受标签分辨率限制。

  9. arXiv · ML22

    DSADiff:一种结构感知扩散模型,通过缓解复杂性与元素失衡偏差实现晶体结构预测新 SOTA

    提出 LAS 分析框架识别晶体复杂性及元素组成失衡两大生成难度关键因素,并基于此构建数据感知扩散模型 DSADiff。 模型在 Carbon-24 等三个基准数据集上表现优异,Match Rate 最大提升 9%,刷新 SOTA 性能。 该工作为设计低偏差生成模型提供新方向,深化了对扩散模型在复杂材料空间生成偏差机制的理解。

  10. arXiv · ML31

    大语言模型对齐方法的边际动力学理论

    研究为 LLM 对齐方法提供理论基础,证明 DPO 边际在梯度流极限下呈 $O(\log t)$ 无界增长,而 IPO 收敛至 $1/(2\tau)$。 实验验证 DPO 在标签噪声下发生定性相变,且 SimPO 加入平滑 $\varepsilon$ 后存在有限吸引子。该理论在 5 个模型族、4 个基准上通过验证,并推导 TPO-S 在 IFEval 取得最高均值。

  11. Hacker News AI33

    AI超算网络配置:一项高达4,096 GPU规模的Trace驱动性能研究

    一项针对AI超算互连性能的Trace驱动研究揭示了真实工作负载对延迟、带宽和抖动的敏感性。研究覆盖高达4,096个GPU的训练与推理负载,利用NCCL调度和LogGP模型估算运行时间下界。该方法结合特征分解与线性规划,识别出不同工作负载间的性能悬崖及带宽升级的边际收益。

  12. Microsoft Research20

    Microsoft Research 探讨 AI 塑造健康未来

    Microsoft Research 专家在《The Shape of Things to Come》播客中探讨 AI 对医学未来的影响。 对话聚焦 AI 辅助诊断、医学影像、虚拟细胞及生物基础模型在科学发现中的作用。 他们分析了研究转化为临床应用的挑战,强调高质量生物数据与真实世界验证的必要性。

11月17日周二
  1. Hacker News AI32

    Main Street Wealth 推出 AI 数据经纪服务

    Main Street Wealth 推出 AI 数据经纪服务,代表经营类业务所有方将脱敏历史运营记录授权给 AI 公司,仅收取成功费且不获取数据使用权。 业务保留所有原始记录、客户关系及公司本身,仅在书面批准后通过管理控制台向买方导出数据;Main Street Wealth 拥有 7 年以上现场服务行业承保经验。

  2. arXiv · ML20

    CB-LNL:利用带噪标签学习实例分割

    提出结合前景与背景证据指导局部监督的CB-LNL方法,旨在应对噪声标签下的实例分割挑战。 该方法基于COCO和LVIS标注审计,并引入覆盖人类标注及SAM2弱提示掩码的基准测试。 实验显示,相较于直接教师掩码替换,CB-LNL在程序化轮廓噪声训练上性能更优且有害编辑更少。

  3. arXiv · AI29

    Project Imaging-X:面向基础模型开发的1000+开放获取医学影像数据集综述

    研究团队发布了迄今最大规模的医学影像数据集综述,系统梳理了1000多个开放获取数据集。该工作指出现有数据集规模有限且碎片化,并提出了元数据驱动的融合范式(MDFP)以整合共享模态或任务的数据。团队同步发布了一个交互式发现门户和统一结构化表格,旨在加速数据发现,支持构建更强大的医学基础模型。

  4. arXiv · ML29

    PDE发现的事后评估:Pde-Check 协议解决多面性挑战

    研究指出 PDE 发现的事后评估需兼顾预测精度、物理一致性、可解释性及分布外泛化能力,且这些属性往往相互冲突。现有文献多仅关注局部指标,易导致结论偏差及方程排序改变。 作者提出首个 PDE 评估指标分类体系,并发布基于规则的 Pde-Check 协议,指导根据数据可用性和物理先验等场景选择评估策略。

  5. arXiv · ML27

    稀疏 Delta 记忆(SDM):通过稀疏性扩展线性 RNN 状态

    研究提出稀疏 Delta 记忆(SDM),扩展 Gated DeltaNet 架构,利用稀疏寻址方案将门控线性 RNN 隐藏状态容量提升数个数量级。 SDM 用大型显式记忆中的稀疏读写替代密集键值外积。在 isoFLOP 约束及参数数量相同条件下,更高状态记忆容量显著提升了上下文学习和长上下文检索性能。

  6. arXiv · AI31

    RenalCLIP:用于肾癌精准肿瘤学的疾病中心视觉-语言基础模型

    研究人员开发了肾癌视觉-语言基础模型 RenalCLIP,旨在通过无创评估提升诊断精度。 该模型利用 27,866 例 CT 扫描数据,采用两阶段预训练策略,在十个核心临床任务上性能显著超越通用模型,且仅用 20% 数据即达基线峰值表现。 RenalCLIP 展现出强大的零样本诊断能力,有助于优化肾实质的预后分层与个性化治疗管理。

  7. arXiv · ML20

    LLM 后训练量化的自适应逐层变换框架

    提出自适应逐层变换框架,将 LLM 量化中的激活和权重离群值转化为可微分优化问题,并根据权重分布峭度指导逐层选择最优变换。 在 LLaMA-3-8B 模型的 W3A3KV2 低比特量化下,该方法比现有最优方法 FlatQuant 降低高达 4.58 点的困惑度,并将六项零样本任务的平均准确率提升 2.11%。 该工作证明了采用异构逐层变换策略对于实现最优 LLM 量化是必要的。

  8. arXiv · AI21

    大语言模型中逆关系方向性的分析

    研究首次系统分析大语言模型对逆关系方向性的建模能力,基于包含5457个实例、覆盖27类逆关系标签的基准,评测了5个开源LLM。 发现模型在逆关系分类中存在系统性不对称,关系描述未带来一致性能提升,且模型性能对实体表示的变化较为敏感。 该研究已被EACL 2027 Findings接收。

  9. arXiv · ML28

    无外部数据生成式数据增强:深度网络的实证与理论研究

    该研究探讨无外部预训练数据的生成式数据增强对分类器测试准确率的影响,通过四个骨干网络在六个数据集上的实验,界定了合成数据带来的超额风险上限。 理论表明,当生成与真实数据分布差异较小时,合成数据增益最大;总变差距离下界较大的生成器在六个数据集中的五个上效果较弱。

  10. arXiv · ML28

    少步生成中闭式耦合的局限性分析

    研究指出,在有限高维数据集上使用闭式概率流向量场进行少步生成是行不通的。 高维扩散过程的解析解近似于线性变换,训练效果与独立配对无异。 理论量化表明,漂移携带的端点能量比例随数据集规模 $N$ 和对数关系 $\frac{\log N}{d}$ 变化。

  11. arXiv · AI28

    GAAMA:面向AI智能体的图增强关联记忆方法

    GAAMA通过以话题为中心组织对话,结合LLM提炼事实与概念,在LoCoMo10基准上取得79.1%最高平均分,且GRAFT机制能离线修复检索不足。 该方法定义了四种节点类型与五种结构边,利用话题概念提供跨切路径避免超大节点;检索融合最近邻相似度搜索与基于边类型的个性化PageRank。 概念链接事实比实体关系三元组提升3.0个百分点奖励,GRAFT将接地答案记录为新事实,使后续查询直接命中。