跳到正文
11月19日周四
  1. arXiv · ML36

    Kernel Ridge Attention: 结合非线性特征与选择性遗忘的循环序列混合器

    新型循环序列混合器 Kernel Ridge Attention (KRA) 结合学习非线性特征与协方差引导的记忆更新。 通过递归岭回归存储关联,利用 Ornstein-Uhlenbeck 过渡控制保留率,使推理状态大小独立于上下文长度。 在语言建模实验中,KRA 预测质量优于注意力及循环基线模型,并实现高效的分布式训练吞吐量。

  2. arXiv · ML23

    基于参与者级别的评估揭示sEMG运动耦合中缺乏特异性神经肌肉关联

    研究发现,冻结双向模型在82名健康人和43名卒中患者测试中,主要依赖共享的步态相位模式。 移除完整源模态使重建RMSE增加6.90%至11.38%,而参与者间替换仅增加1.68%,且学习不对称性预测POMA分数表现不如基线。 结果表明模型缺乏明确的受试者特异性耦合及额外临床价值。

  3. arXiv · ML37

    TabBioMed:生物医学表格学习的大规模基准

    研究人员发布大规模生物医学基准 TabBioMed,包含 94 个精选公开表格数据集,涵盖电子健康记录、药物发现及单细胞组学等领域。 该基准统一了预处理和评估框架,对 23 个模型进行了测试,发现基础模型在家族层面表现最强,但树模型和多层感知机在成本约束下极具竞争力。 TabBioMed 提供了数据集、代码及结果,为生物医学机器学习的模型选择与方法开发提供了可复现的基准。

  4. arXiv · AI26

    注意力并非相关性:挑战自动驾驶中注意力的因果性

    研究在8万多个合成驾驶场景中基于PlanT 2.0模型分析发现,注意力机制提供的是相关性而非因果性的物体重要性指示。 注意力方法无法一致识别所有相关物体,且常错误地将对驾驶影响微小的物体判定为相关;其在简单单车道直线场景中表现尚可,但在多车道和路口等复杂场景下准确率显著下降。 这些结果凸显了注意力作为物体重要性代理的局限性,呼吁开发能准确捕捉单个物体对车辆驾驶因果影响的新方法。

  5. arXiv · ML29

    小最优子空间系统性分析:n-DAS 与物理信息神经网络

    研究者提出主导对齐子空间(DAS),主张 Hessian 曲率最高的方向并非优化路径,并证明 DAS 约束训练在低维梯度对齐子空间内即可收敛。 基于物理信息神经网络(PINN)在抛物线、椭圆及双曲算子上的基准测试显示,即使投影 Hessian 病态,DAS 限制训练配合线搜索仍能达到全空间训练效果。

  6. arXiv · AI29

    Test-Time Symmetrization: Scaling Laws for Model-Agnostic Learning under Structure

    研究证明 $O(\log |G|)$ 次随机重写足以替代单一表示的重复采样,恢复所有 $|G|$ 次重写提供的信息,且该对数扩展律在一般情况下是最优的。 理论表明,只要模型答案依赖于输入写法,在相同前向传递次数下,将计算预算用于重写输入而非重复采样原始提示词,准确率会显著提升。

  7. arXiv · AI22

    SCAFFOLD:面向可复用 LLM-Agent 技能的凭证保留证据传输框架

    该论文提出凭证保留证据传输(WPET)框架,旨在解决 LLM-Agent 技能在上下文变更后复用时的信任与授权问题。框架定义了可废止的复用声称(WRC),将历史证据的适用性判定与真实性区分,并制定了条件保留结果及三值适用性标准。 文章强调 WPET 是一种规范学科而非已实现的验证器,仅贡献形式化问题陈述、设计义务及报告协议,未提供经验性优越性证明或通用 agent 安全证明。

  8. arXiv · ML23

    联邦学习 LoRA 重分配:提出 RASA 框架优化接收方感知知识迁移

    现有联邦 LoRA 方法保留主奇异方向导致响应误差无界,本文提出 RASA 框架解决矩阵最优截断与接收方需求不匹配问题。 RASA 利用对角输入二阶矩执行无中心化 PCA,在 DomainNet-100 上将准确率提升 3.23 个百分点,SuperNI 任务 ROUGE-L 最高提升 8.33。 该框架支持资源、任务和数据异构场景下的高效模型微调,具有即插即用特性。

  9. arXiv · AI38

    MLE Agents 实现大规模推荐系统中的自主机器学习工程

    人类在环的 MLE Agents 在大规模搜索排序器上自主提出并评估模型变更,单次战役运行 1,097 个实验并采纳 325 个,接受率达 29.6%。 该智能体采用并行训练和校准目标来解决反馈延迟与离线指标失准问题,最佳模型在 A/B 测试中使搜索量增加 0.23%,且多探索了人工直觉未涉及的架构变更。

  10. arXiv · ML36

    Toaster:基于级联线性记忆与目标传播的非线性记忆模型

    Toaster 通过组合两个线性记忆层并引入激活函数,构建了两层非线性记忆架构,利用目标传播机制更新隐层状态。 在 C4 和 PG19 数据集上,Toaster 的困惑度在所有测试尺寸(0.2B-1.6B)均优于 KDA 并匹敌或优于注意力基线,最大模型三试准确率 51.84%。 在 20K token 长度外推中表现稳定,且比 Titans 快 2.8-5.5 倍,提升了长序列处理效率。

  11. arXiv · AI40

    EVA-RSI: 视频评估器的递归自我改进以判断时间质量

    研究人员提出多智能体框架 EVA-RSI,通过构建固定代理考试实现对视频评估器的递归自我改进,无需人工标注即可提供监督信号。 基于 Qwen3-VL-8B 模型,EVA-RSI 在平滑度维度取得最大增益,并在 21 个测试模型中于公共基准动态子集上取得最高分数。 作为强化学习奖励,该评估器提升了生成视频的运动质量并获得了人类偏好。

  12. arXiv · ML27

    Agent Verifiers 在反事实分析中的初步研究:智能体异质性处理效应基准测试

    研究提出三层基准协议,利用 11 个数据集验证智能体生成的协变量,发现 xAI 的 GrokBot 工作区队友在文本及组合特征下于 6/11 和 7/11 数据集中获得更高的 RATE 比率。 协议包含检索合法性过滤、基于 RATE 的异质性验证及编码器合法性检查。研究显示编码器选择显著影响异质性信号,且时间过滤仅能保证检索合法性,无法消除编码器中记忆的未来事实泄露风险。

  13. arXiv · AI27

    GUARD 为冻结多模态模型在缺失模态下的风险受控校正

    提出 GUARD 方法,在不改变已部署预测器权重的前提下,通过检索估计校正量并利用部署匹配标签数据学习,解决冻结多模态模型遭遇缺失模态时的校正问题。 基于可交换性假设,GUARD 利用保形风险控制将损失增加超过预设容差概率限制在预设水平,在 9 个冻结模型-数据集对实验中优于盲目校正。 该方法避免了盲目校正常超支的危害预算,保留了大部分校正收益,适用于无法再训练权重的实际部署场景。

  14. arXiv · ML23

    基于不完备分数的反向扩散误差累积分析:超越路径空间

    该论文表明,当目标分布 $p$ 满足 Poincaré 不等式时,可通过规避“路径空间”分析来缓解扩散采样器的误差累积。 现有理论中采样误差随时间线性多项式累积,本文通过放宽度量至弱度量,在更广泛的框架下实现了这一结果。 研究进一步揭示,给定分数误差界,扩散采样器在总变差距离上几乎达到最优识别精度。

  15. arXiv · ML23

    无标签课堂录音中基于结构迁移的教师分割方法

    提出无标签课堂录音教师分割管道,在292条录音中实现0.81和0.87的教师F1分数,优于基线模型。 管道在智能手机上比pyannote快4.8倍,实时因子约0.18,滤波音频转录仅使教师词错误率从0.26升至0.28。 支持隐私保护部署,通过无标签推理标记不可分割会话以人工复核。

  16. arXiv · AI33

    Metrics-in-the-Loop:复杂度反馈重塑智能体编写的代码

    提出“Metrics-in-the-Loop”推理时干预机制,在智能体编写代码轨迹中注入循环复杂度与测试覆盖率反馈。 实验表明,复杂度反馈显著降低代码复杂度聚集而不影响正确性,为智能体提供“重新纠偏”的实用路径。 随着智能体处理百万行级代码库,此类实时干预对维持长期代码可维护性至关重要。

  17. arXiv · ML24

    DuoCL: 双路径在线持续学习框架

    DuoCL 是一种双路径在线持续学习(OCL)框架,在四个数据集和三种计算预算下,相比最强的基于梯度的基线方法,在线准确率平均提升 9.67 个百分点。 该框架包含快速解析路径和慢速路径:快速路径从每个传入的小批量中积累特征统计,慢速路径根据可用计算预算定期调整骨干网络。在分布漂移下,DuoCL 始终优于解析学习,在 CIFAR-C 上准确率提升最高达 4.00 个百分点。

  18. arXiv · AI21

    结构化表征建模 LLM 推理动态

    T/E/S 结合文本、局部事件和活动跨度,在 76 个评估组中,对 Transformer 和 Qwen 的下一结果预测准确率分别达到 70/76 和 74/76。 通过有限过程实验,取消共享延续质量的边界恢复了最优动作,将平均推理 CPU 时间减少 77.7%;在 71 个 HotpotQA 和 MuSiQue 保留集上,Brier 损失从 0.0836 降至 0.0756。

  19. arXiv · AI20

    评估受治理的 LLM 驱动机器学习实验:生命周期、溯源与失败指标

    研究提出评估 LLM 自主实验代理的实验过程而非仅看结果,构建了拥有试验生命周期的治理控制平面,并在 6 个 ML 任务和 1,445 次试验中验证了该框架。 治理账本通过追加式记录计算无效操作率、重复坏提案率等指标,暴露了任务分数掩盖的失败,如 120 次试验全败和无记忆分支问题。 所有 1,445 次试验的账本已开源,确保报告中所有数字可重新计算验证。