跳到正文
10月7日周三
  1. arXiv · ML20

    基于鲁棒知识转移的稀有疾病电子健康记录光谱嵌入框架

    提出一种基于光谱的非监督表示学习框架,用于从电子健康记录中提取罕见病临床概念的低维嵌入。 方法引入部分重叠子空间的宽人群知识矩阵,通过两步过程移除无关分量并恢复共享与异构分量。在真实的多发性硬化队列分析中,该方法在弱共享信号场景下性能优于现有方法。

  2. arXiv · ML26

    Practical Feasibility of Gradient Inference Attacks in Federated Learning

    现代性能优化型联邦学习系统中,梯度反转攻击难以实现高保真图像重构。研究系统评估了图像分类与目标检测任务,发现当前主流视觉架构在真实训练场景下能有效抵抗重建。 该结论基于对传统设计假设的区分,指出许多先前报道的成功依赖推理模式或架构简化等上界设定,而非反映现实训练流程。 这提醒风险评估需严格区分诊断性攻击环境与生产级部署系统。

  3. arXiv · ML22

    基于结构惩罚增强距离图自编码器以实现动态图嵌入

    研究人员提出三种融合结构惩罚的距离图自编码器(GAE)变体,旨在提升动态图表示学习的效果。 方法引入基于度中心性的枢纽惩罚和基于 NC-LID 的节点级正则化项。实验显示,引入 NC-LID 正则化的方法在重建性能上 consistently 优于无结构正则化和仅含枢纽正则化的基线方法。 研究确认 NC-LID 是增强动态环境下距离图自编码器的有效结构信号。

  4. arXiv · ML32

    Agentic AutoRAG 实现 RAG 管道优化

    Agentic AutoRAG 提出 LLM 智能体优化器,用于 RAG 超参数多目标优化,并引入检索与生成失败归因机制。 在三个多跳 QA 基准测试中,其 LLM 评分准确率超过所有对比基线;前 10 次试验即匹敌或超越统计基线 30 次试验的准确率。 在真实医疗语料成本感知模式下,其中位考试准确率达 77%,高于最强基线的 71.5%,单次查询成本约为基线的 58%。

  5. arXiv · ML36

    CACHEFORGE:由 LLM 引导的端到端生成式缓存替换策略框架

    CACHEFORGE 是首个将大语言模型嵌入硬件感知循环以端到端演化缓存替换策略的框架。 LLM 每轮生成 C++ 替换逻辑,经 CRC-2 ChampSim 仿真及奖励整形等机制闭环优化,突破固定预测器结构限制。 在 SPEC CPU2006 上,其总命中率比 LRU 提升 5.73% 至 27.36%,内存密集型负载 IPC 最高提升 10.15%。

  6. arXiv · ML26

    MediateRec 基准与 PAMO 算法:个人智能体跨平台推荐调解研究

    该研究提出个人智能体调解推荐范式,并发布 MediateRec 基准及 PAMO 优化算法。MediateRec 包含可扩展代理环境与真实跨平台测试,用于评估调解效果。 PAMO 通过反事实掩码估计个人支持,理论证明其在保持截止级优势质量下实现局部最优。 实验表明强 LLM 仍引入有害覆盖,PAMO 在已知与未知平台上一致优于纯结果 RL。

  7. arXiv · ML20

    CroissantMiner:面向 ML 数据集的 Croissant 元数据自动化提取与验证

    论文发布首个针对 Croissant 元数据提取的端到端基准,包含 602 篇论文,其中 102 篇有人工验证金标注。 实验涵盖前沿模型、开源模型及 Agent 架构,发现单次提取在准确性上优于四种分步 Agent 架构。 研究指出当前系统在长文 RAI 字段上可靠性极低,官方已开源基准、代码及排行榜。

  8. arXiv · ML25

    GeneICL:面向批量转录组学的表格基础模型

    研究者推出 GeneICL,这是参数量仅为 4.2M 的表格基础模型。该模型基于批量表达谱半合成预训练先验,采用参数高效的循环架构。 模型在 80 项临床结果预测任务中表现最佳,参数规模比同类模型少达 387 倍。推理无需梯度更新,在笔记本 CPU 上数秒内即可得到预测结果。

  9. arXiv · ML24

    奇异值分解的几何重发现:证明即算法

    文章提出奇异值分解的几何重构,论证其证明过程本身构成了主成分分析、核方法以及 PageRank 等机器学习核心算法的底层机制。 通常推导依赖光谱定理,该文通过观察线性映射将单位圆变为椭圆的过程,在空间中寻找垂直方向以证明该定理,并将构造转化为幂法迭代。 这种几何视角消除了传统推导中“假设强大定理来解决椭圆问题”的晦涩,使算法逻辑源于直观的几何构造,31 页篇幅配合 7 张图表。

  10. arXiv · ML25

    BAR:面向医疗知识图谱的预算感知 LLM 推理框架

    论文提出预算感知 LLM 推理框架 BAR,通过 LLM 在医疗知识图谱上运行 plan-navigate-verify 循环,实现了成本受限的探索、证据质量区分与可引用溯源。 在 MIMIC-III/IV 的 8 种疾病任务中,BAR 将 AUPRC 提升 3.4 点,引用准确率从 59.8% 提高至 77.9%,且仅消耗 62-65% 的预算上限。 该成果已被 NeurIPS 2026 接收。

  11. arXiv · ML42

    WASD: 基于 Wasserstein 距离的大语言模型知识蒸馏方法

    提出了名为 WASD 的大语言模型知识蒸馏方法,通过结合基于 Wasserstein 距离和词嵌入构建的成本矩阵,在离散概率分布对齐中引入词元级语义信息。 该方法采用 Sinkhorn 散度确保计算可行性,并推导出可高效优化的梯度等价目标函数,无需引入额外网络。 在多个 LLM 家族和规模上的实验表明,WASD 在指令遵循、数学推理和代码生成等多样化任务上持续提升了蒸馏性能。

  12. arXiv · ML25

    稀疏自编码器中的推理与学习作为自然梯度流:提出 BeFOND 框架

    稀疏自编码器(SAE)在特征重叠或激活稀疏时恢复困难。该研究提出 BeFOND,一个无编码器的稀疏编码模型,将推理和字典学习统一为共享变分自由能上的自然梯度流。BeFOND 使用闭合形式推理,并通过递归解释消除重叠干扰、利用 Fisher 预条件补偿稀有特征学习慢的问题。 在语言模型激活的实验中,BeFOND 在单特征概念检测上优于预训练参考 SAE,且训练数据大幅减少。

  13. arXiv · ML21

    知识图谱嵌入中的不确定性建模方法

    博士论文系统研究知识图谱嵌入中的知识、算法及预测不确定性,提出投票聚合框架与保形预测方法。 该方法构建了具有无分布覆盖保证的答案集,并开发支持统计本体的置信评分预测区间。 研究为高利害应用提供了理论依据,推动知识图谱推理从单纯准确率转向可靠性保障。

10月6日周二
  1. arXiv · NLP30

    LinguDistill 通过选择性跨模态蒸馏恢复视觉语言模型的语言能力

    LinguDistill 提出一种无适配器知识蒸馏方法,使用原始冻结语言模型作为教师,通过层级 KV-cache 共享恢复多模态微调丢失的语言能力。该方法仅在语言密集数据上进行选择性蒸馏,最终模型不增加参数量和推理成本,在 ARC、HellaSwag 基准上达到原始视觉语言模型平均水平,并在 ScienceQA 上表现更优。

  2. arXiv · NLP21

    语言模型能否真正进行上下文内检索:百万 Token 规模下的检索困境与 BLOCKSEARCH 改进

    研究首次系统探索百万 Token 语料下的上下文内检索,提出 0.6B 参数 LCLM 检索器 BLOCKSEARCH,其长度泛化能力超出训练范围 10 倍。 针对注意力稀释导致的检索崩溃,引入长度感知注意力 softmax 调整和文档级稀疏注意力,使百万 Token 规模性能媲美同骨干稠密检索器。

  3. arXiv · NLP40

    预注册对比:单轮 Vector RAG 与 LLM 编译 Wiki 在小型多领域语料库上的表现

    预注册对比显示,在 24 篇论文和 13 个问题的小规模语料库上,LLM 编译 Wiki 在跨论文发现关联上得分显著优于单轮 Vector RAG。 Wiki 构建成本更低,但每次查询消耗的 LLM token 约为 RAG 的 21 倍,两者不存在盈亏平衡点。 作者建议评估时分别报告综合能力、引用支持和成本,并用人工标签校验自动化评分器。

  4. arXiv · NLP41

    INSES 框架实现无噪声稀疏知识图谱中的鲁棒推理

    研究提出 INSES 动态框架,结合 LLM 引导导航与嵌入相似度扩展,解决知识图谱噪声和稀疏导致的推理失效问题。该框架通过轻量路由器将简单查询分配给 Naïve RAG,复杂案件升级至 INSES,平衡效率与推理深度。在 MINE 基准测试中,INSES 相比现有 RAG 和 GraphRAG 基线表现出显著优势,代码和数据已公开。

  5. arXiv · NLP31

    TEMPLAR:基于智能体从大规模临床语料自动归纳与演化标准化放射学报告模板

    TEMPLAR 是一个以模板为中心的 Agentic 框架,用于从大规模临床语料中归纳和演化标准化放射学报告模板。 该框架包含三个智能体,并依托解剖图谱和诊断图谱这两个知识图谱来维护模板状态。 在四个数据集的测试中,TEMPLAR 在覆盖率、信息保真度和诊断保真度上均优于 ASTAR 及多个大语言模型。

  6. arXiv · NLP21

    Wikidata Search Traces:用于训练知识图谱搜索智能体的数据集与递归语言模型框架

    研究团队发布包含 10,235 条搜索轨迹的数据集,并配套 RLM 框架,旨在通过管理检索证据解决长程知识图谱搜索难题。 该框架让模型在持久化 Python 状态中批量调用图谱接口,避免将大型结果直接塞入上下文窗口。 在 100 道测试题中,RLM 框架使 gpt-6-luna 正确率从 49 提升至 61,Qwen3.8-27B 从 60 提升至 74。

  7. arXiv · NLP28

    DeferKV:重新思考单次 KV Cache 压缩的驱逐时机

    DeferKV 将 KV 缓存驱逐决策从预填充阶段移至首个解码步骤,结合提示词与解码侧观察以优化重要性估计。该方法无需额外训练、草稿模型或未来查询预测模块,部署简单且保持低推理延迟。实验显示,DeferKV 在 LongBench、RULER 和 Needle-in-a-Haystack 基准测试中一致提升了压缩下的模型性能。

  8. arXiv · NLP25

    HALO 框架如何解决本地部署 LLM 的多 SLO 高吞吐调度问题

    HALO 是一种专为本地 LLM 部署设计的调度方法,通过 GPU 空间复用和 SLO 感知调度解决 LoRA 多服务高吞吐下的 SLO 保证难题。 该方法将 GPU SM 分区以重叠 Base 和 LoRA 计算,并利用请求级松弛时间进行流量整形,在降低 SLO 违规率的同时显著提升吞吐量。 相比最先进基线,HALO 有效缓解了资源争用,适合医院和政府机构等资源受限且注重隐私的本地化部署场景。