跳到正文
11月9日周一
  1. arXiv · ML40

    CleanScore: 基于负对照和敏感度界值的黑盒基准审计

    CleanScore 是一种黑盒审计方法,通过为基准题设计独立新形式并设立负对照,估算公开分数的优势区间。 该方法在 200 道 GSM8K 和 ARC-Challenge 题上审计 5 个开源模型,未发现一致暴露优势,且 4/10 模型-基准对的上限区间不超过 5 分。 实验表明仅 24% 的污染影响可通过表面形式检测,揭示“零分”结果并不能完全排除数据污染。

  2. arXiv · AI30

    ParliamentRAG:基于意大利众议会议程的权威感知多视角 RAG 系统

    针对议会记录中发言权重不均与引用错位风险,ParliamentRAG 提出主题依赖的权威模型,用于处理意大利众议会议事记录。 该模型结合职业、教育等可解释特征估算发言人在特定查询下的权威度,检索多党派专家观点并生成附带引用的摘要。 在 15 个政策主题上,ParliamentRAG 对 6 名领域专家盲评显示,其引用忠实度(1.00)和政治党派覆盖度(0.97)高于 NotebookLM。

  3. arXiv · AI22

    PIRL 如何提升多模态 RLVR 的泛化鲁棒性

    针对多模态大语言模型在 RLVR 训练中因提示词变化导致性能下降的问题,研究者提出 Prompt-Invariant RLVR (PIRL) 方法。该方法通过动态三元奖励分离格式与语义,并利用嵌入空间对抗机制应用策略不变性正则化器。 在压力测试中,PIRL 在基准测试上的平均准确率下降不超过 1%,而 GRPO 下降约 3%;在动态评估中,PIRL 也实现了最小的性能衰减。

  4. arXiv · AI38

    RST框架生成3.7万终端代理任务,Qwen3.5微调后基准提升最高10分

    研究人员提出递归验证合成框架RST,通过15轮迭代生成了37,484个终端代理任务,成本约为每任务$0.05。 任务难度随轮次显著增加,中位参考解决方案从67行增长至374行,执行命令从40条增至244条。 使用Qwen3.5轨迹进行监督微调,使模型在Terminal-Bench 2等三项基准上得分提升最高10分。

  5. arXiv · ML34

    Stochastic Autoregressive Learning 提出二值随机自回归学习的 PAC 学习模型

    针对 LLM 迭代采样特性,论文引入二值随机自回归学习的 PAC 模型,推广确定性框架。 考虑链式思维(CoT)等三种监督形式,研究在 KL 散度下学习一步概率及最终 token 概率所需的最小样本数。 证明随机学习在比例关系上与确定性理论存在本质差异,并给出紧确样本复杂度上界。

  6. arXiv · ML24

    子空间感知稀疏自编码器(SASA)用于提升大语言模型机制可解释性

    summary_zh: 研究提出子空间感知稀疏自编码器(SASA),通过将单向量解码器替换为学习子空间,解决传统稀疏自编码器因假设特征一维导致的特征分裂问题。 SASA 利用 Top-s 组门控和核范数正则化适配组秩,在 GPT-2 和 Mistral-7B 上的实验表明,该方法相比传统 SAE 显著降低了特征吸收,并以较低重建成本提高了概念成员预测的准确性。

  7. arXiv · ML36

    Dominant-Layer ZO:LLM 零阶微调由单层主导

    LLM 零阶微调的性能主要受单一解码层支配,仅微调该层在多个基准上可媲美或超越全模型微调。 该主导层具有任务无关但模型特定的特性,可通过分析激活异常值提前识别。在 LLaMA2-7B 和 Qwen3-8B 上,该方法相比 MeZO 和 LoRA 微调平均性能更优,训练速度提升最高 4.52 倍。

  8. arXiv · AI29

    偏好嵌入优于语义嵌入:用于集体决策的新方法

    研究指出标准文本嵌入测量语义相似度,无法满足公平聚类等集体决策所需的偏好相似度。 通过构建合成训练数据打破语义与偏好的相关性,显著改进了 11 个在线审议数据集上的偏好预测。 该方法已被 NeurIPS 2026 接收,为解决基于自由文本的集体决策问题提供了新的数学框架。

  9. arXiv · AI28

    GRAC:基于图结构检索增强的手术场景描述框架

    GRAC 框架通过图结构表示手术场景,利用检索增强的生成方式提升描述准确性。 在 EndoVis-18 基准测试中,其 CIDEr-D 得分达 5.88,超越传统 Transformer 基线的 3.36;在三元组准确率上从 26.2% 提升至 52.6%。 该结果表明,结合结构化场景表示与检索示例能显著提升手术场景描述的上下文相关性。

  10. arXiv · ML28

    通用优先级感知 Shapley 值 GPASV 提出

    论文提出通用优先级感知 Shapley 值(GPASV),打破现有方法对成对优先级必须为二元无环图的限制,允许在任意加权有向优先级图上定义随机顺序值。 GPASV 通过公理化特征建立,将成对边的优先级违反转化为惩罚项,并开发了配套计算方法及优先级扫描诊断工具,能覆盖多种经典模型作为边界情况。

  11. arXiv · ML28

    Sobolev 正则化 MMD 梯度流分析

    分析 Sobolev 下降,一种基于 MMD 见证函数梯度惩罚的正则化变体。该正则化缓解 MMD 目标非凸性,在连续和离散时间中提供可证明的全局收敛保证。 不依赖目标分布的等周假设,而是基于核均值嵌入差的正则性条件。扩展 Sobolev 下降,使其同时适用于采样(使用 Stein 核)和生成建模。

  12. arXiv · ML27

    Tyche:用于高效概率天气预报的单步流模型

    论文提出 Tyche 单步条件流模型,用于高效概率天气预报。该模型通过单次函数评估将高斯噪声直接映射为未来天气状态,在 ERA5 1.5° 数据上表现匹配或超越 SOTA 多步基准及 ECMWF IFS 集合。 模型采用各向同性 Swin 风格 transformer 参数化传输场,并引入基于课程学习 CRPS 校准监督的 rollout 微调阶段以增强自回归预报下的集合可靠性。

  13. arXiv · ML23

    PACZero 提出一种基于 PAC 隐私的大语言模型零阶微调机制,通过符号量化将每个更新限制为 1 比特以降低信息泄露风险。

    在 1.3B 到 8B 参数模型上使用 LoRA 和全量微调进行验证,PACZero-BAC₀ 在零互信息保证下性能与非隐私基线差距小于 2 分。 这是首个为 LLM 微调提供此类成员推断攻击防御保证的方法,相关成果已被 NeurIPS 2026 接收。

  14. arXiv · AI26

    RelGuard:首个GraphRAG差分隐私框架

    针对GraphRAG系统面临的知识图谱重构攻击,提出首个具备形式化隐私保证的差分隐私框架RelGuard。 该框架定义关系差分隐私(relation-DP),通过四步防御机制在索引前对源文档进行净化,利用指数机制扰动谓词或移除连接。 实验表明,在保护重建攻击方面,RelGuard优于四种现有防御机制,同时更好地保留了下游效用。

  15. arXiv · AI31

    基于知识牵引的多模态弱监督视频异常检测方法

    针对弱监督视频异常检测中仅依赖帧特征幅值的局限性,提出一种结合 LLM 提取文本先验与字典学习进行归一化压缩的新方法。 通过 LLM 和辅助信息解决图像描述模型对相似帧文本描述不一致的问题,并利用跨模态注意力机制融合先验知识,构建更准确的特征表示。实验结果表明该方法在准确性和稳定性上优于现有 SOTA 方法。

  16. arXiv · ML32

    ReinPatch 通过强化学习实现动态分词及零样本迁移

    ReinPatch 提出一种结合强化学习与下游骨干模型的序列分词框架,以优化动态分词策略。 该方法使用 GRPG 将分词边界放置建模为离散决策过程,避免了软离散化,支持严格压缩率约束。 该设计允许分词模块作为独立的基础分词器使用,为社区提供性能驱动分词行为的实证洞察。

  17. arXiv · AI20

    基于 GPT-6 Astra 权重编辑的机器人策略词汇修复

    GPT-6 Astra 通过编辑 65 个 token-embedding 行,成功提升了 pi_0.5 机器人策略在 765 个保留改写指令上的成功率。 最佳修复将成功率从 86.3% 提升至 92.0%,其中 335 条含编辑词的指令成功率从 74.3% 升至 87.5%,其余 430 条结果无变化。 随机方向编辑无效,证据支持精确的词汇修复,而非泛化获取缺失的机器人能力。

  18. arXiv · ML26

    基于文本证据设计服务系统:结合有偏代理分数与人类审计的最优配置识别

    该研究提出一种在存在系统性偏差的 LLM 代理分数下,通过最小化昂贵的人类审计次数来高置信度识别最优服务配置的方法。 核心创新包括共享参考标签与自适应审计决策,二者均可严格降低渐近识别成本;算法联合分配配置评估与审计任务,在有限生成模型族下期望成本达到信息论下界。 数值实验显示,新算法在保持可靠选择的同时,大幅减少了所需的人工复核量。

  19. arXiv · AI25

    ToolDex:用于创意物理工具使用的 Ego-Exo 人类演示数据集

    ToolDex 发布,这是一个大规模 Ego-Exo 人类演示数据集,旨在支持创意物理工具使用。 数据集通过同步第一视角相机与八个多视角相机捕获高保真多视角观察,并为手、工具及目标物体提供丰富标注。 它确立了涵盖物理工具使用推理、稀疏视角重建及机器人策略学习的基准测试套件。

  20. arXiv · ML29

    串联 2-FWL GNN 实现组合图对齐

    提出串联 2-FWL GNN 方法解决组合图对齐,在稀疏 Erdos-Renyi 图噪声 0.25 时,初始化 FAQ 达 85% 准确率,优于凸松弛初始化的 13% 及现有 GNN 的 0%。 相关正则图上串联法是唯一能恢复非平凡对齐的方法;在酵母 PPI 等基准上,该方法进一步超越强化后的 FAQ 基线,代码已开源。