跳到正文
11月6日周五
  1. arXiv · ML33

    LLM 微调数据选择:覆盖率比难度更重要

    研究发现 LLM 微调中基于难度的数据选择方法往往不如随机选择,因随机选择对输入空间的覆盖性更好。 通过聚类方法优化覆盖率后,在单领域任务中表现持平或优于随机选择;在 Tülu 3 混合数据上则优于所有对比方法。 优先保障覆盖而非难度的数据选择策略能提升 LLM 微调效果。

  2. arXiv · ML20

    基于静态试验数据的熔盐氯化物腐蚀数据驱动建模

    研究人员整合 291 组熔盐氯化物腐蚀实验,开发了一种可解释的机器学习框架来预测腐蚀速率。 该模型结合树集成,交叉验证 R² 达 0.85,平均绝对误差 0.41 mg cm⁻² day⁻¹;引入氯化物盐制备指数以统一表征差异。 框架证明历史数据可实现定量、可解释且具备不确定性评估的腐蚀预测。

11月5日周四
  1. arXiv · AI29

    用于合成数据隐私审计的统计框架:区分真实泄露与幽灵泄露

    针对生成式AI合成数据的隐私风险,本文提出一种无需模型访问、金丝雀插入或参考模型训练的统计审计框架。 该框架通过区分“真实泄露”与“幽灵泄露”,结合假设检验严格验证数据披露是否符合零学习或差分隐私(DP)基线,并作为成员推理攻击提供比现有方法更紧的隐私泄露下限。 作为模型无关的通用工具,该方法所需的计算资源比影子模型或基于金丝雀的替代方案低几个数量级。

  2. arXiv · AI35

    MONET:一个大规模开放非冗余增强文本到图像数据集

    MONET 发布了一个包含 1.038 亿图像-文本对的 Apache 2.0 开放数据集,源于 29 亿原始数据,经过安全过滤、去重及多视觉语言模型重描述增强。 每张图片附带预计算嵌入与标注。研究人员仅用该数据集训练 4B 参数潜扩散模型,取得了具有竞争力的 GenEval 和 DPG 分数,证明了其降低大规模可复现研究门槛的作用。

  3. arXiv · AI40

    序数信用分配:仅基于比较的多步强化学习方法

    提出一种仅依赖序数比较的多步强化学习算法,通过计算动作回报相对其他轨迹的胜率来替代标量奖励。 实验表明该算法性能与标量奖励无显著差异,且使用 LLM 裁判时比较结果比逐点打分高 7-10 分。 方法对标签噪声鲁棒,但尚未完全缩小与 PPO 算法在 HalfCheetah 任务上的性能差距。

  4. arXiv · AI31

    上下文-答案元模型:首个答案 Token 生成前预测 LLM 激活

    研究人员训练了将上下文激活映射为答案激活预测的“上下文-答案元模型”,实现了首个答案 Token 生成前的行为预测。 该模型在 50 万 prompt 数据集上表现良好,支持零样本泛化,且 Qwen2.5 的上下文激活可预测 Qwen3.5 和 Gemma 4 的答案激活。 研究结果表明上下文激活轨迹支持 LLM 答案行为的可扩展预测。

  5. arXiv · AI29

    Tessera:面向千万原子规模分布式等变注意力分子动力学的运行时

    Tessera 是一种分布式运行时,通过固定工作负载形状实现千万原子规模的高效分子动力学模拟。 该框架将原子沿空间填充曲线排序至等量分片,使每层每步的张量形状保持一致;配合保守邻域皮层、融合 kernel、三级邻域搜索与 All-to-All 通信重叠,支持 CUDA Graph 重用。

  6. arXiv · AI22

    AMD GPU LLM 训练实现层级数据流水优化

    该 AMD LLM 训练系统利用 TDM、转置加载及 SDMA/RDMA 指令实现数据移动与计算重叠,消除等待瓶颈。 kernel 级测试中 TDM 平均加速 1.88 倍,转置加载加速 1.19 倍;通信重叠下 SDMA 和 RDMA 分别实现 1.16 倍和 1.33 倍加速。 这是首个利用所有 GPU 数据流水特性的 AMD LLM 训练系统,相关实现已集成到开源框架和库中。

  7. arXiv · AI26

    Bio-VQA:评估视觉语言模型在生物学视觉理解中的边界

    研究发布Bio-VQA,包含来自11个数据集的186万道问题和21.7万张图片,涵盖分类学、空间等四个维度,用于测试视觉语言模型在生物学领域的表现。 评估显示,表现最佳的模型在处理2至10个个体的计数任务时准确率为41.7%,其在分类学任务上的准确率从门级别的0.72降至学名级别的0.12,且增加参数量主要改善粗粒度的分类能力。

  8. arXiv · AI41

    Reglos: 通过递归自我改进实现自进化的个人记忆智能体

    Reglos是一款无需训练的个人记忆智能体,旨在验证其代码框架优化在目标失败案例之外的泛化能力。 它通过一个编码智能体从失败日志中提出补丁,并由另一个模型家族的批评者筛选以防止基准测试作弊。在相同的底层模型支持下,Reglos在PersonaMem-v2和LongMemEval-S测试中均优于Mem0、MemOS和EverOS等SOTA系统。

  9. arXiv · NLP41

    vOPD:引入控制变量基线稳定大语言模型在线策略蒸馏

    研究提出vOPD,将在线策略蒸馏(OPD)视为策略梯度强化学习,引入价值函数作为控制变量基线以降低梯度方差。 该方法利用闭式解的逐token反向KL散度作为基线,无需额外critic或推理,保持单样本估计器轻量且无偏。 在数学、科学及指令遵循基准测试中,vOPD性能优于基础OPD,且与高成本全词表方法持平。

  10. arXiv · NLP31

    LLM 社交模拟中的人口对齐人格生成框架

    研究人员提出新框架,通过重要性采样使 LLM 生成的人口对齐人格与 Big Five 心理特征分布匹配,显著减少模拟偏差。 该框架先从社交媒体数据生成叙事人格,经质量评估后利用任务特定模块适配目标子群体,实现高保真的群体模拟。 此方法增强了 LLM 驱动的社会模拟准确性,为计算社会科学和公共政策研究提供新的计算机会。

  11. arXiv · NLP26

    谁为被模型复制的知识买单:模型坍塌作为有损传输与罗杰斯悖论

    研究将模型坍塌视为罗杰斯悖论,指出依赖复制的知识群体最终不如独立学习者。 Rogers 模型仅靠合成数据训练,即可在几个百分点内预测不同新鲜数据混合下语言模型保留的稀有知识量。 当世界变化时,复制自身过去的模型谱系需要更多新鲜数据才能跟上;用户通过检查信息并重新学习可以打破这一悖论。

  12. arXiv · NLP25

    NaijaFacts:分离尼日利亚事实中语言与知识效应的框架

    多语言基准主要测量语言能力而非对非洲事实的认知。NaijaFacts 基准通过英语、皮钦语等5种语言提问,发现知识效应占主导,模型对尼日利亚事实准确率仅为20%,远低于英美。 语言效应随网络资源减少而加剧,模型规模增加无助于提升对尼日利亚统计数据的准确率(最高未超31%)。该研究揭示了大模型在非洲知识上的系统性缺失,非尼日利亚特有。

11月4日周三
  1. arXiv · NLP36

    注释锚定训练:缓解大语言模型后训练语义模式崩溃

    研究者提出注释锚定训练方法,利用预训练文档配对的语义注释分布,在模型后训练阶段保留高熵语义多样性,解决监督微调(SFT)导致的语义模式崩溃问题。 实验结果表明,该方法比标准 SFT 的多样性崩溃程度低 6 倍,且随着模型规模扩大,保持优势的效果显著增强。 该论文被 ICML 2026 接收。

  2. arXiv · NLP38

    Novelty Reviewer:用于审稿人对齐新颖性评估的大规模数据集与模型

    研究团队发布包含 102,021 份 ICLR 和 NeurIPS 审稿记录的数据集,并训练出 Novelty Reviewer 模型。 该模型微调 LLM 实现审稿人对齐的新颖性评估,通过检索语义相关论文构建知识图谱以生成校准分数。 数据集、模型及代码已公开,旨在支持自动化新颖性评估与同行评审研究。

  3. arXiv · NLP31

    MIMIC-Note-Extract:从MIMIC-IV-Note出院小结中提取的大规模结构化数据集

    MIMIC-Note-Extract将300,720份MIMIC-IV-Note出院小结的16个部分转化为结构化表格,填补MIMIC在病史、过敏等结构化数据上的空白。 采用确定性解析与LLM生成混合管道构建,病史条目增加10倍,覆盖2倍以上的住院记录;医生验证各部分抽取准确率超92%。 该数据集支撑LLM智能体临床决策基准,降低重复数据整理成本。

  4. arXiv · ML22

    ORBIT-FMIB 诊断框架揭示 ESM-2 高阶遗传交互信息保留特性的不确定性

    研究利用 ORBIT-FMIB 框架分析 ESM-2 中高阶遗传交互信息的保留情况,发现复现结果无法稳健证实高阶信息丢失。 独立复现中 $\Delta_{\text{HO-LO}}$ 从 -0.107 降至 -0.017,且符号在 -0.011 到 +0.015 间不稳定。 这表明探究蛋白质基础模型结构需具备足够统计功效的复现性检验。

  5. arXiv · ML20

    PLDR-LLMs 的训练与推理动力学研究

    PLDR-LLM 模型训练和推理机制的统一描述中,行图坍缩和重新标准化起到关键作用。 这项研究涉及行中心学习图绝对能量的分解、预测重新标准化以及自主简化过程。 该理论将精确恒等式、条件动力学主张和有限的经验发现区分开来,并提供了证明和紧凑的数值证据。

  6. arXiv · ML23

    UQ-SHRED:通过 engression 对浅层递归解码器网络进行稀疏感知不确定性量化

    UQ-SHRED 是一种分布学习框架,为稀疏感知中的 SHRED 架构提供不确定性量化,支持湍流和大气动力学等复杂系统。 它利用基于神经网络的 engression 学习空间状态预测分布,仅需在输入端注入随机噪声,无需重新训练或额外网络结构。 该方法在合成与真实数据集上提供了校准良好的置信区间,降低了计算开销。

  7. arXiv · ML21

    重新审视用于 LLM 隐私微调的低秩适应:恢复奇异值谱可加速 DP-SGD 收敛

    低秩模型虽适合 DP 训练,但 DP-SGD 注入的各向同性噪声会膨胀梯度奇异值并破坏其自然快速衰减特性。 实验基于 RoBERTa、Qwen、Llama(≤4B 参数),在 GLUE、E2E、DART 基准上测试。 部分恢复原始奇异值谱显著加速 DP-SGD 收敛且不损害隐私保证,代码已开源。

  8. arXiv · ML22

    CRONOS:面向机器人操作的非情节式强化学习基准

    CRONOS 提出用于视觉-语言-动作(VLA)模型非情节式场景重置强化学习微调的高保真物理模拟基准。 研究发现直接微调预训练策略会因物体配置和末端执行器位姿偏移而失败,但可通过针对性重置分配和纠正偏差加以缓解。 非情节式训练增强了长程操作能力,并提升了对未见物体配置和任务序列的泛化性。

  9. arXiv · ML25

    LIPS-PC:通过单像素成像中的学习光照模式实现分类

    研究团队提出LIPS-PC方法,利用端到端学习的光照模式在单像素成像中直接进行分类。 该方法将测量算子参数化为二维离散余弦变换的残差修正,并与紧凑分类器联合训练,无需重建目标。 在MNIST、Fashion-MNIST及RIAWELC数据集上,8次测量时其准确率比最佳固定变换高9-15个百分点,测量成本降低2至4倍。