跳到正文
11月10日周二
  1. arXiv · ML23

    TaskMixPGM:基于概率图模型优化监督微调任务混合的方法

    提出 TaskMixPGM 框架,利用马尔可夫随机场能量模型在固定预算下学习最优连续任务混合,提升监督微调下游性能。该模型通过单任务行为分歧建立节点间成对势函数,平衡效用、覆盖度与冗余度,并证明预算约束下的集函数具有弱次模性。实证表明,该固定混合方案在多个模型族上优于启发式混合策略,且揭示了任务间的互补与冗余结构。

  2. arXiv · ML30

    Sequence Pruning:DNA序列预训练的动态剪枝框架

    研究提出Sequence Pruning(SP)动态剪枝框架,在DNA语言模型预训练中移除易预测序列,最高将数据处理量降低96%。 SP在五个预训练设置及五个基因组基准上验证,适度剪枝使性能提升1.2 MCC,最高节省场景仅用4%基线GPU时长且性能损失微小。 SP在多数对比中优于InfoBatch和BPAS动态剪枝方法,代码已开源。

  3. arXiv · ML23

    DARE:面向模型重训练的感知漂移的多目标 MLOps 智能体

    DARE 框架提出了一种离线事件驱动的重训练策略,将重训练视为序贯决策问题。 在 Airline 数据集测试中,锁定后的 LinUCB 策略在提高平均 F1 分数的同时,显著降低了干预频率。 评估显示,这些性能提升在计入累计更新实际耗时后依然成立,表明该策略能减少不必要的运营开销。

  4. arXiv · AI28

    通过小样本对大型数据集进行伦理审计的可行性研究

    研究提出利用 AI 伦理工具对随机小样本进行审计,以识别大型训练数据集中的结构性偏见。 实验对 Framed Multi30K 的 1% 样本及 relaion2B-en-research-safe 的 0.00006% 样本应用了多种数据表工具,结果显示小样本即可揭示伦理问题。 该方法为大规模数据集的责任审计提供了可行路径,有助于推动 AI 透明度与监管讨论。

  5. arXiv · ML23

    CoMixKV:面向 LLM 多智能体系统的协同混合精度 KV Cache 量化框架

    CoMixKV 提出协同混合精度 KV Cache 量化方案,通过在线敏感度估计与联合位宽分配,在共享内存预算下优化 LLM 多智能体系统的内存瓶颈。该框架无需校准数据或额外模型推理路径,利用局部注意力误差界计算敏感度,动态调整新量化块的位宽。在 Qwen3-32B 上实现 1.38x 推理加速,峰值内存降低 32.08%,显著优于全精度 KV Cache 基线。

  6. arXiv · NLP28

    TabDLM:基于联合数值-语言扩散的自由格式表格数据生成

    TabDLM提出了一种基于掩码扩散语言模型(MDLMs)的统一框架,用于生成包含自由文本和数值属性的异构表格数据。 该模型通过掩码扩散处理文本和类别特征,利用学习到的专用数值token嵌入进行连续扩散处理数值特征,并通过双向注意力机制捕捉跨模态交互。 在多个基准测试中,TabDLM的表现优于现有的强扩散模型和LLM基线,代码已公开,论文被NeurIPS 2026接收。

  7. arXiv · NLP33

    OGDA:基于本体的数据智能体,实现异构数据湖的可靠分析

    研究团队提出 OGDA(本体驱动数据智能体),利用紧凑本体降低探索开销,并在 KramaBench 和 DiscoveryBench 上比最强基线提升最高 10.82 分。 该方法通过生成器-验证器架构构建本体,并由任务图约束数据处理动作,避免上下文窗口耗尽导致的推理退化。 明确建模数据湖是迈向可靠端到端数据智能体的关键步骤。

  8. arXiv · NLP32

    Naive LLMs 如何通过“无知”激发 LLM 创造力

    这篇 arXiv 论文提出了“naive LLMs”,即通过训练剥夺或有意遗忘来让 LLM 对特定主题保持无知,使其摆脱既有偏见,从而产生更新的点子。 测试了 1B 和 7B 规模的 naive 模型,其生成的种子创意在新颖性和实用性上始终优于基线模型;再由更强的 mentor 模型进行精炼,效果进一步提升。

  9. arXiv · NLP33

    生成式 AI 普及后工程类写作变化研究:基于 180 万篇文章的证据

    研究发现,2022年11月30日对话式大语言模型公开可用后,工程类文章摘要中31个与模型输出相关的词汇频率比趋势预测高出82%。2025年每10,000词中出现55.4次,而2023年前趋势为27.0次;声明AI辅助写作比例从0升至3.7%。 该变化覆盖14个工程主题类别,在12,866篇全文随机样本中,正文中这些词汇频率上升99%。研究强调这是描述性发现而非因果结论。

  10. arXiv · NLP36

    微调大模型是否引发领域外行为迁移是可预测的

    研究发现语言模型微调中的“人格泛化”现象存在可预测的“on-the-line”规律。 领域内与领域外行为率在多种微调超参数下呈近似 probit 线性关系,且该关系在 Qwen 和 Llama 等不同模型族及规模间共享。学习率、权重衰减等参数主要削弱领域内学习,而改变微调层级可调整斜率;仅微调后层能显著降低领域外非对齐行为,为预测和控制行为迁移提供了定量框架。

  11. arXiv · NLP31

    基于 PCT 专利族构建跨语言多辖区专利起草大规模数据集

    研究团队利用 884,179 个 PCT 衍生专利族,构建了一个包含 406.7 万实例的日英跨语言专利起草数据集。该任务涉及超越内容翻译的辖区特定转换,在六个配置中,监督式自适应方法表现优于机器翻译和零样本提示。 该基准已发表在 INLG 2026,旨在解决跨国专利保护中权利要求书需针对特定语言和辖区惯例单独起草的问题。

  12. arXiv · NLP36

    语言模型能力在压缩与扰动下按可预测的共享顺序失效

    压缩与扰动通常使大语言模型能力按跨方法共享、可预测的顺序失效,而非随机或方法特定模式。 八种指令微调模型在四种随机扰动下短答案能力失效顺序的中位相关达 0.90;剪枝与量化下为 0.875,且可由回答裕量、频率和格式预测。 随机扰动测得的脆弱性画像预测了压缩先移除哪些任务和事实;经四任务校准后,对留出任务精度的中位绝对误差为 0.11-0.12,优于均匀下降的 0.20-0.21。

  13. arXiv · NLP30

    扰动输入提升预训练知识蒸馏效果

    通过输入扰动优化预训练知识蒸馏,学生在两种规模下优于标准蒸馏。 在 135M 参数模型上,性能提升 0.025 nats;在 0.5B 参数模型上,提升 0.020 nats,且 0.5B 模型在七个任务上的平均零样本准确率提升约 1 个百分点。 消融实验表明,对教师输入进行扰动对性能提升贡献最大。

  14. arXiv · NLP23

    自监督语音模型中音素与韵律线索的层级与时间解析机制

    研究通过冻结编码器探针在 HuBERT 和 wav2vec 2.0 的预训练检查点上测试五个任务,发现声学韵律线索和音素边界在最早期检查点即可解码。 音素识别在预训练过程中构建,在 HuBERT 第二阶段目标下重新定位到上层中间层,且获取顺序跟踪抽象程度而非音段/超音段区别。 该发现扩展了关于语音、词汇和句法结构的解释,揭示了自监督学习层级结构的时间演变。

  15. arXiv · NLP38

    构建与审计化学数据集:LLM 作为评判者框架在 PET 去聚化领域的应用

    该研究提出基于引用的 LLM-as-a-Judge 框架,用于提取和验证文献中同相催化 PET 去聚化的实验数据。 在 295 个人工审核基准实验中,LLM 评判者与人类评估的一致率为 85.7%;应用于 561 篇论文、3942 条记录时,67.5% 的记录被直接接受。 研究团队开源了端到端无代码化工具包,实现可复现的数据集提取、交互式溯源审查及模型无关审计。

11月9日周一
  1. arXiv · ML41

    对比分布匹配:离散扩散中摊销序贯蒙特卡洛推理

    针对离散扩散模型采样奖励倾斜分布时序贯蒙特卡洛推理计算成本高的问题,提出对比分布匹配(CDM)框架。 CDM 通过正负样本学习参数化扭转函数,利用离散扩散模型的闭式正向核重构梯度估计器。 评估学习到的扭转函数的计算开销比基础模型单次前向传播增加不足 5%,在等耗时下性能优于现有基线。

  2. arXiv · ML26

    CompleteRXN: 迈向补全开放化学反应数据库

    CompleteRXN 提出大规模反应补全基准,针对 USPTO 数据集缺失副产物、共反应物等问题,通过映射至机理反应构建对齐且原子平衡的困难数据。 评估中,Constrained Reaction Balancer (CRB) 表现优于 SynRBL,在随机划分达到 99.28% 等价准确率,极端分布外划分达 91.71%。

  3. arXiv · AI25

    ToolDex:用于创意物理工具使用的 Ego-Exo 人类演示数据集

    ToolDex 发布,这是一个大规模 Ego-Exo 人类演示数据集,旨在支持创意物理工具使用。 数据集通过同步第一视角相机与八个多视角相机捕获高保真多视角观察,并为手、工具及目标物体提供丰富标注。 它确立了涵盖物理工具使用推理、稀疏视角重建及机器人策略学习的基准测试套件。

  4. arXiv · ML32

    GMAdam:通过梯度调制解决物理信息神经网络(PINNs)优化不平衡问题

    提出梯度调制Adam(GMAdam),利用任务特定的二阶矩估计调节梯度,在预测精度上优于AdaTask且计算成本相当。 基于慢流形分析发现Adam任务贡献重分配受曲率对齐差异与预处理梯度分布影响,该机制揭示了优化动力学。 在高频Poisson、Allen-Cahn方程及Re=100,400的顶盖驱动腔流中验证了方法的有效性。

  5. arXiv · ML33

    自适应调度流水线:用于多实例异步强化学习的大语言模型离线 Rollout 调度器

    自适应调度流水线(ASP)作为离线 rollout 调度器,通过单次预处理将端到端吞吐量提升 3.22 倍,迭代时间最多降低 76.8%。 相比 MindSpeed-RL 和 verl,ASP 更有效地克服了单实例推理的早期扩展瓶颈,并在有界策略滞后下保持收敛无退化。 该调度器已在电信领域 RL 后训练工作流中应用,将训练周期从 3 个月以上缩短至约 2 个月。

  6. arXiv · AI24

    PHISHREV+:基于ASP的后置可废止机器学习钓鱼网站检测框架

    PHISHREV+框架提出后置可废止机器学习方法,用于改进钓鱼网站检测。该框架利用回答集编程(ASP)的非单调推理层,修订SVM、KNN、DT和RF分类器的初始预测,通过四条可废止规则在保持假阴性持平的同时降低假阳性(如SVM从41降至39)。系统提供基于XASP的实例级可解释性,生成形式化推导图以展示规则触发原因。