跳到正文
11月10日周二
  1. arXiv · ML25

    统一因子化表示抵抗灾难性遗忘

    统一因子化表示(UFR)网络能显著抵抗灾难性遗忘,且无需修改微调算法或网络架构。UFR 中特征的协调变化比纠缠表示(FER)的破坏性变化更能缓解遗忘。 实验表明,通过 UFR 兼容的变体反复微调,UFR 网络的遗忘程度远低于 FER 网络。

  2. arXiv · ML23

    Hydro-Dataset:面向北欧水文研究与基础模型基准的多模态开源管道

    Hydro-Dataset v1.1 发布了一个融合瑞典和芬兰 582 个气象站 2015-2024 年数据的开源管道,生成 180 万条注释站天记录。 该数据集包含雪水当量、融雪速率等 6 类衍生参数,可作为水文基础模型的基准标签;ERA5-Land 交叉验证显示观测锚定 SWE 比再分析数据更具可靠性。

  3. arXiv · ML23

    GS3R 实现鲁棒且高效的持续模型合并

    针对持续模型合并中任务组件纠缠导致奇异几何扭曲的问题,作者提出 GS3R 方法。 该方法通过恢复保留的奇异几何并分离任务子空间,公平重新分配秩资源;结合预合并恢复与刷新(PRF)机制降低内存开销。 在视觉、NLP 和多模态基准测试中,GS3R 实现了强准确率与效率平衡,已被 NeurIPS 2026 接收。

  4. arXiv · ML23

    BRAT:用于稳定多轮LLM后训练 的有界残差对齐训练

    针对LLM后训练中复用采样rollout导致的训练崩溃或梯度截断问题,提出有界残差对齐训练(BRAT)。 BRAT通过线性衰减的token梯度权重和归一化组中心奖励,避免额外超参并保持优势有界。 在四轮复用下,BRAT避免了训练崩溃,在多数基准上实现了更低的种子方差和更高的平均准确率。

  5. arXiv · ML21

    面向 LLM 微调的固定秩流形零阶黎曼优化

    论文提出在固定秩矩阵流形上约束 LLM 微调的加法更新块,保持预训练权重冻结。 方法包含 Riemannian ZO 梯度估计器及 ZO-RGD 和 ZO-RGD-S 算法,在期望下恢复黎曼梯度并证明收敛性。 实验显示该算法在多个模型族和任务上性能优于强 forward-only 基线,部分设置中有增益。

  6. arXiv · ML26

    MACaQ:面向低精度权重与激活的快速、模型无关校准量化

    MACaQ 是一种 MXFP4 W4A4 后训练量化方法,通过逐层独立处理和在线应用块哈达玛变换,避免了跨层依赖。 在 vLLM 中的 Qwen3-32B 上,MACaQ 仅增加 2.3% 的端到端推理开销,并比 DuQuant++ 和 MR-GPTQ 实现了更低的困惑度。 该方法在 11 倍更快的量化时间内匹配 Llama-3-8B 的最佳困惑度,并展示了通用性和高效性。

  7. arXiv · ML23

    TaskMixPGM:基于概率图模型优化监督微调任务混合的方法

    提出 TaskMixPGM 框架,利用马尔可夫随机场能量模型在固定预算下学习最优连续任务混合,提升监督微调下游性能。该模型通过单任务行为分歧建立节点间成对势函数,平衡效用、覆盖度与冗余度,并证明预算约束下的集函数具有弱次模性。实证表明,该固定混合方案在多个模型族上优于启发式混合策略,且揭示了任务间的互补与冗余结构。

  8. arXiv · ML30

    Sequence Pruning:DNA序列预训练的动态剪枝框架

    研究提出Sequence Pruning(SP)动态剪枝框架,在DNA语言模型预训练中移除易预测序列,最高将数据处理量降低96%。 SP在五个预训练设置及五个基因组基准上验证,适度剪枝使性能提升1.2 MCC,最高节省场景仅用4%基线GPU时长且性能损失微小。 SP在多数对比中优于InfoBatch和BPAS动态剪枝方法,代码已开源。

  9. arXiv · ML23

    DARE:面向模型重训练的感知漂移的多目标 MLOps 智能体

    DARE 框架提出了一种离线事件驱动的重训练策略,将重训练视为序贯决策问题。 在 Airline 数据集测试中,锁定后的 LinUCB 策略在提高平均 F1 分数的同时,显著降低了干预频率。 评估显示,这些性能提升在计入累计更新实际耗时后依然成立,表明该策略能减少不必要的运营开销。

  10. arXiv · AI28

    通过小样本对大型数据集进行伦理审计的可行性研究

    研究提出利用 AI 伦理工具对随机小样本进行审计,以识别大型训练数据集中的结构性偏见。 实验对 Framed Multi30K 的 1% 样本及 relaion2B-en-research-safe 的 0.00006% 样本应用了多种数据表工具,结果显示小样本即可揭示伦理问题。 该方法为大规模数据集的责任审计提供了可行路径,有助于推动 AI 透明度与监管讨论。

  11. arXiv · ML23

    CoMixKV:面向 LLM 多智能体系统的协同混合精度 KV Cache 量化框架

    CoMixKV 提出协同混合精度 KV Cache 量化方案,通过在线敏感度估计与联合位宽分配,在共享内存预算下优化 LLM 多智能体系统的内存瓶颈。该框架无需校准数据或额外模型推理路径,利用局部注意力误差界计算敏感度,动态调整新量化块的位宽。在 Qwen3-32B 上实现 1.38x 推理加速,峰值内存降低 32.08%,显著优于全精度 KV Cache 基线。

  12. arXiv · NLP28

    TabDLM:基于联合数值-语言扩散的自由格式表格数据生成

    TabDLM提出了一种基于掩码扩散语言模型(MDLMs)的统一框架,用于生成包含自由文本和数值属性的异构表格数据。 该模型通过掩码扩散处理文本和类别特征,利用学习到的专用数值token嵌入进行连续扩散处理数值特征,并通过双向注意力机制捕捉跨模态交互。 在多个基准测试中,TabDLM的表现优于现有的强扩散模型和LLM基线,代码已公开,论文被NeurIPS 2026接收。

  13. arXiv · NLP33

    OGDA:基于本体的数据智能体,实现异构数据湖的可靠分析

    研究团队提出 OGDA(本体驱动数据智能体),利用紧凑本体降低探索开销,并在 KramaBench 和 DiscoveryBench 上比最强基线提升最高 10.82 分。 该方法通过生成器-验证器架构构建本体,并由任务图约束数据处理动作,避免上下文窗口耗尽导致的推理退化。 明确建模数据湖是迈向可靠端到端数据智能体的关键步骤。

  14. arXiv · NLP32

    Naive LLMs 如何通过“无知”激发 LLM 创造力

    这篇 arXiv 论文提出了“naive LLMs”,即通过训练剥夺或有意遗忘来让 LLM 对特定主题保持无知,使其摆脱既有偏见,从而产生更新的点子。 测试了 1B 和 7B 规模的 naive 模型,其生成的种子创意在新颖性和实用性上始终优于基线模型;再由更强的 mentor 模型进行精炼,效果进一步提升。

  15. arXiv · NLP33

    生成式 AI 普及后工程类写作变化研究:基于 180 万篇文章的证据

    研究发现,2022年11月30日对话式大语言模型公开可用后,工程类文章摘要中31个与模型输出相关的词汇频率比趋势预测高出82%。2025年每10,000词中出现55.4次,而2023年前趋势为27.0次;声明AI辅助写作比例从0升至3.7%。 该变化覆盖14个工程主题类别,在12,866篇全文随机样本中,正文中这些词汇频率上升99%。研究强调这是描述性发现而非因果结论。

  16. arXiv · NLP36

    微调大模型是否引发领域外行为迁移是可预测的

    研究发现语言模型微调中的“人格泛化”现象存在可预测的“on-the-line”规律。 领域内与领域外行为率在多种微调超参数下呈近似 probit 线性关系,且该关系在 Qwen 和 Llama 等不同模型族及规模间共享。学习率、权重衰减等参数主要削弱领域内学习,而改变微调层级可调整斜率;仅微调后层能显著降低领域外非对齐行为,为预测和控制行为迁移提供了定量框架。

  17. arXiv · NLP31

    基于 PCT 专利族构建跨语言多辖区专利起草大规模数据集

    研究团队利用 884,179 个 PCT 衍生专利族,构建了一个包含 406.7 万实例的日英跨语言专利起草数据集。该任务涉及超越内容翻译的辖区特定转换,在六个配置中,监督式自适应方法表现优于机器翻译和零样本提示。 该基准已发表在 INLG 2026,旨在解决跨国专利保护中权利要求书需针对特定语言和辖区惯例单独起草的问题。

  18. arXiv · NLP36

    语言模型能力在压缩与扰动下按可预测的共享顺序失效

    压缩与扰动通常使大语言模型能力按跨方法共享、可预测的顺序失效,而非随机或方法特定模式。 八种指令微调模型在四种随机扰动下短答案能力失效顺序的中位相关达 0.90;剪枝与量化下为 0.875,且可由回答裕量、频率和格式预测。 随机扰动测得的脆弱性画像预测了压缩先移除哪些任务和事实;经四任务校准后,对留出任务精度的中位绝对误差为 0.11-0.12,优于均匀下降的 0.20-0.21。

  19. arXiv · NLP30

    扰动输入提升预训练知识蒸馏效果

    通过输入扰动优化预训练知识蒸馏,学生在两种规模下优于标准蒸馏。 在 135M 参数模型上,性能提升 0.025 nats;在 0.5B 参数模型上,提升 0.020 nats,且 0.5B 模型在七个任务上的平均零样本准确率提升约 1 个百分点。 消融实验表明,对教师输入进行扰动对性能提升贡献最大。

  20. arXiv · NLP23

    自监督语音模型中音素与韵律线索的层级与时间解析机制

    研究通过冻结编码器探针在 HuBERT 和 wav2vec 2.0 的预训练检查点上测试五个任务,发现声学韵律线索和音素边界在最早期检查点即可解码。 音素识别在预训练过程中构建,在 HuBERT 第二阶段目标下重新定位到上层中间层,且获取顺序跟踪抽象程度而非音段/超音段区别。 该发现扩展了关于语音、词汇和句法结构的解释,揭示了自监督学习层级结构的时间演变。

  21. arXiv · NLP38

    构建与审计化学数据集:LLM 作为评判者框架在 PET 去聚化领域的应用

    该研究提出基于引用的 LLM-as-a-Judge 框架,用于提取和验证文献中同相催化 PET 去聚化的实验数据。 在 295 个人工审核基准实验中,LLM 评判者与人类评估的一致率为 85.7%;应用于 561 篇论文、3942 条记录时,67.5% 的记录被直接接受。 研究团队开源了端到端无代码化工具包,实现可复现的数据集提取、交互式溯源审查及模型无关审计。

  22. IT之家26

    微软新专利:利用闲置 GPU 开展微型 AI 训练,用户可获积分兑换现金或软件

    微软公布专利,允许用户授权闲置 GPU 参与 AI 模型微型训练。系统动态拆分任务,依据完成度发放积分,可兑换现金或软件。 微软将作为中间人连接算力需求方与设备所有者,向第三方提供算力解决方案。 专利强调需用户主动授权,旨在利用分散算力并规避 GPU 供应紧张问题。

  23. Hacker News AI42

    Forrester 称 AI 泡沫暂无破裂风险,企业需制定退出计划

    Forrester 认为 AI 泡沫暂无破裂风险,主要因构建 AI 算力基础设施的资金约九成来自大型健康科技公司的自有现金流。 其计算显示,基础设施投资需 AI 使美国 GDP 在 2035 年提升 5% 才能实现盈亏平衡。 企业应密切监测供应商的财务健康状况,并对 AI 计划进行压力测试,以应对潜在的市场调整。