TaskMixPGM:基于概率图模型优化监督微调任务混合的方法
提出 TaskMixPGM 框架,利用马尔可夫随机场能量模型在固定预算下学习最优连续任务混合,提升监督微调下游性能。该模型通过单任务行为分歧建立节点间成对势函数,平衡效用、覆盖度与冗余度,并证明预算约束下的集函数具有弱次模性。实证表明,该固定混合方案在多个模型族上优于启发式混合策略,且揭示了任务间的互补与冗余结构。
提出 TaskMixPGM 框架,利用马尔可夫随机场能量模型在固定预算下学习最优连续任务混合,提升监督微调下游性能。该模型通过单任务行为分歧建立节点间成对势函数,平衡效用、覆盖度与冗余度,并证明预算约束下的集函数具有弱次模性。实证表明,该固定混合方案在多个模型族上优于启发式混合策略,且揭示了任务间的互补与冗余结构。
研究提出Sequence Pruning(SP)动态剪枝框架,在DNA语言模型预训练中移除易预测序列,最高将数据处理量降低96%。 SP在五个预训练设置及五个基因组基准上验证,适度剪枝使性能提升1.2 MCC,最高节省场景仅用4%基线GPU时长且性能损失微小。 SP在多数对比中优于InfoBatch和BPAS动态剪枝方法,代码已开源。
BunshinRL 是面向智能体强化学习的推理系统,利用环境状态共享与重复工具调用优化并发效率。 它基于 BunshinFork 实现容器全工作区分叉,通过跨环境内存共享、工具前缀缓存及投机工具执行,将峰值内存降低最多 43%,总内存消耗降低 51%,端到端延迟减少 23%。
DARE 框架提出了一种离线事件驱动的重训练策略,将重训练视为序贯决策问题。 在 Airline 数据集测试中,锁定后的 LinUCB 策略在提高平均 F1 分数的同时,显著降低了干预频率。 评估显示,这些性能提升在计入累计更新实际耗时后依然成立,表明该策略能减少不必要的运营开销。
研究提出利用 AI 伦理工具对随机小样本进行审计,以识别大型训练数据集中的结构性偏见。 实验对 Framed Multi30K 的 1% 样本及 relaion2B-en-research-safe 的 0.00006% 样本应用了多种数据表工具,结果显示小样本即可揭示伦理问题。 该方法为大规模数据集的责任审计提供了可行路径,有助于推动 AI 透明度与监管讨论。
FedLoVA 提出仅共享 LoRA 中 value projection 的联邦微调框架,相比现有基线通信成本最高降低 7.8 倍。 该框架在本地对 query 和 value projections 均训练 LoRA adapters,观察到 value projection 收敛显著快于 query projection。
CoMixKV 提出协同混合精度 KV Cache 量化方案,通过在线敏感度估计与联合位宽分配,在共享内存预算下优化 LLM 多智能体系统的内存瓶颈。该框架无需校准数据或额外模型推理路径,利用局部注意力误差界计算敏感度,动态调整新量化块的位宽。在 Qwen3-32B 上实现 1.38x 推理加速,峰值内存降低 32.08%,显著优于全精度 KV Cache 基线。
文章指出 RMSNorm 图表的标架为带符号置换群 B_d,仅做置换对齐存在对称性缺失。 实验表明,忽略符号会导致权重更新误差增大,Qwen2.5-1.5B 在 B_d 传输下 SST-2 准确率保留 0.944,而 S_d 仅为 0.523。 该方法被 NeurIPS 2026 接收,验证了坐标名称仅在明确 B_d 标架下可复现。
TabDLM提出了一种基于掩码扩散语言模型(MDLMs)的统一框架,用于生成包含自由文本和数值属性的异构表格数据。 该模型通过掩码扩散处理文本和类别特征,利用学习到的专用数值token嵌入进行连续扩散处理数值特征,并通过双向注意力机制捕捉跨模态交互。 在多个基准测试中,TabDLM的表现优于现有的强扩散模型和LLM基线,代码已公开,论文被NeurIPS 2026接收。
论文提出 token 级框架,将 LLM scaling laws 分解为单个 contextualized token 的局部学习事件,并用 sigmoid 拟合 token loss 轨迹。
2B参数模型研究显示,单步操作准确率相同下,仅用规则表的训练使组合复用准确率高24.3个百分点。 工作示例目标虽节省捕获token,但组合成功时生成token量是规则表的2.6倍。
研究团队提出 OGDA(本体驱动数据智能体),利用紧凑本体降低探索开销,并在 KramaBench 和 DiscoveryBench 上比最强基线提升最高 10.82 分。 该方法通过生成器-验证器架构构建本体,并由任务图约束数据处理动作,避免上下文窗口耗尽导致的推理退化。 明确建模数据湖是迈向可靠端到端数据智能体的关键步骤。
提出Speculative Self-Distillation (SSD)方法,通过混合策略自蒸馏显著降低训练成本。 SSD 在三个闭卷问答基准上比全策略蒸馏减少 38-69% 的监督 token,同时在遗忘测试中保留最优通用能力。 该方法建立了自蒸馏新的精度-效率-遗忘 Pareto 前沿。
这篇 arXiv 论文提出了“naive LLMs”,即通过训练剥夺或有意遗忘来让 LLM 对特定主题保持无知,使其摆脱既有偏见,从而产生更新的点子。 测试了 1B 和 7B 规模的 naive 模型,其生成的种子创意在新颖性和实用性上始终优于基线模型;再由更强的 mentor 模型进行精炼,效果进一步提升。
研究者构建了包含 1.48 亿音频样本的 LAION-Audio-XL 数据集,并基于 NaFlex 架构训练了 CLAP2 模型。 CLAP2 在 MAEB 和 HEAR 基准测试上超越了同规模的以往音频-文本模型,团队已公开数据集、模型权重及代码。
提出 SGA-Sparse 方法,将预训练 SwiGLU LLM 转化为固定预算激活稀疏模型,通过直接训练门控作为 top-k 路由器,不使用辅助参数。 LLaMA 1B-8B 模型在约 30B 训练 token 后实现 75-85% FFN 通道稀疏,零样本准确率损失控制在 0.2-2.7 pp 以内。
研究发现,2022年11月30日对话式大语言模型公开可用后,工程类文章摘要中31个与模型输出相关的词汇频率比趋势预测高出82%。2025年每10,000词中出现55.4次,而2023年前趋势为27.0次;声明AI辅助写作比例从0升至3.7%。 该变化覆盖14个工程主题类别,在12,866篇全文随机样本中,正文中这些词汇频率上升99%。研究强调这是描述性发现而非因果结论。
研究发现语言模型微调中的“人格泛化”现象存在可预测的“on-the-line”规律。 领域内与领域外行为率在多种微调超参数下呈近似 probit 线性关系,且该关系在 Qwen 和 Llama 等不同模型族及规模间共享。学习率、权重衰减等参数主要削弱领域内学习,而改变微调层级可调整斜率;仅微调后层能显著降低领域外非对齐行为,为预测和控制行为迁移提供了定量框架。
PORT 提出一种 token 级鲁棒偏好优化框架,解决偏好数据噪声对齐问题。 通过 token 对数概率的经验累积分布函数进行重加权,仅前向传播即可抑制损坏 token。
在生产级多语言任务中,专家剪枝(REAP)显著优于专家合并(REAM)。 在 Qwen3-30B-A3B-Instruct-2507 和 Nemotron-3.5-Lightning 模型上,剪枝在 20 次对比中的 16 次胜出;移除 25% 专家时,REAP 保留 93.6% 生成质量,而 REAM 仅保留 62.5%。
研究团队利用 884,179 个 PCT 衍生专利族,构建了一个包含 406.7 万实例的日英跨语言专利起草数据集。该任务涉及超越内容翻译的辖区特定转换,在六个配置中,监督式自适应方法表现优于机器翻译和零样本提示。 该基准已发表在 INLG 2026,旨在解决跨国专利保护中权利要求书需针对特定语言和辖区惯例单独起草的问题。
压缩与扰动通常使大语言模型能力按跨方法共享、可预测的顺序失效,而非随机或方法特定模式。 八种指令微调模型在四种随机扰动下短答案能力失效顺序的中位相关达 0.90;剪枝与量化下为 0.875,且可由回答裕量、频率和格式预测。 随机扰动测得的脆弱性画像预测了压缩先移除哪些任务和事实;经四任务校准后,对留出任务精度的中位绝对误差为 0.11-0.12,优于均匀下降的 0.20-0.21。
通过输入扰动优化预训练知识蒸馏,学生在两种规模下优于标准蒸馏。 在 135M 参数模型上,性能提升 0.025 nats;在 0.5B 参数模型上,提升 0.020 nats,且 0.5B 模型在七个任务上的平均零样本准确率提升约 1 个百分点。 消融实验表明,对教师输入进行扰动对性能提升贡献最大。
研究通过冻结编码器探针在 HuBERT 和 wav2vec 2.0 的预训练检查点上测试五个任务,发现声学韵律线索和音素边界在最早期检查点即可解码。 音素识别在预训练过程中构建,在 HuBERT 第二阶段目标下重新定位到上层中间层,且获取顺序跟踪抽象程度而非音段/超音段区别。 该发现扩展了关于语音、词汇和句法结构的解释,揭示了自监督学习层级结构的时间演变。
该研究提出基于引用的 LLM-as-a-Judge 框架,用于提取和验证文献中同相催化 PET 去聚化的实验数据。 在 295 个人工审核基准实验中,LLM 评判者与人类评估的一致率为 85.7%;应用于 561 篇论文、3942 条记录时,67.5% 的记录被直接接受。 研究团队开源了端到端无代码化工具包,实现可复现的数据集提取、交互式溯源审查及模型无关审计。
Elith 与 NVIDIA 联合发布 Nemotron-Personas-Finance-Japan 数据集,这是首个基于日本官方统计的大规模开源金融合成数据。
层级贝叶斯轨迹主流形采样方法 HB-TPM 通过从有序源任务学习平滑曲线族,适应稀疏目标的重建与采样。在 30 个保留向量任务中,HB-TPM 相比源适应 VAE 将平均切片 Wasserstein 距离降低 21.0% 至 41.8%。
针对离散扩散模型采样奖励倾斜分布时序贯蒙特卡洛推理计算成本高的问题,提出对比分布匹配(CDM)框架。 CDM 通过正负样本学习参数化扭转函数,利用离散扩散模型的闭式正向核重构梯度估计器。 评估学习到的扭转函数的计算开销比基础模型单次前向传播增加不足 5%,在等耗时下性能优于现有基线。
CompleteRXN 提出大规模反应补全基准,针对 USPTO 数据集缺失副产物、共反应物等问题,通过映射至机理反应构建对齐且原子平衡的困难数据。 评估中,Constrained Reaction Balancer (CRB) 表现优于 SynRBL,在随机划分达到 99.28% 等价准确率,极端分布外划分达 91.71%。
V-STORM 将视频转化为 Spatio-Temporal Scene Graphs 并推导 Grounded Chain of Thought,构建了 260K 训练集和 3K 人工验证 benchmark。
研究揭示了 Transformer 在离散马尔可夫链任务中的上下文学习机制,发现其通过多层子电路实现四种算法阶段,分别对应记忆与泛化能力及 1 点与 2 点统计量的使用。
ToolDex 发布,这是一个大规模 Ego-Exo 人类演示数据集,旨在支持创意物理工具使用。 数据集通过同步第一视角相机与八个多视角相机捕获高保真多视角观察,并为手、工具及目标物体提供丰富标注。 它确立了涵盖物理工具使用推理、稀疏视角重建及机器人策略学习的基准测试套件。
FoundaRF 框架结合自监督编码器与物理感知解码器,实现射频无源组件的少样本迁移。 实验显示其预测误差比基线降低 3.3 倍,标注数据需求减少 4 倍,显著缩短设计周期。 该方案被发表于 2026 年 ICCAD 会议,为射频设计提供了可扩展的自动化路径。
针对测试时强化学习(TTRL)中多数投票伪标签可靠性不足的问题,研究者提出 Prompt-Conditional Distributionally Robust DPO(Prompt-Conditional DRO-DPO)。
研究者发布 SPDMX,这是基于公有领域 PDMX 乐谱渲染的开源分轨语料库。该数据集包含 253,982 首歌曲、490,159 个单声道分轨及 5,469 个歌曲小时,采样率为 44.1 kHz,采用 CC BY 4.0 许可。
提出梯度调制Adam(GMAdam),利用任务特定的二阶矩估计调节梯度,在预测精度上优于AdaTask且计算成本相当。 基于慢流形分析发现Adam任务贡献重分配受曲率对齐差异与预处理梯度分布影响,该机制揭示了优化动力学。 在高频Poisson、Allen-Cahn方程及Re=100,400的顶盖驱动腔流中验证了方法的有效性。
自适应调度流水线(ASP)作为离线 rollout 调度器,通过单次预处理将端到端吞吐量提升 3.22 倍,迭代时间最多降低 76.8%。 相比 MindSpeed-RL 和 verl,ASP 更有效地克服了单实例推理的早期扩展瓶颈,并在有界策略滞后下保持收敛无退化。 该调度器已在电信领域 RL 后训练工作流中应用,将训练周期从 3 个月以上缩短至约 2 个月。
ENGRAM框架将训练准入与记忆释放分离,通过验证智能体经验来优化模型权重,从而降低外部检索依赖。 该方法利用演示感知门控和验证门控,在保留基准测试中表现优于固定权重控制组,并显著减少可检索足迹及输入token消耗。
PHISHREV+框架提出后置可废止机器学习方法,用于改进钓鱼网站检测。该框架利用回答集编程(ASP)的非单调推理层,修订SVM、KNN、DT和RF分类器的初始预测,通过四条可废止规则在保持假阴性持平的同时降低假阳性(如SVM从41降至39)。系统提供基于XASP的实例级可解释性,生成形式化推导图以展示规则触发原因。
提出一种针对概率测度优化的固定点加速方法,利用 Riemannian Anderson mixing 避免计算 Hessian 矩阵。 该方法通过近似二阶信息加速迭代,在多模态采样、生成建模等任务中减少了自然梯度迭代次数。