当分数与偏好冲突:DPO 中约束漂移的对齐前诊断与自适应校正
DPO 在处理成对偏好与点式指标冲突时易发生约束漂移。论文提出 CoDPO 方法,通过计算数据集统计量诊断漂移并进行自适应校正。 实验显示 CoDPO 在四个领域均能减少漂移,同时保留 DPO 的偏好学习效果。该方法优于硬过滤及现有约束基线,已被 NeurIPS 2026 接收。
DPO 在处理成对偏好与点式指标冲突时易发生约束漂移。论文提出 CoDPO 方法,通过计算数据集统计量诊断漂移并进行自适应校正。 实验显示 CoDPO 在四个领域均能减少漂移,同时保留 DPO 的偏好学习效果。该方法优于硬过滤及现有约束基线,已被 NeurIPS 2026 接收。
研究发现 LLM 微调中基于难度的数据选择方法往往不如随机选择,因随机选择对输入空间的覆盖性更好。 通过聚类方法优化覆盖率后,在单领域任务中表现持平或优于随机选择;在 Tülu 3 混合数据上则优于所有对比方法。 优先保障覆盖而非难度的数据选择策略能提升 LLM 微调效果。
压缩导致小模型在上下文检索中恢复大部分损失,而大模型则保留大部分损失。研究通过分解注意力头消融的预期损失发现,随模型增大,网络补偿响应减弱。因此,在小模型中几乎无害的压缩在大模型中可能代价高昂。
研究人员整合 291 组熔盐氯化物腐蚀实验,开发了一种可解释的机器学习框架来预测腐蚀速率。 该模型结合树集成,交叉验证 R² 达 0.85,平均绝对误差 0.41 mg cm⁻² day⁻¹;引入氯化物盐制备指数以统一表征差异。 框架证明历史数据可实现定量、可解释且具备不确定性评估的腐蚀预测。
该研究构建了包含51M、124M和355M参数GPT-2模型的“LLM动物园”,每个参数规模层级包含100个模型,训练数据涵盖网络文本、书籍、数学、编程和法语。
TNT 架构通过过滤过时样本并重新包含相关实例,实现鲁棒流分类。该决策树解决了概念漂移导致的模型重训练问题。 在 24 个真实及半真实数据流中,TNT 在多种概念漂移类型下取得同类最佳性能。 论文被 NeurIPS 2026 接收,共 33 页、9 表、10 图。
针对生成式AI合成数据的隐私风险,本文提出一种无需模型访问、金丝雀插入或参考模型训练的统计审计框架。 该框架通过区分“真实泄露”与“幽灵泄露”,结合假设检验严格验证数据披露是否符合零学习或差分隐私(DP)基线,并作为成员推理攻击提供比现有方法更紧的隐私泄露下限。 作为模型无关的通用工具,该方法所需的计算资源比影子模型或基于金丝雀的替代方案低几个数量级。
研究人员提出 Mixture of Activations (MoA),这是一种通过输入依赖门控混合激活函数字典的前馈层设计,旨在提升 Transformer 大语言模型的表达能力。
MONET 发布了一个包含 1.038 亿图像-文本对的 Apache 2.0 开放数据集,源于 29 亿原始数据,经过安全过滤、去重及多视觉语言模型重描述增强。 每张图片附带预计算嵌入与标注。研究人员仅用该数据集训练 4B 参数潜扩散模型,取得了具有竞争力的 GenEval 和 DPG 分数,证明了其降低大规模可复现研究门槛的作用。
提出一种仅依赖序数比较的多步强化学习算法,通过计算动作回报相对其他轨迹的胜率来替代标量奖励。 实验表明该算法性能与标量奖励无显著差异,且使用 LLM 裁判时比较结果比逐点打分高 7-10 分。 方法对标签噪声鲁棒,但尚未完全缩小与 PPO 算法在 HalfCheetah 任务上的性能差距。
论文提出 MinPRO 目标函数以稳定离策略 LLM 强化学习后的训练。 MinPRO 利用最小 token 级比率替代不稳定的累积前缀比率,在 dense 和 MoE 模型的多项数学推理 benchmark 上显著提升了训练稳定性与峰值性能,已被 NeurIPS 2026 接收。
研究人员训练了将上下文激活映射为答案激活预测的“上下文-答案元模型”,实现了首个答案 Token 生成前的行为预测。 该模型在 50 万 prompt 数据集上表现良好,支持零样本泛化,且 Qwen2.5 的上下文激活可预测 Qwen3.5 和 Gemma 4 的答案激活。 研究结果表明上下文激活轨迹支持 LLM 答案行为的可扩展预测。
论文提出 IDSISA 方法,通过影响函数将易遗忘样本集中至少数分片,并蒸馏未受影响分片以恢复效用。 在 SISA 基础上,该方法保持删除保证精确性,实验在 ResNet-18 等模型上显示选择性遗忘提升 14%-91%,效用保持最高提升 50%。 工作已提交至 IEEE 待发表。
Tessera 是一种分布式运行时,通过固定工作负载形状实现千万原子规模的高效分子动力学模拟。 该框架将原子沿空间填充曲线排序至等量分片,使每层每步的张量形状保持一致;配合保守邻域皮层、融合 kernel、三级邻域搜索与 All-to-All 通信重叠,支持 CUDA Graph 重用。
该 AMD LLM 训练系统利用 TDM、转置加载及 SDMA/RDMA 指令实现数据移动与计算重叠,消除等待瓶颈。 kernel 级测试中 TDM 平均加速 1.88 倍,转置加载加速 1.19 倍;通信重叠下 SDMA 和 RDMA 分别实现 1.16 倍和 1.33 倍加速。 这是首个利用所有 GPU 数据流水特性的 AMD LLM 训练系统,相关实现已集成到开源框架和库中。
研究发布Bio-VQA,包含来自11个数据集的186万道问题和21.7万张图片,涵盖分类学、空间等四个维度,用于测试视觉语言模型在生物学领域的表现。 评估显示,表现最佳的模型在处理2至10个个体的计数任务时准确率为41.7%,其在分类学任务上的准确率从门级别的0.72降至学名级别的0.12,且增加参数量主要改善粗粒度的分类能力。
研究提出ConceptARC at Scale生成器,构建包含1,600个经人工审查任务的ConceptARC-100数据集。 该数据集涵盖16个概念,每个概念100个任务,规模是原基准的10倍。 内部表征分析显示,任务按对象操作类型聚类,表明模型形成了可泛化的稳定抽象。
Reglos是一款无需训练的个人记忆智能体,旨在验证其代码框架优化在目标失败案例之外的泛化能力。 它通过一个编码智能体从失败日志中提出补丁,并由另一个模型家族的批评者筛选以防止基准测试作弊。在相同的底层模型支持下,Reglos在PersonaMem-v2和LongMemEval-S测试中均优于Mem0、MemOS和EverOS等SOTA系统。
研究使用国际象棋作为测试床,探讨 LLM 预训练与 RL 后训练间的关系。 预训练 5M 至 1B 参数的模型,发现预训练损失能预测 RL 后性能,且 RL 奖励曲线斜率随预训练 token 数近似线性提升。 该机制在 1B 参数的数学领域模型上也得到验证。
研究提出vOPD,将在线策略蒸馏(OPD)视为策略梯度强化学习,引入价值函数作为控制变量基线以降低梯度方差。 该方法利用闭式解的逐token反向KL散度作为基线,无需额外critic或推理,保持单样本估计器轻量且无偏。 在数学、科学及指令遵循基准测试中,vOPD性能优于基础OPD,且与高成本全词表方法持平。
研究人员提出新框架,通过重要性采样使 LLM 生成的人口对齐人格与 Big Five 心理特征分布匹配,显著减少模拟偏差。 该框架先从社交媒体数据生成叙事人格,经质量评估后利用任务特定模块适配目标子群体,实现高保真的群体模拟。 此方法增强了 LLM 驱动的社会模拟准确性,为计算社会科学和公共政策研究提供新的计算机会。
研究将模型坍塌视为罗杰斯悖论,指出依赖复制的知识群体最终不如独立学习者。 Rogers 模型仅靠合成数据训练,即可在几个百分点内预测不同新鲜数据混合下语言模型保留的稀有知识量。 当世界变化时,复制自身过去的模型谱系需要更多新鲜数据才能跟上;用户通过检查信息并重新学习可以打破这一悖论。
多语言基准主要测量语言能力而非对非洲事实的认知。NaijaFacts 基准通过英语、皮钦语等5种语言提问,发现知识效应占主导,模型对尼日利亚事实准确率仅为20%,远低于英美。 语言效应随网络资源减少而加剧,模型规模增加无助于提升对尼日利亚统计数据的准确率(最高未超31%)。该研究揭示了大模型在非洲知识上的系统性缺失,非尼日利亚特有。
语言模型训练数据在域外行为中存在意外副作用,现有孤立样本少导致理解泛化困难。研究人员提出自动发现带有意外副作用的数据集(DSSE)的方法,该数据集需激发目标行为、看似普通后置训练数据且让审核者感到惊讶。
GEdit 利用几何感知框架提升大语言模型的知识编辑效果,在 GPT2-XL、GPT-J 和 LLaMA-3-8B 上验证,编辑成功率显著优于最先进基线。 该框架基于 LR+D 因子模型,通过低秩保护核心子空间,并依据编辑难度动态调整正则化强度。
研究者提出注释锚定训练方法,利用预训练文档配对的语义注释分布,在模型后训练阶段保留高熵语义多样性,解决监督微调(SFT)导致的语义模式崩溃问题。 实验结果表明,该方法比标准 SFT 的多样性崩溃程度低 6 倍,且随着模型规模扩大,保持优势的效果显著增强。 该论文被 ICML 2026 接收。
研究团队发布包含 102,021 份 ICLR 和 NeurIPS 审稿记录的数据集,并训练出 Novelty Reviewer 模型。 该模型微调 LLM 实现审稿人对齐的新颖性评估,通过检索语义相关论文构建知识图谱以生成校准分数。 数据集、模型及代码已公开,旨在支持自动化新颖性评估与同行评审研究。
MIMIC-Note-Extract将300,720份MIMIC-IV-Note出院小结的16个部分转化为结构化表格,填补MIMIC在病史、过敏等结构化数据上的空白。 采用确定性解析与LLM生成混合管道构建,病史条目增加10倍,覆盖2倍以上的住院记录;医生验证各部分抽取准确率超92%。 该数据集支撑LLM智能体临床决策基准,降低重复数据整理成本。
EvoGroup 是一个自进化框架,通过 6 个工具的冷启动适配群组共享上下文,解决了现有记忆系统无法捕获群组级知识的问题。 在 EverMemBench 留出集上,其 pass@1 准确率从 71.07% 提升至 89.58%,超过了 Claude Code 的 85.83%。结合 GPT-5.5 在 GroupMemBench 上也展示了良好的泛化能力。
研究通过配对推理和马尔可夫核分析揭示,RLVR 模型在 Pass@$k$ 表现上的交叉现象往往由模型条件分散度(conditional dispersion)导致。
CurEvo 提出课程引导式自我进化框架,通过多模态提问与自适应评估在7个backbone和4个VideoQA基准上提升性能。 在 Qwen2.5-VL(7B) 上,ActivityNet-QA 准确率从67.84%升至69.91%,NExT-QA 从76.94%升至79.61%。 该框架无需人工标注,为视频理解提供了稳定的自主进化路径。
研究利用 ORBIT-FMIB 框架分析 ESM-2 中高阶遗传交互信息的保留情况,发现复现结果无法稳健证实高阶信息丢失。 独立复现中 $\Delta_{\text{HO-LO}}$ 从 -0.107 降至 -0.017,且符号在 -0.011 到 +0.015 间不稳定。 这表明探究蛋白质基础模型结构需具备足够统计功效的复现性检验。
PLDR-LLM 模型训练和推理机制的统一描述中,行图坍缩和重新标准化起到关键作用。 这项研究涉及行中心学习图绝对能量的分解、预测重新标准化以及自主简化过程。 该理论将精确恒等式、条件动力学主张和有限的经验发现区分开来,并提供了证明和紧凑的数值证据。
针对数据集蒸馏(DD)常通过非标准协议被高估的问题,大规模实验表明部分 SOTA DD 方法在 ImageNet-1K 等大模型上表现劣于或仅持平核心集(Coreset),且构建成本显著更高。
研究者提出EBMol,这是首个在QM9和GEOM-Drugs上取得SOTA性能的3D分子生成EBM。 该模型通过学习原子可加标量势近似能量景观,并采用Mirror-Langevin算法与并行回火进行采样。 其学到的能量景观可作为排序和过滤配置的质量指标,并支持无重训练的受控生成。
UQ-SHRED 是一种分布学习框架,为稀疏感知中的 SHRED 架构提供不确定性量化,支持湍流和大气动力学等复杂系统。 它利用基于神经网络的 engression 学习空间状态预测分布,仅需在输入端注入随机噪声,无需重新训练或额外网络结构。 该方法在合成与真实数据集上提供了校准良好的置信区间,降低了计算开销。
提出MAGDrop方法,通过跟踪梯度幅值指数移动平均实现单元级噪声自适应,在CIFAR-10上以r=50子空间将PAC-Bayes界从0.4439降至0.1882。 全头后验KL散度约8625 nats,子空间方法降低约800倍且保持精度接近基线;ImageNet-1K上MAGDrop top-1准确率为78.57%(ViT)和82.14%(ConvNeXt-Base)。
低秩模型虽适合 DP 训练,但 DP-SGD 注入的各向同性噪声会膨胀梯度奇异值并破坏其自然快速衰减特性。 实验基于 RoBERTa、Qwen、Llama(≤4B 参数),在 GLUE、E2E、DART 基准上测试。 部分恢复原始奇异值谱显著加速 DP-SGD 收敛且不损害隐私保证,代码已开源。
CRONOS 提出用于视觉-语言-动作(VLA)模型非情节式场景重置强化学习微调的高保真物理模拟基准。 研究发现直接微调预训练策略会因物体配置和末端执行器位姿偏移而失败,但可通过针对性重置分配和纠正偏差加以缓解。 非情节式训练增强了长程操作能力,并提升了对未见物体配置和任务序列的泛化性。
研究团队提出LIPS-PC方法,利用端到端学习的光照模式在单像素成像中直接进行分类。 该方法将测量算子参数化为二维离散余弦变换的残差修正,并与紧凑分类器联合训练,无需重建目标。 在MNIST、Fashion-MNIST及RIAWELC数据集上,8次测量时其准确率比最佳固定变换高9-15个百分点,测量成本降低2至4倍。