当分数与偏好冲突:DPO 中约束漂移的对齐前诊断与自适应校正
DPO 在处理成对偏好与点式指标冲突时易发生约束漂移。论文提出 CoDPO 方法,通过计算数据集统计量诊断漂移并进行自适应校正。 实验显示 CoDPO 在四个领域均能减少漂移,同时保留 DPO 的偏好学习效果。该方法优于硬过滤及现有约束基线,已被 NeurIPS 2026 接收。
DPO 在处理成对偏好与点式指标冲突时易发生约束漂移。论文提出 CoDPO 方法,通过计算数据集统计量诊断漂移并进行自适应校正。 实验显示 CoDPO 在四个领域均能减少漂移,同时保留 DPO 的偏好学习效果。该方法优于硬过滤及现有约束基线,已被 NeurIPS 2026 接收。
研究发现 LLM 微调中基于难度的数据选择方法往往不如随机选择,因随机选择对输入空间的覆盖性更好。 通过聚类方法优化覆盖率后,在单领域任务中表现持平或优于随机选择;在 Tülu 3 混合数据上则优于所有对比方法。 优先保障覆盖而非难度的数据选择策略能提升 LLM 微调效果。
压缩导致小模型在上下文检索中恢复大部分损失,而大模型则保留大部分损失。研究通过分解注意力头消融的预期损失发现,随模型增大,网络补偿响应减弱。因此,在小模型中几乎无害的压缩在大模型中可能代价高昂。
研究人员整合 291 组熔盐氯化物腐蚀实验,开发了一种可解释的机器学习框架来预测腐蚀速率。 该模型结合树集成,交叉验证 R² 达 0.85,平均绝对误差 0.41 mg cm⁻² day⁻¹;引入氯化物盐制备指数以统一表征差异。 框架证明历史数据可实现定量、可解释且具备不确定性评估的腐蚀预测。
该研究构建了包含51M、124M和355M参数GPT-2模型的“LLM动物园”,每个参数规模层级包含100个模型,训练数据涵盖网络文本、书籍、数学、编程和法语。
TNT 架构通过过滤过时样本并重新包含相关实例,实现鲁棒流分类。该决策树解决了概念漂移导致的模型重训练问题。 在 24 个真实及半真实数据流中,TNT 在多种概念漂移类型下取得同类最佳性能。 论文被 NeurIPS 2026 接收,共 33 页、9 表、10 图。
美国中期选举结束后,美股 11 月 5 日大规模抛售,科技股和 AI 硬件产业链成为主要下跌板块,费城半导体指数单日跌幅约 12%,为历史第二大单日跌幅。纳指下跌 5.5%,较近期高点回落 11.9% 进入技术性回调;英伟达跌 9.3%、AMD 跌 17.3%、特斯拉跌约 10.8%。
瑞士圣加仑大学教授 Andrea Barbon 认为 NFT 有望通过为 AI agent 提供可验证的唯一身份来推动 AI 安全发展。 NFT 技术核心在于描述特定数字或实物资产的权属,Ethereum 等区块链提供商正致力于构建用于验证 AI agent 的系统,使其可信度可被识别与评级。 这一应用方向为 NFT 开辟了连接 AI 时代的新前景,使其不再局限于单纯的收藏投机。
SDV 框架通过 DayZSynthesizer 生成伪造数据、GaussianCopulaSynthesizer 生成合成数据,对比真实数据在信用卡交易欺诈检测场景下的表现。
科技股占比较高的纳斯达克综合指数周四暴跌5.7%,因为投资者权衡民主党在中期选举中获胜是否会导致大型数据中心建设放缓。德州州长选举中当选的民主党人吉娜·希诺霍萨(Gina Hinojosa)曾提出暂停数据中心的竞选承诺,这一政策导向引发了市场对AI基础设施投资前景的担忧。
Vetto 发布了 ScienceBench,包含14个学科、50个可验证的数据分析任务,用于评估前沿模型的科学判断力。测试13个模型显示,表现最好的模型通过率仅为49%,且5个任务无模型解决。分析表明,65%的失败源于模型已发现数据异常但误判或错误处理,而非代码错误;简单的警告提示虽提升通过率10个百分点,但无法解决模型缺乏科学推理判断的根本缺陷。
哈佛商学院教授 Willy Shih 指出 AI 基础设施建设正消耗全球计算资源,导致制造供应链混乱。 他解释关税导致企业将组装转移至越南或墨西哥以规避贸易壁垒,强调全球供应链结构由经济逻辑驱动。
summary_zh: 科技股遭遇重挫,Nasdaq 100 指数大跌近 4%,市值蒸发超 1 万亿美元,S&P 500 周五下跌 2% 以上。 市场担忧 AI 巨额支出回报不明,财报季显示利润增长放缓至 26%,且 AI 支出仍在压制短期盈利。
东京大学团队开发新物理 AI 框架,利用光信号在 200 米光纤中处理信息,显著降低计算需求。 该框架结合 SS-DFA 训练方法与单映射架构,避免测量中间状态,简化了学习过程与网络结构。 实验显示其性能匹配甚至优于复杂神经网络,未来可应用于芯片级设备以进一步降低 AI 数据中心能耗。
米哈游联合清华大学等机构开源 GameScaling 系列通用游戏模型,涵盖 0.8B 至 27B 共八款权重,协议为 Apache 2.0。在《我的世界》MCU 基准 30 项任务中,GameScaling-27B-S1 平均成功率达 63.3%;0.8B 至 9B 六款模型在单张 H200 或 RTX 5090 上可实现每秒 5 次观测、每秒 30 步动作的实时交互。
推荐理由:开源覆盖 0.8B 至 27B 八款权重,给出 63.3% 基准成功率及单卡实时交互细节。
Macronix 正在逐步淘汰用于 Switch 卡带的 ROM 芯片,转向为数据中心生产 NOR 闪存。 受 AI 存储需求激增影响,Macronix 的 ROM 营收同比下跌 39%,而 NOR 闪存营收增长 158%,NAND 闪存增长 768%。 公司产能上限为每月 25,000 片晶圆,新增产能需一年或更久才能释放。
一项涉及 55.9 万词、1,788 条消息节点的 DeepSeek 聊天模型对话被完整记录。 最终分支包含 742 轮用户提问和 746 轮模型回复,模型生成约 97% 的文本并执行 52 次联网搜索。 该交互展示了人类主导的长期探究与 AI 概念综合,突显了事实准确性与证据可靠性的局限。
spaCy作者Matthew Honnibal发文质疑MIT团队关于Astra修改Qwen3.5-0.8B权重使数学成绩大幅提升的研究呈现方式。
推荐理由:原文梳理了质疑者指出的实验条件差异,解释了Astra在修复大模型时并非仅读权重而是允许编程测试。
Counterpoint Research 报告显示,2026 年第三季度全球 DRAM 市场营收接近 2000 亿美元,同比增长 369%,主要由价格上涨而非出货量驱动。
针对生成式AI合成数据的隐私风险,本文提出一种无需模型访问、金丝雀插入或参考模型训练的统计审计框架。 该框架通过区分“真实泄露”与“幽灵泄露”,结合假设检验严格验证数据披露是否符合零学习或差分隐私(DP)基线,并作为成员推理攻击提供比现有方法更紧的隐私泄露下限。 作为模型无关的通用工具,该方法所需的计算资源比影子模型或基于金丝雀的替代方案低几个数量级。
研究人员提出 Mixture of Activations (MoA),这是一种通过输入依赖门控混合激活函数字典的前馈层设计,旨在提升 Transformer 大语言模型的表达能力。
MONET 发布了一个包含 1.038 亿图像-文本对的 Apache 2.0 开放数据集,源于 29 亿原始数据,经过安全过滤、去重及多视觉语言模型重描述增强。 每张图片附带预计算嵌入与标注。研究人员仅用该数据集训练 4B 参数潜扩散模型,取得了具有竞争力的 GenEval 和 DPG 分数,证明了其降低大规模可复现研究门槛的作用。
提出一种仅依赖序数比较的多步强化学习算法,通过计算动作回报相对其他轨迹的胜率来替代标量奖励。 实验表明该算法性能与标量奖励无显著差异,且使用 LLM 裁判时比较结果比逐点打分高 7-10 分。 方法对标签噪声鲁棒,但尚未完全缩小与 PPO 算法在 HalfCheetah 任务上的性能差距。
论文提出 MinPRO 目标函数以稳定离策略 LLM 强化学习后的训练。 MinPRO 利用最小 token 级比率替代不稳定的累积前缀比率,在 dense 和 MoE 模型的多项数学推理 benchmark 上显著提升了训练稳定性与峰值性能,已被 NeurIPS 2026 接收。
研究人员训练了将上下文激活映射为答案激活预测的“上下文-答案元模型”,实现了首个答案 Token 生成前的行为预测。 该模型在 50 万 prompt 数据集上表现良好,支持零样本泛化,且 Qwen2.5 的上下文激活可预测 Qwen3.5 和 Gemma 4 的答案激活。 研究结果表明上下文激活轨迹支持 LLM 答案行为的可扩展预测。
论文提出 IDSISA 方法,通过影响函数将易遗忘样本集中至少数分片,并蒸馏未受影响分片以恢复效用。 在 SISA 基础上,该方法保持删除保证精确性,实验在 ResNet-18 等模型上显示选择性遗忘提升 14%-91%,效用保持最高提升 50%。 工作已提交至 IEEE 待发表。
Tessera 是一种分布式运行时,通过固定工作负载形状实现千万原子规模的高效分子动力学模拟。 该框架将原子沿空间填充曲线排序至等量分片,使每层每步的张量形状保持一致;配合保守邻域皮层、融合 kernel、三级邻域搜索与 All-to-All 通信重叠,支持 CUDA Graph 重用。
该 AMD LLM 训练系统利用 TDM、转置加载及 SDMA/RDMA 指令实现数据移动与计算重叠,消除等待瓶颈。 kernel 级测试中 TDM 平均加速 1.88 倍,转置加载加速 1.19 倍;通信重叠下 SDMA 和 RDMA 分别实现 1.16 倍和 1.33 倍加速。 这是首个利用所有 GPU 数据流水特性的 AMD LLM 训练系统,相关实现已集成到开源框架和库中。
研究发布Bio-VQA,包含来自11个数据集的186万道问题和21.7万张图片,涵盖分类学、空间等四个维度,用于测试视觉语言模型在生物学领域的表现。 评估显示,表现最佳的模型在处理2至10个个体的计数任务时准确率为41.7%,其在分类学任务上的准确率从门级别的0.72降至学名级别的0.12,且增加参数量主要改善粗粒度的分类能力。
研究提出ConceptARC at Scale生成器,构建包含1,600个经人工审查任务的ConceptARC-100数据集。 该数据集涵盖16个概念,每个概念100个任务,规模是原基准的10倍。 内部表征分析显示,任务按对象操作类型聚类,表明模型形成了可泛化的稳定抽象。
Reglos是一款无需训练的个人记忆智能体,旨在验证其代码框架优化在目标失败案例之外的泛化能力。 它通过一个编码智能体从失败日志中提出补丁,并由另一个模型家族的批评者筛选以防止基准测试作弊。在相同的底层模型支持下,Reglos在PersonaMem-v2和LongMemEval-S测试中均优于Mem0、MemOS和EverOS等SOTA系统。
研究使用国际象棋作为测试床,探讨 LLM 预训练与 RL 后训练间的关系。 预训练 5M 至 1B 参数的模型,发现预训练损失能预测 RL 后性能,且 RL 奖励曲线斜率随预训练 token 数近似线性提升。 该机制在 1B 参数的数学领域模型上也得到验证。
研究提出vOPD,将在线策略蒸馏(OPD)视为策略梯度强化学习,引入价值函数作为控制变量基线以降低梯度方差。 该方法利用闭式解的逐token反向KL散度作为基线,无需额外critic或推理,保持单样本估计器轻量且无偏。 在数学、科学及指令遵循基准测试中,vOPD性能优于基础OPD,且与高成本全词表方法持平。
研究人员提出新框架,通过重要性采样使 LLM 生成的人口对齐人格与 Big Five 心理特征分布匹配,显著减少模拟偏差。 该框架先从社交媒体数据生成叙事人格,经质量评估后利用任务特定模块适配目标子群体,实现高保真的群体模拟。 此方法增强了 LLM 驱动的社会模拟准确性,为计算社会科学和公共政策研究提供新的计算机会。
研究将模型坍塌视为罗杰斯悖论,指出依赖复制的知识群体最终不如独立学习者。 Rogers 模型仅靠合成数据训练,即可在几个百分点内预测不同新鲜数据混合下语言模型保留的稀有知识量。 当世界变化时,复制自身过去的模型谱系需要更多新鲜数据才能跟上;用户通过检查信息并重新学习可以打破这一悖论。
多语言基准主要测量语言能力而非对非洲事实的认知。NaijaFacts 基准通过英语、皮钦语等5种语言提问,发现知识效应占主导,模型对尼日利亚事实准确率仅为20%,远低于英美。 语言效应随网络资源减少而加剧,模型规模增加无助于提升对尼日利亚统计数据的准确率(最高未超31%)。该研究揭示了大模型在非洲知识上的系统性缺失,非尼日利亚特有。
语言模型训练数据在域外行为中存在意外副作用,现有孤立样本少导致理解泛化困难。研究人员提出自动发现带有意外副作用的数据集(DSSE)的方法,该数据集需激发目标行为、看似普通后置训练数据且让审核者感到惊讶。
GEdit 利用几何感知框架提升大语言模型的知识编辑效果,在 GPT2-XL、GPT-J 和 LLaMA-3-8B 上验证,编辑成功率显著优于最先进基线。 该框架基于 LR+D 因子模型,通过低秩保护核心子空间,并依据编辑难度动态调整正则化强度。
科技媒体 Tom's Hardware 报道称,AMD 预估 2026 财年第四财季营收约 170 亿美元,同比增长约 66%,有望首次超越预估营收 150~160 亿美元的英特尔。
一项实验表明,通过 on-policy distillation 进行次级学习,让学生模型在特定任务上产生偏好比标准设置更有效。 实验使用 Qwen2.5 7B-Instruct 模型,学生模型对“猫”的偏好率从标准设置的 51% 提升到 82%。 该结果在首次尝试的设置下即成功实现,且排除了与猫相关 token 的 logit 质量增加这一解释。