固定权重下的对数校正:语言模型微调遗忘问题的限制与恢复上限
语言模型微调后的遗忘无法通过固定词表偏置完全消除,跨14组1B至7B模型测试显示,最大Top-4K偏置恢复率低于10%。 加入温度参数后恢复率最高可达36%,但数学再训练模型恢复效果接近零,随机受损模拟中该修复方案仍仅恢复29%。
语言模型微调后的遗忘无法通过固定词表偏置完全消除,跨14组1B至7B模型测试显示,最大Top-4K偏置恢复率低于10%。 加入温度参数后恢复率最高可达36%,但数学再训练模型恢复效果接近零,随机受损模拟中该修复方案仍仅恢复29%。
UpLoop 通过 upcycling 训练循环 Transformer,最终参数、token 和 FLOPs 与标准基线完全一致。 该方法先训练浅层 Transformer,逐步复制层增加深度,用早期节省的算力支持共享中间块的重复执行。 在 1.3B 参数模型上,22 项下游任务平均分从 22.99 提升至 27.52,且强化数学推理能力。
扩散模型训练加速主要源于 AdaLN-Zero 残差门 α 的重组织,而非辅助目标强制的特征结构。 加速模型对 α 扰动高度敏感,其门控几何反映了类别间的语义关系。 引入归一化参与率(nPR)发现,更广泛的门控参与对应更高的生成质量。
FARO 提出一种函数空间自适应优化器,依据各参数块的实际反事实回报分配几何结构,并按组合理论中的等风险贡献原则重新分配冻结预算。 在 GPT 风格模型上,FARO-ERC 相比基线平均降低 0.0136 nats 的干净数据损失,该结果在 6 个随机种子中均显著且无需增加额外时间或内存开销。 源码已公开,该框架无需人工预设层级几何即可恢复人工设计的最优配方。
BeyondArena 支持 IID、时序和分组任务,覆盖多特征类型与学科,是首个统一的表格数据综合基准。 基于 142 个策划数据集和 11 个模型的评估显示,当前开源表格基础模型在 10 万行以下数据集中具有竞争力,而传统树模型和深度学习模型在分组或大规模数据上仍占主导。 该基准引导模型研究聚焦于表格数据领域最具挑战性的场景。
MLLMEraser 提出一种无需训练的测试时遗忘框架,利用激活引导实现动态知识擦除。 该框架在 LLaVA-1.5 和 Qwen-2.5-VL 上验证,优于现有基准方法,以更低计算成本实现更强遗忘效果且几乎不损害保留知识。
针对VLM大规模结构化训练数据缺失问题,研究团队提出首个大规模合成视觉逻辑推理训练数据集 VisualSphinx。该数据集采用“规则到图像”合成管线,从种子问题中提取并扩展谜题规则,生成可执行渲染程序用于谜题组装。
研究人员提出 Muon-RT 优化器,通过复用教师-学生位移向量消除隐藏权重矩阵的动量缓冲区,在保持指数加权历史的同时降低训练内存占用。该方案在 Qwen2.5-7B-Instruct 和 Olmo-3-7B-Instruct 的自蒸馏任务中,相比 AdamW 分别提升 2.6 和 2.0 点平均准确率,并显著减少持久内存使用。
Qwen3 模型在 RL 后训练中,BF16 舍入导致每步仅 0.4%-0.5% 权重更新,造成 50-150 步滞后。 Fair Cast 方案通过无偏舍入修复此问题,在 1.7B 参数导出上仅增加 22-38ms 耗时。 在 25 组匹配种子测试中,平均增益 6.1 分,使 0.6B 至 4B 模型训练一致性显著提升。
研究引入 EDB-Bio 基准,测试大语言模型在生物领域证据推理中的表现。该基准包含 9.6 万条实验序列,要求模型预测假设成立的概率。 结果显示,开源与前沿模型均存在系统性过度自信,Brier 分数仅与基线预测器相当。
研究揭示大语言模型强化学习中训练与推理失配由引擎数值差异和策略滞后两个来源构成。 引擎的数值差异对训练更新产生近似固定的偏差,可通过在每条前缀处中心化得分函数消除。 策略滞后会形成反馈回路导致训练不稳定,在 Qwen3-1.7B 上重要性加权在有效样本量小于 0.5 时失效;提出的失配-滞后校正(DLC)将 KL 散度控制在两倍独立 on-policy 训练的 KL 之内。
针对大语言模型(LLM)的微调记忆问题,研究发现 LoRA 作为一种参数高效方法,相比全参数微调能显著降低被数据提取攻击的风险。 这一发现颠覆了基于模型规模和数据重复的旧有认知:在 LoRA 微调中,这些通常影响预训练和全量微调记忆强度的因素不再遵循相同趋势。
论文开发 ReuScope 协议,以 Capsule Vision 2024 为案例审计数据重用与评估敏感性。 发现 Kvasir-Capsule 数据集在训练和验证集间存在字节级文件重叠;移除相关训练行使公开验证集平衡准确率从 82.5% 降至 61.2%。 该程序区分了观察到的重用与条件性能敏感性,并明确了结论对应的人群、类别支持及不确定性单位。
BioBERT 和 BioMistral 在 TOP 基准的临床试验结果预测中,四项模型变体的 ROC-AUC(0.613–0.772)与 PR-AUC(0.649–0.901)均优于 HINT,相对 PR-AUC 提升 10–20%。
SWIFT 提出一种基于小世界连通性的稀疏微调框架,利用固定散射置换实现特征组间路由,无需增加可训练参数,打破特征维度信息孤岛。 理论与实验表明,SWIFT 在常识推理、自然语言生成及图像分类任务中平均优于其他参数高效微调(PEFT)基线,部分场景可达或超过全量微调效果。 该工作已被 NeurIPS 2026 接收。
研究基于 722 份联合国安理会记录,通过五项测试评估 4 个 LLM 的国家偏见,并定义明确的无偏参考基线。 测试 GPT-4o-mini、Llama 3.3-70B 等模型发现,中国、俄罗斯呈现反对立场偏差,美英法呈现支持立场偏差。 结果强调需使用基于明确参考点的多测试基准,审计面向国际关系的 LLM 部署。
EvoMCP 提出智能体与数据互进化框架,在 Toolathlon、MCPMark 和 MCP-Atlas 上分别取得 16.5%、10.2% 和 12.6% 的绝对提升。 该方法通过任务进化将能力缺口转化为可执行任务,并利用轨迹进化结合可复用技能恢复失败演示。 闭环机制使新一代任务持续作为后续进化的种子,实现监督微调的迭代优化。
研究人员提出 RECITE 框架,用于自动化发现并实施基于证据的临床试验纳入标准修订。该框架在 5,735 项试验中构建了 11,913 个标注实例数据集。 基准测试中,Gemma 2 9B 和 GPT-4o 在标准化得分上分别达到 0.742 和 0.745。研究通过智能体系统识别出 44 篇论文与试验的匹配证据,表明现有临床知识可转化为可操作的试验设计建议。
研究显示,在后训练阶段,仅通过评分员的分数差异即可实现模型特质的“阈限转移”,学生模型偏好会随评分员偏好改变。 48个设计单元中17个以5%错误发现率确立特质,移除评分员间的奖励差异则转移消失。 该原则可应用于AI安全,通过监测训练前阶段预测并部分预防不良特质的传播风险。
研究表明,基于熵的指标 UID-Conj. 在在线适应和离线训练中能提升小语言模型 Qwen3-1.7B 的自我改进与迁移能力。 在线实验中,UID-Conj. 将宏平均准确率较未修改的 TTRL 提升 2.08 个百分点;离线加权 SFT 中,较均匀加权提升 1.93 个百分点。 辅助偏好能揭示仅答案奖励无法捕捉的等正确轨迹间的训练价值,为下游增益评估提供依据。
论文提出 LanG 2.0,一种通过结构性保障而非模型精度提供安全保证的 Agentic 系统,用于安全运营中心。 该系统将战役关联精度从 18.75% 提升至 51.81%,规则接受度达 98.33%。
Noura 结合 LLM 规划与可执行的个人规范,在基于 NHANES 的评估中表现优异。 该方法将执行过的计划转化为监督信号进行微调,使 Qwen3-14B 的完整计划通过率从 24.0% 提升至 72.5%,规则违规率降低 97.5%。
ProClaim 模型在科学共识主张验证任务中位列前二,显著优于通用智能体框架。 该工具将证据状态存储在模型上下文之外,构建包含 718 个主张的 ProClaim-eval 数据集。 独立训练的判定器在 5 个子集中的 3 个上达到最高标签一致性,优于 Claude Haiku~4.5。
现代汽车集团宣布成立两家 SPC,分别负责新万金 AI 数据中心基建工程与高性能 GPU 算力服务,总投资约 9 万亿韩元。 该数据中心位于韩国群山市,施工计划于 2027 年 3 月启动,服务预计 2030 年初开启,此前已成立 SPC 建设 200 兆瓦光伏发电一期以供应绿电。 建成后将支持自动驾驶、机器人技术以及整车工程等领域的 AI 研发。
长鑫科技2026年前三季度LPDDR系列产品实现781.91亿元收入,占营业收入比例52.02%;DDR系列产品收入694.72亿元,占比46.22%。 DDR5产品自2024年底量产后销量持续增长,带动DDR系列收入占比提升。
提出在 Transformer 等序列模型中定义、解码和操纵内部表示的广义信念状态方法,该状态满足预测充分性、递归更新和低维可视化三个标准。 方法将信念状态映射至模型内部激活与动态,并通过基于 HMM 的玩具 Transformer 模型进行验证,显示 KV cache 在其中起关键作用。
英国数学科学学会发布报告《AI 赋能世界的数学科学》,指出 AI 正在改变数学研究及应用,带来发现与验证的新机遇。 报告强调 AI 承担技术性数学工作时,人类在提出问题、评估结果可靠性及将发现转化为实际应用方面仍至关重要,并识别了教育、独立验证及 AI 能力获取等优先行动领域。
新研究数据显示,近三分之二(Nearly 2 out of 3)的青少年和学童使用 AI 聊天机器人。 该比例反映了未成年人群体对生成式 AI 工具的广泛接受度与高使用频率。
据日经亚洲报道,铠侠、三星等5家全球主要存储芯片厂商在2026年Q3(美光为6-8月)的营业利润合计32万亿日元,首次超过Alphabet、微软等5家美国科技巨头的25万亿日元。三星单季度营业利润突破100万亿韩元创纪录,铠侠季度净利润首次突破1万亿日元;与此同时,亚马逊和Alphabet均录得负自由现金流。
谷歌母公司Alphabet三季度自由现金流为负91亿美元,凸显算力采购下的资金压力。英伟达、博通等芯片厂商通过提供收入分成或残值支持协助客户融资,而新云服务商面临利率上升与信用收紧挑战;微软等大厂凭借强劲经营现金流仍具融资优势,市场出现明显分层。
推荐理由:文章梳理了云厂商算力扩张中的现金流缺口与筹资方式,展示了资金门槛如何重塑AI基础设施市场的竞争格局。
JJ coders 开源了 5B 参数规模的 Flow-Matching DiT 音乐合成模型 Suna AI,支持 48 KHz 采样率生成。 该模型提供免版税开放授权,允许用户在个人及商业项目中使用、修改和分发合成音频,涵盖游戏开发、播客等场景。 服务协议明确用户需对提示词内容负责,严禁生成侵权音频,且平台承诺不存储原始生物特征数据。
Envision 集团计划在全球开发由可再生能源供电的数据中心,拉丁美洲、南欧和非洲被视为理想选址。该战略表明,随着电力成为行业最稀缺资源,中国能源公司正致力于出口 AI 基础设施。
Sam Altman 于周六在韩国会晤三星集团高管,以深化内存芯片和 AI 基础设施的合作。此次行程紧随他周五与富士康董事长会面之后,富士康期望通过这一伙伴关系在两年内占据一半 AI 服务器市场。
Amazon、Alphabet、Meta、Microsoft 和 SpaceX 2026 年资本开支预计为 8030 亿至 8280 亿美元,仅第三季度就投入约 2270 亿美元,环比增长 20%,其中 Amazon 以 759 亿美元居首。五大数据中心巨头未来数年已承诺超 3 万亿美元支出,Alphabet CFO 预计 2027 年资本开支将显著增加,Meta 也表示将继续加大投资。
Intel周五股价下跌28.6%,创1974年以来最大单日跌幅,因Q4营收指引为150亿至160亿美元,低于近170亿美元的预期。Q3营收增长20%至165亿美元,但毛利率将从43%降至37%,Q4PC芯片营收预计下降超20%。AI内存需求推高PC价格并抑制订单,CEO称其为历史上最严重的供应短缺之一,此次跌幅使美国政府持有的Intel股份价值蒸发120亿美元。
推荐理由:AI内存需求推高PC芯片价格并抑制订单,导致Intel遭遇自1974年以来最大单日跌幅。
Azure、Meta 和 AWS 营收分别增长 48%、26% 和 39.3%,但微软现金资本支出后现金减少 27%,Meta 季度自由现金流为负 21.2 亿美元,亚马逊过去 12 个月自由现金流跌至负 424 亿美元。
研究人员在 Qwen3.5-4B 上训练了 134 个个性 LoRA,发现其权重结构对应于与大五特质相似的五个主要因素。 团队提出 CharIn 评分方法,在分布内预测行为效果优于标签,但分布外泛化能力较差。 这表明模型权重存在低维的人格结构,作者邀请研究人员接手这一被搁置的研究方向。
OpenAI 宣布将遵循 robots.txt 共享信号,帮助网站运营者向参与厂商表达 AI 训练偏好。
推荐理由:明确了对接标准与执行逻辑,读者可评估网站合规与参与门槛的变化。
多家 LLM 开发商发布公开信,以讽刺口吻回应 AI 训练数据版权、模型幻觉等争议。信中坚称将基于创作者作品赚钱且不开放源码,主张由 AI 替代编码工作。 文中指出数据中心推高算力成本、AI 公司低价出售 token 并预测通用基本收入(UBI)将解决就业问题。
调查机构 Spotlight 发布的报告指出,2024 年 7 月至 2026 年 6 月间,英国部长就数据中心举行会议时,84% 的与会者来自企业或行业协会。