GPT-6 Astra 等通用基础模型在化学性质预测任务中超越专用模型
GPT-6 Astra 在仅 60 个实验数据点时,五项物理化学和量子化学回归任务的准确率超过 ChemBERTa 和 MoLFormer 等专用化学基础模型。 专用化学模型需 10 倍数据量(1000 或 10000 点)才能达到 GPT-6 Astra 在 60 点或 1000 点上的表现。 通用基础模型在数据稀缺的化学研究中比专用模型更具优势。
GPT-6 Astra 在仅 60 个实验数据点时,五项物理化学和量子化学回归任务的准确率超过 ChemBERTa 和 MoLFormer 等专用化学基础模型。 专用化学模型需 10 倍数据量(1000 或 10000 点)才能达到 GPT-6 Astra 在 60 点或 1000 点上的表现。 通用基础模型在数据稀缺的化学研究中比专用模型更具优势。
研究揭示在 AI 筛选求职申请时,本地模型生成的求职信因评估者偏好系统性处于劣势,且评估者存在自我偏好偏差。 构建由 11 个 LLM 写手和 9 个评估者组成的审计框架,发现最不利配对下约 1.8 名合格候选人仅因模型不匹配被误拒。 该机制涉及风格线索的奖励或惩罚差异,为招聘算法公平性与监管提供设计依据。
轻量级编解码器 Latent-Lens 冻结 VLM 与 SLM,通过隐空间直接通信解决文本信息丢失瓶颈,仅训练约 1.6M 参数(占联合模型 0.2%)。 在 CLEVR 和 GQA 视觉问答中分别取得 81.0% 和 65.4%,较同等 LoRA 预算的文本通信基线提升 30.2-69.8 个百分点。 该论文发表于 NeurIPS 2026,验证了跨架构与词表的通用性。
研究发现 Activation Steering 会系统性改变 LLM 生成文本的话语维度,如正式程度和模糊性。 作者提出通过添加互补向量进行干预,该方法恢复了约 78% 的意外话语变化,同时在约 93% 的生成中保留预期行为。
提出GRIT训练框架,将视觉接地引入RLVR以缓解视觉脱锚推理。 Token级分析显示CVMR具有独特的注意力模式,GRIT显著提升了推理准确性和接地保真度。
针对多模态大语言模型中盲目使用思维链(CoT)导致的“过度思考”问题,作者提出了无需训练的自适应框架 DA-CoT。 该框架利用模型注意力图的熵值判断任务难度,并在初始输出失败时通过双向重思机制自动反转推理决策。 DA-CoT 在推理分割基准测试中取得了最先进(SOTA)性能,同时显著提升了推理效率。
针对多域6G网络切片在线放置中无固定策略占优且可行方案常被遗漏的问题,ORION提出一种层次化架构,利用两个LLM智能体生成结构化请求和抽象放置计划。 系统通过协同多智能体RL协调器选择跨域分区,并引入结果驱动的情节记忆记录网络条件、计划及可行性结果。在保持下游机制固定的情况下,该记忆机制使切片准入率比无记忆的同款规划器提升4.6至11.5个百分点。
GenDSR 框架将视频生成模型(VGM)的中间表示迁移至视觉语言模型(VLM),通过构建保持生成上下文的 raw 分支和强调时间变化的 delta 分支,利用任务条件 token 级门控融合信号。 在 DSR-Bench 基准测试中,GenDSR 取得 67.2% 的成绩,超越此前最佳结果,创下新的最先进状态(SOTA)。
论文提出免训练的 ASTC 方法,利用 GDN-attention 混合架构中的原生循环动态将已吸收信息转为软令牌,在保持关键值硬令牌的同时生成可复用 KV cache,显著降低长程任务计算成本。
1,750 次预注册实验表明,在短预算 LLM 引导优化中,贪婪父代继承驱动了绝大部分优化进度。即使使用完整错误聚类或更大模型,重置种子重采样也难以超越直接继承父代的性能。
研究人员提出 Muon-RT 优化器,通过复用教师-学生位移向量消除隐藏权重矩阵的动量缓冲区,在保持指数加权历史的同时降低训练内存占用。该方案在 Qwen2.5-7B-Instruct 和 Olmo-3-7B-Instruct 的自蒸馏任务中,相比 AdamW 分别提升 2.6 和 2.0 点平均准确率,并显著减少持久内存使用。
研究引入 EDB-Bio 基准,测试大语言模型在生物领域证据推理中的表现。该基准包含 9.6 万条实验序列,要求模型预测假设成立的概率。 结果显示,开源与前沿模型均存在系统性过度自信,Brier 分数仅与基线预测器相当。
研究者提出免训练推理方法 STAR,通过指数移动平均引导预训练视觉语言动作模型(VLA)后期层的动作表示,提升任务成功率 4.0 个百分点。 该方法允许后期动作表示继承早期层中具备物体感知能力的更新方向,并结合最近的本体感知状态自适应调整混合强度。 STAR 提高了机器人操作基准测试中后期层的物体感知能力,代码已开源。
研究证明引导向量可作为大语言模型后训练的有效训练信号。 在监督学习中,引导向量注入使模型性能比纯 SFT 和蒸馏提升最高达 12%;在 RLVR 场景中,通过优势修复机制恢复了无学习信号的梯度。 该成果已被 NeurIPS 2026 接受,相关代码已开源。
研究揭示大语言模型强化学习中训练与推理失配由引擎数值差异和策略滞后两个来源构成。 引擎的数值差异对训练更新产生近似固定的偏差,可通过在每条前缀处中心化得分函数消除。 策略滞后会形成反馈回路导致训练不稳定,在 Qwen3-1.7B 上重要性加权在有效样本量小于 0.5 时失效;提出的失配-滞后校正(DLC)将 KL 散度控制在两倍独立 on-policy 训练的 KL 之内。
该研究为聚焦“任意任务推理”(ATI)的基础模型提供了形式化数学框架与定义,指出其通过将数据样本映射到标签空间,可分解为编码器、模型和解码器三部分,并据此建立错误分解机制。 框架利用“通用任务约化”视角,将误差分解为衡量最优性潜力的“设计项”和反映系统交互的“模型超额项”,并结合5个现实案例,提出了生成式与判别式两种实现ATI基础模型的典型方案。
基于安全架构训练的大模型 Safin-1.5 采用递归安全改进机制,结合形式化推理 harness,实现了在安全与推理性能上超越前沿模型的目标。 该模型通过持续性安全状态与有害知识解耦构建安全层,利用发现-评估-修复循环进行迭代,并借助符号推理生成可检查证明。
研究人员提出Latent Sparse Attention(LSA)方法,通过在学习到的潜在空间中对键进行分层聚类,实现了超长上下文下的高效注意力计算。 该方法的两个变体在10M token场景下显著提升速度:D-LSA在预填充阶段相比原始稀疏注意力加速22.7倍,相比全注意力加速72.4倍;N-LSA在128k token下实现1.6倍训练加速且精度与全注意力持平。
DAMI 提出双轴记忆初始化策略,联合配置 Gated DeltaNet 中的 A_log 和 dt_bias 参数。该方法在不增加可训练参数的前提下,显著提升了多个线性注意力模型的检索精度。
ETAPS 通过渐进修剪与稀疏适应,在 50% 至 90% 稀疏度下均优于 ELSA 的困惑度,最高降低 42%。该方法仅需单个 H200 即可修剪 LLaMA2-7B,总持久状态比 ELSA 小 5 倍,GPU 小时数减少 49%。研究发现这一方法能在极端稀疏度下以显著更低成本实现高质量模型修剪。
该研究提出 Geo-FSRL 方法,通过最小化条件 KL 散度诱导的几何因子来选择最优随机策略。 在等向高斯转移族中推导出唯一闭式优化器,结合梯度尺度匹配推导闭环策略梯度权重。Geo-FSRL 在 4 步设置下于图像与视频生成任务中取得优于 Flow-GRPO 和 Flow-CPS 的最终奖励分数,代码已开源。
RECAST 是一种基于重构的框架,能在不使用隐藏推理渠道的情况下,从 Claude-Sonnet-5.5、GPT-6.1 和 Gemini 3 等前沿闭源模型中重构出第一人称结构化推理数据。
该框架利用多模态大语言模型的推理能力,通过显式归纳演示样本的潜在规则提升多模态上下文学习性能。 方法包含构建规则中心数据集、引入显式规则归纳监督,并采用混合冷启动微调与强化学习的两阶段训练策略。 实验表明,正确归纳底层规则能带来更强且更稳定的性能提升。
提出免训练方法 Verify--Backtrack Loop (VBL),通过双时间尺度验证与故障归因,将 ReAct 的前置条件发现转化为结构化规划状态更新,以提升长程交互任务中的失败恢复能力。
研究提出一种结合 LLM 与符号推理的神经符号规格引导解码框架,实现形式化规格约束下的结构化输出。 该框架包含保证规格满足的前向变体及优化模型偏好的回溯变体,无需重训练即可适配现有语法约束机制。 在配置与约束求解基准测试中,前向变体可靠生成合规输出,显著降低重复推理开销并提升提示遵循度。
研究基于 722 份联合国安理会记录,通过五项测试评估 4 个 LLM 的国家偏见,并定义明确的无偏参考基线。 测试 GPT-4o-mini、Llama 3.3-70B 等模型发现,中国、俄罗斯呈现反对立场偏差,美英法呈现支持立场偏差。 结果强调需使用基于明确参考点的多测试基准,审计面向国际关系的 LLM 部署。
新框架 BULLPEN 扩展了 EmbedLLM,通过整合答案文本、正确性和问题文本,仅使用 400 个探针问题(占完整评估池的 1.3% 计算量)即可生成有效的模型嵌入。
研究表明,基于熵的指标 UID-Conj. 在在线适应和离线训练中能提升小语言模型 Qwen3-1.7B 的自我改进与迁移能力。 在线实验中,UID-Conj. 将宏平均准确率较未修改的 TTRL 提升 2.08 个百分点;离线加权 SFT 中,较均匀加权提升 1.93 个百分点。 辅助偏好能揭示仅答案奖励无法捕捉的等正确轨迹间的训练价值,为下游增益评估提供依据。
提出 SAT-ACT 框架,通过结果比较标准提取 CDCL 分支动作偏好,降低搜索成本。 设计三种互补结果判据,引入非支配启发式动作监督;在 SAT 竞赛基准上提升 PAR-2。
研究提出 CivHarness 系统与 LLM 裁判模型 CivTelescope,以解决长周期策略游戏中稀疏反馈导致的“计分板陷阱”问题。CivTelescope 对陷阱对的预测准确率比现成大模型高 1.3-2.0 倍,基于其训练的 CivMarshmallow 智能体在中期平均增益 8.94 分,高出最佳基线 77%。
研究人员提出 MEMIG 记忆构建框架,指出生物分子优化中的 Agent 记忆应具备可索引、定量和结构化特性,而非传统的自由文本重写。 该框架通过领域标识符和属性预言机记录定量效应,通过分解评估集来测量干预措施的基因互作(epistasis),从而优化检索与更新。 在多种虚拟(in silico)抗体优化任务设置中,MEMIG 均能提升性能。
CIRCE 通过构建约束中间表示来提取问题结构,显著提升了预测 LLM 回答正确率的准确性。 在 7 个推理基准和 4 个 LLM 上测试,CIRCE 将负对数似然从 0.465 降至 0.423,AUROC 从 0.691 提升至 0.727。 该方法为模型路由及测试时计算资源分配提供了新的优化依据。
研究测试了大语言模型将结果映射为情感的方式,发现当孤立评估结果时,模型对收益的评分强度高于同等损失,这一“收益放大”现象反转了人类的损失厌恶效应。 模型在独立评分时敏感度随幅度递减,类似人类价值函数;但在允许直接对比时评分呈线性化,且模型自身的情感评分解释选择的效果并不优于单纯的货币效用。 这一发现揭示了结果到情感映射的可塑性,引发了关于智能体 LLM 是否及如何在决策中纳入预期情感的疑问。
研究发现,链式思维(CoT)可控性受限于思维标签后前几个字符的熵坍缩。 通过预填充和禁用高频起始字符两种推理时干预,模型平均合规率提升了34-41个百分点。 研究指出,信息添加与风格控制更易监测,而抑制控制响应多样,二者受不同底层机制影响。
研究通过两成分高斯混合模型构建无阈值不一致分数,发现不一致性在eNTERFACE'05等三个语料库中均提高了音频模型的情绪识别错误率。 文本通道的单独影响不可靠;移除情绪词典后的重建分数仍是六个替代方案中唯一能预测全部语料库错误的无标签分数。 开源了支持该评估的代码、数据表和提示词。
商汤开源日日新 SenseNova Loop-9B-Preview 模型,采用 Looped Transformer 架构引入循环计算,通过参数共享模块扩展有效计算深度,在 9B 参数规模下性能媲美 27B 级模型。
推荐理由:商汤开源了基于 Looped Transformer 架构的 9B 模型,通过循环计算扩展有效深度,为社区提供了替代单纯扩大参数规模的模型架构实践参考。
AdaGrad-Diff 提出了一种基于梯度差异累积的修正算法,旨在解决 AdaGrad 在复合凸优化中步长衰减过快的问题,从而避免收敛速率退化为 $O(n^{-1/2})$。
提出 ACPO 算法,通过裁剪重要性采样比与优势值的乘积,解决 LLM 强化学习训练中复用离策略数据导致的稳定性问题。 ACPO 在标准数学推理基准测试中,其准确率和训练效率均优于 PPO 和 GRPO,在 Qwen3-8B 模型上带来 4-6 个百分点的提升。 证明了裁剪后的策略镜像下降(PMD)在标准强化学习设定下的收敛性。
研究通过构建基于 OLMo2-1B 和 gemma-3-1b-it 的 61 个模型生物(MOs),发现其可解释性强烈依赖训练目标与数据生成管线。 该研究进一步通过知识蒸馏生成 96 个变体,发现集成训练和蒸馏方法通常比标准的后期 SFT 产生更难解释的模型。 结果对当前模型生物作为可解释性代理的有效性提出严重质疑。
研究者提出名为 Latte 的黑盒测试框架,利用潜在空间生成语义相近且多样化的测试用例以暴露 DNN 故障。 该方法使用预训练 VQ-VAE 编码输入,并沿替代类别锚点方向进行单步潜在变异。 在 5 个数据集和 10 个 DNN 模型上评估,Latte 在相同预算下提升了故障暴露率和行为多样性。