跳到正文
11月2日周一
  1. arXiv · AI35

    GPT-6 Astra 等通用基础模型在化学性质预测任务中超越专用模型

    GPT-6 Astra 在仅 60 个实验数据点时,五项物理化学和量子化学回归任务的准确率超过 ChemBERTa 和 MoLFormer 等专用化学基础模型。 专用化学模型需 10 倍数据量(1000 或 10000 点)才能达到 GPT-6 Astra 在 60 点或 1000 点上的表现。 通用基础模型在数据稀缺的化学研究中比专用模型更具优势。

  2. arXiv · AI41

    AI 评估者偏好由特定 AI 模型撰写的求职申请,且独立于候选人资质

    研究揭示在 AI 筛选求职申请时,本地模型生成的求职信因评估者偏好系统性处于劣势,且评估者存在自我偏好偏差。 构建由 11 个 LLM 写手和 9 个评估者组成的审计框架,发现最不利配对下约 1.8 名合格候选人仅因模型不匹配被误拒。 该机制涉及风格线索的奖励或惩罚差异,为招聘算法公平性与监管提供设计依据。

  3. arXiv · AI23

    Latent-Lens:通过隐空间通信增强小型语言模型的视觉感知能力

    轻量级编解码器 Latent-Lens 冻结 VLM 与 SLM,通过隐空间直接通信解决文本信息丢失瓶颈,仅训练约 1.6M 参数(占联合模型 0.2%)。 在 CLEVR 和 GQA 视觉问答中分别取得 81.0% 和 65.4%,较同等 LoRA 预算的文本通信基线提升 30.2-69.8 个百分点。 该论文发表于 NeurIPS 2026,验证了跨架构与词表的通用性。

  4. arXiv · AI28

    DA-CoT:基于注意力熵的训练无关难度感知思维链推理分割框架

    针对多模态大语言模型中盲目使用思维链(CoT)导致的“过度思考”问题,作者提出了无需训练的自适应框架 DA-CoT。 该框架利用模型注意力图的熵值判断任务难度,并在初始输出失败时通过双向重思机制自动反转推理决策。 DA-CoT 在推理分割基准测试中取得了最先进(SOTA)性能,同时显著提升了推理效率。

  5. arXiv · AI21

    ORION:面向基于RL的多域6G切片放置的结果驱动型LLM顾问

    针对多域6G网络切片在线放置中无固定策略占优且可行方案常被遗漏的问题,ORION提出一种层次化架构,利用两个LLM智能体生成结构化请求和抽象放置计划。 系统通过协同多智能体RL协调器选择跨域分区,并引入结果驱动的情节记忆记录网络条件、计划及可行性结果。在保持下游机制固定的情况下,该记忆机制使切片准入率比无记忆的同款规划器提升4.6至11.5个百分点。

  6. arXiv · AI21

    GenDSR:从视频生成模型迁移表示以增强动态空间推理

    GenDSR 框架将视频生成模型(VGM)的中间表示迁移至视觉语言模型(VLM),通过构建保持生成上下文的 raw 分支和强调时间变化的 delta 分支,利用任务条件 token 级门控融合信号。 在 DSR-Bench 基准测试中,GenDSR 取得 67.2% 的成绩,超越此前最佳结果,创下新的最先进状态(SOTA)。

  7. arXiv · AI33

    Muon-RT:利用教师轨迹复用消除 Muon 动量,提升 LLM 自蒸馏效率

    研究人员提出 Muon-RT 优化器,通过复用教师-学生位移向量消除隐藏权重矩阵的动量缓冲区,在保持指数加权历史的同时降低训练内存占用。该方案在 Qwen2.5-7B-Instruct 和 Olmo-3-7B-Instruct 的自蒸馏任务中,相比 AdamW 分别提升 2.6 和 2.0 点平均准确率,并显著减少持久内存使用。

  8. arXiv · AI21

    STAR:利用本体感知引导视觉语言动作模型推理中的动作表示

    研究者提出免训练推理方法 STAR,通过指数移动平均引导预训练视觉语言动作模型(VLA)后期层的动作表示,提升任务成功率 4.0 个百分点。 该方法允许后期动作表示继承早期层中具备物体感知能力的更新方向,并结合最近的本体感知状态自适应调整混合强度。 STAR 提高了机器人操作基准测试中后期层的物体感知能力,代码已开源。

  9. arXiv · AI24

    引导向量作为 LLM 后训练的训练信号

    研究证明引导向量可作为大语言模型后训练的有效训练信号。 在监督学习中,引导向量注入使模型性能比纯 SFT 和蒸馏提升最高达 12%;在 RLVR 场景中,通过优势修复机制恢复了无学习信号的梯度。 该成果已被 NeurIPS 2026 接受,相关代码已开源。

  10. arXiv · AI25

    大语言模型强化学习中训练-推理失配的来源与演化

    研究揭示大语言模型强化学习中训练与推理失配由引擎数值差异和策略滞后两个来源构成。 引擎的数值差异对训练更新产生近似固定的偏差,可通过在每条前缀处中心化得分函数消除。 策略滞后会形成反馈回路导致训练不稳定,在 Qwen3-1.7B 上重要性加权在有效样本量小于 0.5 时失效;提出的失配-滞后校正(DLC)将 KL 散度控制在两倍独立 on-policy 训练的 KL 之内。

  11. arXiv · AI39

    理解与构建具备“任意任务推理”能力基础模型的理论框架

    该研究为聚焦“任意任务推理”(ATI)的基础模型提供了形式化数学框架与定义,指出其通过将数据样本映射到标签空间,可分解为编码器、模型和解码器三部分,并据此建立错误分解机制。 框架利用“通用任务约化”视角,将误差分解为衡量最优性潜力的“设计项”和反映系统交互的“模型超额项”,并结合5个现实案例,提出了生成式与判别式两种实现ATI基础模型的典型方案。

  12. arXiv · AI45

    Safin-1.5 提出安全原生架构与可验证推理

    基于安全架构训练的大模型 Safin-1.5 采用递归安全改进机制,结合形式化推理 harness,实现了在安全与推理性能上超越前沿模型的目标。 该模型通过持续性安全状态与有害知识解耦构建安全层,利用发现-评估-修复循环进行迭代,并借助符号推理生成可检查证明。

  13. arXiv · AI34

    Latent Sparse Attention: 迈向亚二次方超长上下文注意力机制

    研究人员提出Latent Sparse Attention(LSA)方法,通过在学习到的潜在空间中对键进行分层聚类,实现了超长上下文下的高效注意力计算。 该方法的两个变体在10M token场景下显著提升速度:D-LSA在预填充阶段相比原始稀疏注意力加速22.7倍,相比全注意力加速72.4倍;N-LSA在128k token下实现1.6倍训练加速且精度与全注意力持平。

  14. arXiv · AI31

    Geo-FSRL:面向少步流强化学习的随机策略几何优化方法

    该研究提出 Geo-FSRL 方法,通过最小化条件 KL 散度诱导的几何因子来选择最优随机策略。 在等向高斯转移族中推导出唯一闭式优化器,结合梯度尺度匹配推导闭环策略梯度权重。Geo-FSRL 在 4 步设置下于图像与视频生成任务中取得优于 Flow-GRPO 和 Flow-CPS 的最终奖励分数,代码已开源。

  15. arXiv · AI33

    ERIM:基于显式规则归纳的多模态上下文学习框架

    该框架利用多模态大语言模型的推理能力,通过显式归纳演示样本的潜在规则提升多模态上下文学习性能。 方法包含构建规则中心数据集、引入显式规则归纳监督,并采用混合冷启动微调与强化学习的两阶段训练策略。 实验表明,正确归纳底层规则能带来更强且更稳定的性能提升。

  16. arXiv · AI28

    规格引导解码:面向 LLM 的神经符号生成框架

    研究提出一种结合 LLM 与符号推理的神经符号规格引导解码框架,实现形式化规格约束下的结构化输出。 该框架包含保证规格满足的前向变体及优化模型偏好的回溯变体,无需重训练即可适配现有语法约束机制。 在配置与约束求解基准测试中,前向变体可靠生成合规输出,显著降低重复推理开销并提升提示遵循度。

  17. arXiv · AI31

    LLM 国家偏见多测试基准:含明确无偏基线

    研究基于 722 份联合国安理会记录,通过五项测试评估 4 个 LLM 的国家偏见,并定义明确的无偏参考基线。 测试 GPT-4o-mini、Llama 3.3-70B 等模型发现,中国、俄罗斯呈现反对立场偏差,美英法呈现支持立场偏差。 结果强调需使用基于明确参考点的多测试基准,审计面向国际关系的 LLM 部署。

  18. arXiv · AI28

    使用辅助奖励进行自改进:从验证轨迹中学习并评估迁移

    研究表明,基于熵的指标 UID-Conj. 在在线适应和离线训练中能提升小语言模型 Qwen3-1.7B 的自我改进与迁移能力。 在线实验中,UID-Conj. 将宏平均准确率较未修改的 TTRL 提升 2.08 个百分点;离线加权 SFT 中,较均匀加权提升 1.93 个百分点。 辅助偏好能揭示仅答案奖励无法捕捉的等正确轨迹间的训练价值,为下游增益评估提供依据。

  19. arXiv · AI30

    MEMIG:用于抗体优化的自进化记忆构建框架

    研究人员提出 MEMIG 记忆构建框架,指出生物分子优化中的 Agent 记忆应具备可索引、定量和结构化特性,而非传统的自由文本重写。 该框架通过领域标识符和属性预言机记录定量效应,通过分解评估集来测量干预措施的基因互作(epistasis),从而优化检索与更新。 在多种虚拟(in silico)抗体优化任务设置中,MEMIG 均能提升性能。

  20. arXiv · AI36

    大语言模型情感心理物理学:研究发现“硅基收益放大”现象

    研究测试了大语言模型将结果映射为情感的方式,发现当孤立评估结果时,模型对收益的评分强度高于同等损失,这一“收益放大”现象反转了人类的损失厌恶效应。 模型在独立评分时敏感度随幅度递减,类似人类价值函数;但在允许直接对比时评分呈线性化,且模型自身的情感评分解释选择的效果并不优于单纯的货币效用。 这一发现揭示了结果到情感映射的可塑性,引发了关于智能体 LLM 是否及如何在决策中纳入预期情感的疑问。

  21. arXiv · AI42

    链式思维可控性:开头少数字符的影响

    研究发现,链式思维(CoT)可控性受限于思维标签后前几个字符的熵坍缩。 通过预填充和禁用高频起始字符两种推理时干预,模型平均合规率提升了34-41个百分点。 研究指出,信息添加与风格控制更易监测,而抑制控制响应多样,二者受不同底层机制影响。

  22. arXiv · AI23

    音频大语言模型中多模态语音情绪识别的不一致感知评估

    研究通过两成分高斯混合模型构建无阈值不一致分数,发现不一致性在eNTERFACE'05等三个语料库中均提高了音频模型的情绪识别错误率。 文本通道的单独影响不可靠;移除情绪词典后的重建分数仍是六个替代方案中唯一能预测全部语料库错误的无标签分数。 开源了支持该评估的代码、数据表和提示词。

10月31日周六
  1. 商汤科技SenseTime70

    商汤开源 SenseNova Loop-9B-Preview:探索以计算深度释放模型潜力

    商汤开源日日新 SenseNova Loop-9B-Preview 模型,采用 Looped Transformer 架构引入循环计算,通过参数共享模块扩展有效计算深度,在 9B 参数规模下性能媲美 27B 级模型。

    推荐理由:商汤开源了基于 Looped Transformer 架构的 9B 模型,通过循环计算扩展有效深度,为社区提供了替代单纯扩大参数规模的模型架构实践参考。

10月30日周五
  1. arXiv · ML21

    ACPO:基于优势裁剪策略优化的 LLM 强化学习训练方法

    提出 ACPO 算法,通过裁剪重要性采样比与优势值的乘积,解决 LLM 强化学习训练中复用离策略数据导致的稳定性问题。 ACPO 在标准数学推理基准测试中,其准确率和训练效率均优于 PPO 和 GRPO,在 Qwen3-8B 模型上带来 4-6 个百分点的提升。 证明了裁剪后的策略镜像下降(PMD)在标准强化学习设定下的收敛性。

  2. arXiv · ML31

    模型生物可解释性研究:可解释性强烈依赖训练方法

    研究通过构建基于 OLMo2-1B 和 gemma-3-1b-it 的 61 个模型生物(MOs),发现其可解释性强烈依赖训练目标与数据生成管线。 该研究进一步通过知识蒸馏生成 96 个变体,发现集成训练和蒸馏方法通常比标准的后期 SFT 产生更难解释的模型。 结果对当前模型生物作为可解释性代理的有效性提出严重质疑。

  3. arXiv · ML30

    Latte:基于潜在锚点驱动的深度学习网络测试生成框架

    研究者提出名为 Latte 的黑盒测试框架,利用潜在空间生成语义相近且多样化的测试用例以暴露 DNN 故障。 该方法使用预训练 VQ-VAE 编码输入,并沿替代类别锚点方向进行单步潜在变异。 在 5 个数据集和 10 个 DNN 模型上评估,Latte 在相同预算下提升了故障暴露率和行为多样性。