跳到正文
10月5日周一
  1. arXiv · ML39

    Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures

    该研究提出 ResidualPred 预测器,通过理论分析统一了 JEPA 训练中的稳定性启发式,在 CIFAR-10 等基准上提升了有效秩与下游精度。该框架在超过 800 种 Tabular-JEPA 配置中验证了相界预测,并揭示了预测器缩放、掩码率与 EMA 如何通过稳定性比 μ 影响表示稳定性。代码已在论文中提供,该工作被 NeurIPS 2026 主会接收。

  2. arXiv · AI23

    历史文本预训练语言模型:TypewriterLM 7.2B 与 History-Event 基准

    研究人员通过预训练历史文本,开发了具备 1913 年知识截止点的语言模型 TypewriterLM。该模型参数量为 7.24B,基于 54B token 的历史语料库 TypewriterCorpus 构建,并采用词汇受限制的指令微调技术。同时,研究团队发布了包含 2,344 个事件的 History-Event 基准,用于评估模型的语言理解能力及时间截止点遵循度,所有资源均已开源。

  3. arXiv · AI41

    九款 LLM 内部化先验对标注任务性能的影响:定义一致性作为模型选择标准

    研究提出“定义特异性熟悉度”(DSF)指标,揭示其在九款 LLM 与六个毒性数据集上以部分相关系数 +0.41 预测标注性能。尽管 DSF 在所有提示条件下均保持正向关联,但额外指令或示例仅能纠正 34.8% 的零样本错误,且高置信度错误尤其顽固,使基于置信度的检测不可靠。该结果确立定义一致性作为实用的模型选择标准,表明单纯优化提示词无法替代模型与任务政策契合度的验证。

  4. arXiv · AI37

    EchoDistill:通过噪声到干净自蒸馏提升大型音频语言模型鲁棒性

    提出EchoDistill框架,利用干净音频作为后训练期间的特权信息,结合掩码响应token蒸馏与任务门控一致性塑形,对齐噪声输入生成与干净条件语义。 在-10dB噪声下,该框架使三个LALM骨干的平均噪声输入准确率较最强基线提升1.63个百分点,Qwen2.5-Omni的噪声准确率从59.33%升至62.94%。 推理时仅保留学生模型,无额外推理成本,且未牺牲干净音频处理能力。

  5. arXiv · AI21

    MolWorld:用于可操作分子优化的分子世界模型

    该研究提出了 MolWorld 框架,将可操作分子优化建模为分子转移图的迭代扩展过程。利用潜在的分子世界模型预测局部结构扩展,并结合基于上下文的生成器提出候选分子。实验表明,该方法在属性优化和对接任务中,能够在发现高属性分子的同时,保持更强的结构连接性。

  6. arXiv · AI45

    AI 智能体编程任务 Token 消耗分析与预测研究

    该研究首次系统分析 AI 智能体在编程任务中的 Token 消耗模式。分析八种前沿 LLM 在 SWE-bench Verified 上的表现发现,智能体任务 Token 消耗是代码推理的 1000 倍,且 Kimi-K2 比 GPT-5 多消耗 150 万 Token。研究发现模型难以预测自身消耗量,相关系数仅 0.39,且高 Token 消耗并不必然带来更高准确率。

  7. arXiv · AI33

    Goldilocks RL:通过调节任务难度应对稀疏奖励以增强推理能力

    研究团队提出自适应数据选择策略 Goldilocks,利用 Selector 网络预测模型在候选问题上的奖励标准差。该方法优先选择难度适中的问题(既不太易也不太难),并结合 GRPO 进行模型训练。在 OpenMathReasoning 和 Polaris 数据集上,Goldilocks 相比标准 GRPO 提升了性能,达到同等性能所需的优化步骤最多减少 78%。

  8. arXiv · AI22

    半百万篇论文中的 AI 基础模型采用情况分析:科学前沿正在落后

    一项针对 50 万篇科学论文的大规模分析显示,AI 基础模型在语言、计算机科学与工程领域的采用率呈近指数级增长,其中视觉模型使用最普遍,且开源模型占主导地位。研究人员发现,科学家采用的模型规模增速远低于 AI 开发者构建的模型规模:2015 年科学家采用的模型平均比新建模型大 5.4 倍,而到 2024 年这一关系反转,新建模型比采用的模型大 6.9 倍。

  9. arXiv · AI31

    8 Hz 低频运动控制实现 ANYmal C 四足机器人鲁棒动态 locomotion

    研究表明,在真实 ANYmal C 四足机器人上,低至 8 Hz 的学习式运动控制器即可实现鲁棒且动态的 locomotion,机器人能稳定达到 1.5 m/s 的头部速度,穿越崎岖地形并抵抗外部扰动。与 5 Hz 至 200 Hz 频率范围的深度强化学习策略对比分析显示,低频策略对执行延迟和系统动力学变化的敏感性更低,甚至无需动力学随机化或执行器建模即可成功实现 sim-to-real 迁移。

  10. arXiv · AI20

    GISTBench:基于证据兴趣验证评估 LLM 用户理解能力

    GISTBench 是一个评估 LLM 从交互历史中提取并验证用户兴趣的新基准。 该基准提出兴趣接地(IG)和兴趣特异性(IS)两类指标,用于区分幻觉兴趣与覆盖率。 研究评测了 8 个开源 LLM(7B 至 235B 参数)及 GPT-5、Claude 4.6 和 Gemini 3.5 Flash,发现当前模型在跨类型互动信号计数与归因上存在瓶颈。

  11. arXiv · AI21

    世界模型该遗忘什么?面向持续适应的分层保留

    论文提出“分层保留”策略,将世界模型知识按不变性时间尺度分层,区分物理规律等永不变化的不变量与需随环境改变而修订的实例级事实。 针对标准遗忘指标无法区分正确修订与灾难性遗忘,且现有评测仅考核冻结模型的问题,文章定义了“差分保留”,联合报告不变量回归测试与修订时延。 该方法已作为“持续世界模型研讨会”论文被 NeurIPS 2026 接收,为评估动态环境下的模型知识更新提供了新框架。

  12. arXiv · AI28

    OptiSelect: 优化器如何塑造数据课程?

    论文提出 OptiSelect 范式,首次系统研究优化器对 LLM 预训练数据选择的影响。理论证明 Lion 和 Muon 优化器会导致可辨识性坍缩,而 AdamW 和 Sophia 等对角自适应优化器能获得更优收益。124M 和 720M 模型实验验证了 AdamW 评分几何的最强优势,并确认该方法在数据重述下仍有效。

  13. arXiv · AI44

    MFPG-PPO 稳定数据稀缺强化学习

    针对昂贵且稀缺的目标域数据导致策略梯度不稳定的问题,研究团队开发了适用于 GPU 并行仿真和物理机器人的 MFPG-PPO 框架。该方法利用低保真数据构建控制变量以降低方差,在最小 HF 数据预算下,其性能一致匹配使用 16 倍更多 HF 数据训练的 PPO。该算法使物理 Franka 机械臂仅通过每次更新 4 个真实机器人 episode 且无人工演示实现了稳定学习。

  14. arXiv · AI34

    递归框架自改进在前端推理数据合成中的应用

    提出任务-框架共进化(task-harness co-evolution)框架,实现推理数据合成中的递归框架自改进(RSI),通过在线与任务后自改进机制动态优化构造流程。在数学、编程和科学领域,经十四轮进化后求解器平均准确率从 100.0% 降至 54.8%。基于 10K 合成数学样本微调的 27B 模型在 APEX 基准上达到 62.5% 准确率,提升下游 SFT 与 GRPO 性能。

  15. arXiv · AI36

    Multilingual GSM-Symbolic 数据集揭示语言间能力迁移的决定因素

    研究者引入覆盖 15 种语言、含 3 万对匹配样本的 Multilingual GSM-Symbolic 数据集,量化了跨语言数学能力迁移的四大决定因素:模型规模、语言资源水平、推理能力及类型学距离。 实验发现模型规模(β=1.77)是最大正向因子,且大规模模型能缩小高低资源语言间的性能差距,该分析框架可预测未见语言性能误差不超过 6.0pp。

  16. arXiv · AI30

    在策略蒸馏的收益与崩溃:强化学习视角

    该研究从强化学习视角解释在策略蒸馏导致生成退化的机制。实验表明,当教师模型的隐式奖励可靠时,在策略蒸馏能提升性能而不扩展学生能力;若偏好错位,隐式奖励模型会放大过长重复的学生输出。训练中屏蔽不健康响应及使用监督微调初始化可有效缓解崩溃现象。

  17. arXiv · AI37

    iS-KV:基于块增量 SVD 的在线低秩 KV 缓存压缩方法

    iS-KV 通过在线低秩压缩解决长推理中 KV 缓存增长问题,保留最近窗口精确数据并将旧状态同步至更新基。在 DeepSeek-R1-Distill-Llama-8B 上,该方法在 4.06 倍压缩下取得 82.6% 准确率,接近原模型 83.6%。在 Qwen3-8B 上,其 5.64 倍压缩下准确率达 89.2%,且在匹配内存预算下优于令牌驱逐基线。

  18. arXiv · NLP39

    以文本为中心的 Omni-Modal 推理后训练范式

    针对 Omni 大语言模型联合音视觉推理成本高的问题,提出文本为中心的后训练范式。核心是用纯文本 SFT+RL 优化推理,再用小数据音视觉 RL 修复感知。 该范式使 Qwen2.5-Omni-7B 九项推理得分几何平均提升 25.83%,相比完整音视觉路线节省 56.6% GPU 时;纯文本合成数据可提升 21.01%。

9月22日周二
  1. 阿里云50

    千问办公发布企业上下文产品,陈宇森阐述Context is All You Need理念

    千问办公在云栖大会发布企业级Agent产品“企业上下文”,旨在将企业知识与业务数据转化为Agent可调用的上下文。千问办公CEO陈宇森指出,企业落地Agent需解决懂业务、协同及数据安全难题,该产品结合Qwen3.8-Omni-Flash等模型支持数据压缩与连接,已支持钉钉及飞书场景下的数字员工协同。

9月21日周一
  1. 豆包工作36

    豆包工作 6 个实战场景助力电商提效

    豆包工作通过 6 个实战场景简化电商运营工作流。工具利用多维表格自动分析用户评价以驱动选品,并串联 5 个 AI 角色批量生成白底图、详情页及 10 秒短视频。此外,结合/可视化指令自动生成 GMV 等经营数据趋势图表,并创建可交互的月度预算计算器,实现收支盈亏的实时更新。

9月17日周四
9月8日周二
  1. 面壁智能80

    面壁智能开源 MiniCPM5-2B:端侧基座模型在 AA 榜单 4B 以下开源模型中综合表现第一

    9月8日,面壁智能联合 OpenBMB 开源 2B 参数端侧基座模型 MiniCPM5-2B,支持工具调用、深度搜索、代码生成,初步具备端侧通用 Agent 能力。

    推荐理由:开源2B端侧基座模型在4B以下榜单中综合得分第一,附带自研强化学习框架和数据集,展示高密度端侧Agent落地路径。

8月20日周四
  1. 百灵大模型68

    百灵大模型开源 Ling-3.0-tiny-base 与 flash-base 模型

    百灵大模型正式开源 Ling-3.0-tiny-base 和 Ling-3.0-flash-base 预训练模型,并同步提供六个关键阶段权重。其中 tiny-base 拥有 7.9B 总参数和 1.3B 激活参数,适合代码场景持续预训练及低预算强化学习探索。

    推荐理由:官方开源了 Ling-3.0-tiny-base 和 flash-base 预训练底座,提供六个不同阶段权重供后续定制。

7月7日周二
3月17日周二
  1. Mistral AI72

    Mistral AI 与 NVIDIA 达成合作,共同加速开源前沿模型

    Mistral AI 宣布作为创始成员加入 NVIDIA Nemotron 联盟,双方将共同开发前沿开源 AI 模型。合作结合 Mistral 的模型架构、全栈平台与专有训练方法,以及 NVIDIA 的算力、开发工具和合成数据生成管线。联盟首个项目是在 NVIDIA DGX Cloud 上训练一个基础模型,作为未来 NVIDIA Nemotron 4 系列的底座,相关模型将被开源。

    推荐理由:Mistral 作为 NVIDIA Nemotron 联盟创始成员,将把自有训练方法与 NVIDIA 算力、工具结合,用于开发开源前沿模型。

3月4日周三
9月22日周一
9月16日周二
9月10日周三
8月8日周五
7月8日周二
  1. Hugging Face Blog48

    Hugging Face 基于 Knapsack 优化 nanoVLM 多模态数据管道

    Hugging Face 团队针对 nanoVLM 项目构建高效多模态数据管道,通过五个阶段优化以解决 GPU 空闲等待和填充浪费问题。 采用 Knapsack 策略将批次中约 60% 的无效填充 token 降至最低,并引入生产者-消费者模式实现动态批处理。 该方案利用贪婪和二分打包策略平衡 token 与图像数量,显著提升训练效率。

2月12日周三