跳到正文
11月16日周一
  1. arXiv · ML21

    标签延迟与概念漂移下不平衡数据流的过采样决策框架

    研究通过15个分类器在12条数据流上的实验,提出了不平衡数据流中过采样与连续重估的决策框架。 框架围绕漂移密度、少数类可学习性和延迟相对精化窗口三轴展开。重估在漂移活跃流中恢复延迟损失,但在静止流中无效。 过采样在真实数据中仅在一种配置下边际贡献显著,合成流的Pareto推荐无法迁移至真实场景。

  2. arXiv · ML23

    TIDE:恢复大语言模型在线强化学习中的损失性能

    TIDE 系统通过在长尾 rollout 期间动态将 GPU 转用于训练并迁移任务,解决 LLM 同步 RL 后训练中因等待长尾导致的资源闲置问题。 该技术采用自适应迁移策略自动确定资源重分配时机,在多种硬件配置下无需定制配置即可提升解码吞吐量。 TIDE 实现端到端最高 1.36x 加速,优于所有评测的在线策略基线,达到最优吞吐量的 97%。

  3. arXiv · ML28

    Muon 预训练中临时权重衰减的延迟效应分析

    Muon 预训练中临时权重衰减存在延迟效应,1.4B 模型中 162M 选定的调度未调优直接转移比无衰减好 0.028 nats。 早期衰减导致持续权重范数不足,使相对步长在干预结束后保持较大,近似范数动力学重现了性能排序。 结果表明临时优化调度需在最终训练预算下评估,而非仅在移除时。

  4. arXiv · AI23

    模型退火:通过复习与巩固实现数据高效学习

    模型退火通过复习与巩固实现数据高效学习,在CIFAR-100等数据集的33种配置中,平均将AdamW训练的模型top-1准确率提升1.3分。 该方法利用内存中的过去模型状态进行再学习,并在学生模型与内存预测分歧最大处生成对抗性梦境以优化训练。 它在校准和对抗鲁棒性上优于最近竞争对手snapshot distillation,且推理无额外成本。

11月13日周五
  1. arXiv · AI34

    三元组增量训练框架:将通用 VLM 转化为多功能驾驶 VLM

    三元组增量训练框架通过非侵入式方法,在保留通用 VLM 开放世界能力的同时注入 3D 几何感知,无需修改架构。 框架利用 (图像, 深度, QA 对) 三元组进行三流训练:主 VLM 流适配驾驶任务,辅助深度流隐式想象 3D 几何,冻结孪生 VLM 流通过 logit 级 KL 蒸馏防止语义漂移;部署时丢弃深度流,实现零推理开销。

  2. arXiv · AI27

    AI 时代自由职业工作的重新捆绑:ChatGPT 与 Upwork 任务组合分析

    研究发现,ChatGPT 中更常见的活动会导致其在 Upwork 上的市场占比下降,反之则上升。 在 AI 相关工作中,客户需求变得多样化,任务组合方式发生变化,且项目预算和工作时长显著增加。 AI 正在重塑客户外包任务的类型以及如何将任务组合成更高价值的项目。

  3. arXiv · AI27

    部署速度主导 AI 数据中心能源成本:美国本土供电技术经济分析

    研究引入部署速度调整后的能源成本指标,发现直流耦合(DC coupling)平均降低生命周期能源成本 18%。 基于 85% 美国地区的经济分析显示,在考虑被放弃的计算性能后,直流耦合微电网成为最低成本方案。 部署速度而非单纯单位能源成本决定了 AI 基础设施的最优供电路径。

  4. arXiv · AI42

    Mantis 2 实现通用传染病预测,公开发布

    Mantis 2 结合模拟与观测数据,最多预测 16 周内的 6 个变量,在 30 项预测任务中取得最佳综合概率精度。 该模型比最强对比模型少遗漏约 30% 的疫情峰值,平均提前 6 周以上识别峰值。 已公开发布,支持跨疾病和地区预测,无需为每个场景开发独立模型。

  5. arXiv · NLP30

    低资源语言语音转写:28 个开源多语言模型在 50 种低资源语言上的迁移微调研究

    该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。

  6. arXiv · NLP21

    VWEN:用于越南语释义的 0.8B 参数小语言模型

    VWEN 是基于 Qwen3.5-0.8B 微调的 0.8B 参数模型,支持越南语释义及简化等 5 项任务。 使用约 7k 样本经四阶段管道训练,在高发散释义任务中成功率达 0.61,优于 ViSP 模型的 0.46。 多任务训练保留了基础模型能力,而仅用释义数据训练会致能力丧失,且蕴含过滤阶段效果最佳。

  7. arXiv · AI35

    AFTER:面向误差驱动保持的自适应快慢时间尺度世界模型

    AFTER-WM 世界模型通过误差驱动机制,结合快速修正与持久慢速修正,动态调整预训练专家权重,解决了响应、稳定与持久性的权衡难题。该模型在五个模拟机器人数据集和真实无人机数据上表现最优,其多步平均误差比最强对比模型低 16%-34%,且在控制任务中取得最高平均回报。相关代码与数据集将在线发布。

  8. arXiv · NLP21

    基于 Stack Exchange 回答词汇变化追踪语言模型使用分布的研究

    研究者分析了 2019 至 2024 年间 170 个 Stack Exchange 站点共 380 万条回答,发现语言模型高频词组使用率比 2023 年前趋势高出 14%。 预测词汇上升最强的指标是发布后 30 天内被编辑的回答占比:低编辑站点词组上升约 29%,高编辑站点则无明显变化。 该研究发现基于词汇的估算无法区分是用户少用还是编辑行为影响记录,整体估计混合了不同变化幅度的站点。

  9. arXiv · ML33

    LLM 回测时间泄露:测量、验证与分数调整

    研究发现,大语言模型回测中传统的污染检查无效,因为模型对截止时间附近的时间敏感,导致近期数据泄露现象与真实能力难以区分,证明了被动回测无法剥离二者。 作者提出利用已知截止时间和匹配的干净对照来定位泄露,并据此计算泄露调整后的分数。 在包含植入泄露的孪生模型测试中,该估计器成功检测并定位了泄露,而在五个前沿模型的实测中,未发现显著泄露。

  10. arXiv · ML31

    量化语言模型蒸馏中的无意识行为迁移比例

    该研究通过引导 Llama-2-7B-Chat 和 Qwen2.5-7B-Instruct 并仅使用良性数据进行蒸馏,量化了无意识行为迁移比例。在 100 条 JailbreakBench 提示词上由 GPT-4.1 评估,结果显示 Llama-2 存在锐利阈值,而 Qwen2.5 表现为连续且高达 0.61 的迁移水平。 这项研究为理解教师模型向学生模型传递潜在不良行为提供了系统性的量化证据。

  11. arXiv · ML21

    稳定性边缘选择性塑造数据分布下的学习过程

    稳定性边缘(EoS)并非全局优化属性,而是通过重分配学习来选择性塑造数据分布,放大部分群体进步同时抑制其他群体。 研究者通过分支干预证明这一权衡效应,识别出两个必要条件:群体聚合梯度需对齐Hessian最大特征向量,且需维持非消失的梯度幅度。 这表明EoS不仅是稳定性边界,更作为机制管理着学习在数据分布中的分配。

  12. arXiv · ML26

    KAFFEE:弥合混沌替代建模中动态-概率一致性差距的可微分扩展卡尔曼滤波框架

    研究揭示动态系统重建中存在动态-概率一致性差距,优化有限时程概率目标可能削弱动力学学习或使预测不确定性与局部切动力学解耦。 提出可微分扩展卡尔曼滤波训练框架 KAFFEE,联合学习动力学与噪声协方差;在随机超混沌Lorenz-96上,KAFFEE改善了不变量重建与预测得分,并在13个混沌系统上提升了预测似然。 该文已被NeurIPS 2026主会接收。

  13. arXiv · ML27

    MEME 基准定义多实体与演进记忆任务,发现现有系统在依赖推理上失效

    LLM 智能体评测基准 MEME 定义了多实体与演进记忆六项任务,覆盖 Cascade、Absence 等此前未评分的依赖推理场景。 基于 100 个控制回合评估 6 种记忆系统,发现所有系统在默认配置下依赖推理准确率均低于 3%,静态检索性能良好但无法解决此问题。 文件代理结合 Claude Opus 4.7 部分弥合差距,但成本约为基线 70 倍,代码与数据已在项目页公开。

  14. arXiv · ML51

    神经元胞自动机训练语言模型

    论文提出使用神经元胞自动机生成合成非语言数据,用于 LLM 的 pre-pre-training。在 400M-3B 规模模型中,仅使用 164M NCA tokens 即可将下游语言建模性能提升最高 6%,收敛速度加速最高 1.6 倍,甚至优于使用 1.6B tokens 高质量自然语言数据且计算量更多的情况。

  15. arXiv · ML29

    Reward-Conditioned Reinforcement Learning 提出基于反事实奖励的条件化智能体以增强策略可调整性

    RCRL 方法在固定目标下通过扰动标称奖励生成多样化监督,在单任务、多任务及视觉控制基准中提升了任务性能与样本效率。 该方法为离策略算法,利用重放数据重新计算反事实奖励,无需额外环境交互。 学习策略支持零样本行为调整,向相关目标偏移而无需再训练。

  16. arXiv · ML25

    ArchSpace:记录、评审与引用大语言模型架构研究的公开平台

    ArchSpace 作为公开平台,通过记录实验与推理、社区评审及引用机制,填补了大语言模型架构创新中缺乏成功与失败文档记录的空白。 平台利用缩放定律从小型实验预测大规模模型损失,以替代高成本训练,并提供了 Qwen3.5 和 OLMo3 基线、拟合的缩放定律及可复用训练配方。 验证的想法将成为新基线,旨在拓宽塑造下一代模型的范围。

  17. arXiv · ML23

    CADET 框架通过合成 PCB 布线实例提升无违反路由策略性能

    CADET 生成 10 万块无设计规则违反(DRV)的合成交互板及其演示,结合行为克隆与强化学习训练布线策略,将真实测试板上的完整无违反路由率从 38.0% 提升至 67.2%。 该比率与开源自动布线器 FreeRouting 相当,并优于其他基线,包括 GPT-6 Astra,相关数据与代码已开源。