跳到正文
10月15日周四
  1. arXiv · ML21

    在线分词算法实现近线性时间与最优延迟

    该研究提出一种在线分词算法,在保持输出延迟最优(至常数因子内)的同时,实现了近线性时间复杂度。 算法基于 P≠NP 假设确立了条件性下界,表明无法在常数因子内超越该延迟。实测显示,该算法在首 token 延迟上比 tiktoken 快 7.9×–34.8×,吞吐量提升 2.4×–7.0×,且内存占用保持近似恒定。

  2. arXiv · NLP29

    Arafa:首个大规模阿拉伯语事实核查数据集

    该研究推出首个现代标准阿拉伯语大规模事实核查数据集 Arafa,包含 181,976 个“陈述–证据”样本,按支持、反驳或信息不足三类标注。 数据由 LLM 驱动流水线生成,自动校验环节对支持类事实的准确率为 86%,人工评估的 Cohen's Kappa 值达到 0.89;开源 Transformer 模型在其上微调后的最高 Macro F1 分数为 77%。

  3. arXiv · NLP29

    DeepRubric:通过证据树评分标准提升深度研究智能体强化学习效率

    DeepRubric 提出一种数据构建框架,通过构建证据树反向生成查询-评分对,以确保强化学习奖励精准匹配任务需求。 该框架构建 9K 训练样本,采用评分标准引导的 GRPO 训练 DeepRubric-8B,在三个基准上媲美开源 SOTA 模型。 训练过程仅需约 1/13 的强化学习 GPU 小时,显著提升训练效率。

  4. arXiv · NLP35

    QuantEval: 面向金融量化任务的大语言模型评测基准

    QuantEval 发布 1,575 个专家验证实例,涵盖知识问答、数学推理及策略编码,通过 CTA 风格回测框架评估 LLM 在量化金融中的计算-实现-验证闭环。 该基准测试了 13 款开源及专有 LLM,结果显示模型在长程推理和受限编码上显著落后于人类专家,且监督微调在提升推理能力的同时削弱了事实回忆。 数据集、评测脚本及完整回测配置已开源,支持 LLM 量化金融研究的复现。

  5. arXiv · NLP45

    LLM 脑腐:Twitter/X 数据持续预训练对大语言模型认知的退化影响

    持续在 Twitter/X 低质数据上预训练会导致 4 个 LLM 在推理、长上下文理解及安全性上显著退化,Hedges' g>0.3。 在 M1 指标下,随低质数据比例升至 100%,ARC-Challenge CoT 分数从 72.1 降至 57.2,RULER-CWE 从 83.7 降至 52.3。 结果表明数据具有因果性影响能力衰减,建议对部署中的 LLM 进行常规认知健康检查。

  6. arXiv · ML25

    Transformer 在无限输入下的训练动力学:注意力学习滞后于输出层学习

    研究表明,浅层 Transformer 在识别无界长度星无关语言时,简单的两步梯度特征学习理论失效。 Transformer 需经历三阶段梯度下降:先更新输出层,再更新注意力层,最后微调输出层;单独训练某一层或单步注意力更新均无法完成语言识别。 该“注意力学习滞后”机制在语言识别、回归及上下文学习等其他任务中同样有益。

  7. arXiv · ML23

    Muon 优化器在有限 Newton-Schulz 迭代下的隐式偏差:从谱范数到 Frobenius 范数

    理想化的 Muon 优化器具有谱最大边距隐式偏差,但在实际实现中,使用有限 Newton-Schulz 迭代和正稳定常数会导致其选择 Frobenius 最大边距方向。 研究通过可求和扰动论证证明,这一行为在指数移动平均和 Nesterov 动量下均成立,参数轨迹与梯度下降保持有界距离。 发现 Muon 可通过令 Newton-Schulz 迭代次数随训练对数增长,重新恢复其谱最大边距偏差。

  8. arXiv · NLP27

    面向多模态大语言模型空间推理的数据驱动综述

    该综述聚焦多模态大语言模型空间推理的后训练方法,重点分析微调所用数据集。研究将现有工作划分为数据集设计、构建与评估三类。 综述归纳了固定空间标注的四种构建方法:规则模板、LLM 提示、程序化生成及人在环路。 文章指出统一动态标注、评估标准化及高效推理是未来关键研究方向。

  9. arXiv · NLP24

    COUNT:通过统计 N-grams 解锁主机内存扩展与免训练适应

    研究者提出 COUNT 方法,通过存储预计算的 n-gram 计数实现 LM 在主机内存上的扩展,无需额外学习参数。 在固定计算预算下,为 1B 参数 LM 添加 COUNT 作为输入嵌入,其验证损失改善效果相当于增加 57% 算力的 LM。 该方法允许在推理时切换领域语料的 n-gram 计数表,实现无训练的领域适应,且在 GPU 内存受限时优于增加学习嵌入的方法。

  10. arXiv · NLP23

    BabyLM 多语言预训练中语言暴露分布与顺序的影响

    在包含英语、荷兰语和中文的多语言 BabyLM 预训练中,混合训练在 15 种匹配配置中全部优于课程训练,同时多语言表现受语言暴露数量与顺序共同影响。 语言主导型混合训练中的部分配置得分高于均衡配置,且荷兰语主导配置取得最佳整体性能。 该结果表明在当前小规模数据设定下,均衡语言分布并非最高性能方案,同时多语言暴露优于分阶段暴露。

  11. arXiv · ML25

    基于两阶段残差学习的热力学系统建模强度优化方法研究

    两项研究显示,两阶段残差学习框架(TSRL)显著降低了代理模型误差。 在原油蒸馏单元数据中,TSRL 将测试均方根误差(RMSE)从 10.3 g/s 降至 4.7 g/s;在工业燃气轮机数据中,涡轮热速率误差从 151 kJ/kWh 降至 105 kJ/kWh。 该框架通过验证剩余量评估局部建模强度,为热力学系统的安全关键操作提供决策支持。

  12. arXiv · ML31

    Progress-Aware Distillation for Mitigating Stagnation in Small Language Model Agents

    ProD 通过检测并惩罚学生智能体轨迹中的停滞现象,有效缓解小语言模型智能体在长交互中陷入无效循环的问题。 ProD 将教师与学生间的停滞差距编码为自适应边距,在 0.6B 至 8B 参数的 8 个 SLM 上验证,提升了成功率与任务完成效率。 该工作已被 NeurIPS 2026 接收。

  13. arXiv · ML23

    提出用于连续流语言模型的强化学习后训练框架,实现低方差路径梯度优化

    研究者提出面向连续流语言模型的强化学习后训练框架,通过引入 Critic 估计中间 token 嵌入价值,绕过非可微解码步骤获取低方差路径梯度。 该 Critic 能随策略变化动态跟踪价值函数,在四项推理任务中,该框架可靠提升模型性能并优于同类基线方法。

  14. arXiv · ML25

    图像自蒸馏数据密度缩放定律:重复样本的影响

    研究指出图像自蒸馏中样本重复对下游性能的影响是非平凡的且依赖数据集,现有缩放定律存在局限。 在Maxar、ImageNet等7个数据集上,重复训练较小随机子集有时优于训练更大唯一样本集,验证了数据依赖特性。 论文提出修改版Chinchilla风格缩放定律,显式纳入唯一样本数与重复次数两个因素。

  15. arXiv · ML32

    逆推理模型通过仅答案数据实现高效后训练与验证

    提出利用逆推理LLM处理仅答案数据的自蒸馏技术,将CoT视为隐变量,在GRPO训练饱和后单次离线蒸馏可使Qwen3-0.6B在困难提示下的pass@1提升近一倍。 该方法在Countdown任务中全比例优于拒绝采样自蒸馏,且逆模型作为验证器可将best-of-n选择准确率从0.753提升至0.969。 COLM 2026 Workshop论文展示了逆模型在持续后训练和测试时验证的双重应用价值。

  16. IT之家71

    字节跳动洽谈采购联发科 ASIC 芯片用于数据中心

    字节跳动正与联发科洽谈采购定制 ASIC 芯片,以支撑其数据中心运行。这笔交易可能使字节跳动成为联发科 ASIC 业务继谷歌后的第二大客户,联发科借此可拓展数据中心市场并与高通竞争。字节跳动因无法获取英伟达等顶尖芯片及本土算力不足而寻求替代,计划今年资本开支最高达 700 亿美元,重点投入 AI 模型训练与推理基建。

  17. IT之家64

    美联储官员:AI 投资激增加剧了美国通胀压力

    美联储 9 月会议纪要显示,官员认为 AI 基础设施建设是推高商品价格上涨的主要因素,而非关税。剔除食品和能源后物价仍快速上涨,且 AI 基础设施建设对物价的影响在加大,而关税影响逐渐减弱。官员预计整体通胀率要到 2029 年才有望降至 2% 的目标水平,部分观点认为 AI 建设热潮可能带动整体经济需求增长并进一步推高物价,但长期生产率收益及显现时间仍不确定。