跳到正文
11月3日周二
  1. arXiv · AI21

    ZeroGraph:通过实体化边界监督实现组合式分块训练

    ZeroGraph 通过实体化冻结教师的边界轨迹为版本化数据集,实现预训练模型转换与蒸馏中的分块独立训练。 在 GPT-2 Large 上,无锚定目标使去噪误差降低 99.44%,但交叉熵从 3.63 恶化至 10.48;在 Qwen2.5 模型上,干净教师边界回归方案通过质量与上下文使用测试。 该方案将跨深度语义依赖从在线优化转移至持久数据,中断的分块可恢复至比特级相同的最终状态。

  2. arXiv · AI28

    RRE框架:通过演化推理图进行递归数学研究

    研究提出递归推理探索(RRE)框架,通过演化推理图链接主张、前提与修订以支持累计数学研究。 该框架作为数学工具计划的第三阶段,案例研究证明对于秩大于二的二项张量分解,最小Nullstellensatz证书度为3n,并给出了关于幂零矩阵的界3m + 3至3m + 6。 RRE记录为研究数学调查如何发展提供素材,支持人类主导及自主探索。

  3. arXiv · AI31

    混合语言模型中线性注意力构建查询:以 Qwen3.5 与 Granite4.0 为例的检索机制研究

    summary_zh: 混合语言模型中,线性注意力直接参与构建 softmax 注意力的查询,而非仅压缩上下文。 在 Qwen3.5 和 Granite4.0 中发现 Encode-Address 电路;跨架构移植 Address 块可在不更新权重的情况下恢复 0.92–0.94 的检索准确率,且大规模模型中该计算趋于分布式。

  4. arXiv · AI22

    OIM:一个让任何人可加入的 P2P AI 推理计算中心系统

    Open Inference Market (OIM) 提出一种 P2P 系统,利用“收益即抵押”机制使闲散 GPU 参与 AI 推理,无需依赖大型数据中心。 系统通过未结算收益作为审计挑战期抵押,确认作弊则没收,简化模型证明每日每工人 0.3 次重放即可抑制理性作弊。 该系统将算力、历史、审判和价值发布权逐步交还参与者,重构去中心化推理基础设施。

  5. arXiv · AI37

    Uni-LaSpec:面向视觉语言模型的负载自适应推测解码框架

    Uni-LaSpec 提出一种负载自适应的推测解码框架,通过复用验证器注意力选择关键视觉 token,在 17 个基准测试中将文本吞吐量提升至 5.11 倍,多模态吞吐量达 3.24 倍。 该框架根据 GPU 负载动态调整验证结构,在轻载时使用草稿树,重载时截断线性草稿,在 6 种负载水平和 3 种 GPU 上均优于自回归解码。 在突发到达场景下,其平均端到端延迟比线性验证降低 47.6%。

  6. arXiv · AI37

    HiGenTrans:层级LLM知识迁移提升生成式推荐性能

    HiGenTrans框架通过层级迁移LLM知识,显著提升生成式推荐在召回率等指标上的表现。 在三个公开基准测试中,该模型相比最强基线提升Recall@10达12.9%,NDCG@10提升33.7%。 其优势源于在输入、表征和决策三层引入LLM知识,有效解决了交互监督不足和重排序偏差问题。

  7. arXiv · AI28

    Pulse: 长程任务中的流式个性化方法

    Pulse 提出一种流式个性化方法,通过独立的轻量级记忆智能体实时监控执行过程,识别新兴个性化需求并提供针对性干预。在 $\pi$-Bench 上得分 71.9%,在 MCP-Persona 上得分 46.4%,为对比方法中最高,同时提升了任务执行效率。 记忆智能体利用用户和项目记忆进行干预,并通过强化学习优化干预时机与方式,以提高个性化支持的及时性和准确性。

  8. arXiv · AI37

    揭秘 Google XLA:TPU 编译器在超大规模下的正确性验证与分诊方法论

    针对多-million美元训练任务因编译器缺陷导致的数值退化与内存损坏问题,提出一套基于 Google XLA:TPU 的超大规模验证方法。 该方法结合模糊测试与 AI 智能体集群,通过分层差分流水线定位融合内核中的失败操作,已解决 142 个编译器 bug。 此生产级框架不仅提升服务稳定性,还为大规模模型编译优化提供了经过实战检验的调试范式。

  9. arXiv · AI33

    State-Aware Activation Recomputation 使用 Replay Contracts 和 Selective Preservation 优化显存

    该论文提出版本化 replay contract 和联合规划器,在 H100 稀疏写入场景下,相比基线将配对步时降低 18.16%(44 GiB 预算)。 规划器根据实测显存和恢复成本,在激活保留、全量快照和选择性保留间做决策,并用独立验证确保一致性。 在 CIFAR-100 稠密队列任务中,该方法比全量快照多占 22.41% 显存,但各 seed 测试结果字节级一致。

  10. arXiv · AI35

    大推理模型早停机制综述与效率及可靠性实证审计

    针对大推理模型早停方法,研究在五个模型上通过共享 rollout 回放协议评估了数学、代码等任务表现。 提出 Target-Integrated Token Efficiency (TITE) 指标衡量相对 oracle 的效率,发现强制终止后推理延续且部分正确输出的支撑推理较弱。 该实证审计揭示了现有早停方法在可靠性方面的局限,为优化计算成本提供了参考。

11月2日周一
  1. 腾讯混元88

    腾讯混元发布 Hyra 2.0:面向科研工具研发的自动化智能体框架

    腾讯混元发布 Hyra 2.0,将通用 agent 应用于科学工具、模型与工作流的研发和升级,实现从解题到造工具的范式转变。系统已产出多项工具:蛋白质逆折叠模型 HyInv 速度较 ProteinMPNN 提升 57 倍,蛋白质语言模型 HyPLM-Flash 推理速度居 12 个对比模型之首,分子模拟模型 HyFF 在精度-速度帕累托前沿全面领先。

    推荐理由:展示了由agent主导的跨领域工具研发全流程,包含蛋白质模型、量子码验证、机器人设计及芯片优化的具体产出与复用机制。

  2. arXiv · NLP25

    SCRBench: 代码语义变更推理评测基准

    研究团队推出包含 67,658 个 Python 程序对的 SCRBench 基准,用于评测语言模型的代码语义变更推理能力。 该基准在 4,500 个分层子集上测试了 5 个大模型,结果发现最高模型在语义等价检测准确率 94.71% 时,语义变更诊断准确率仅为 54.44%。 序列重建任务表现更差,最佳模型精确重建率仅 39.27%,当包含 5 处变更时模型准确率不超过 1.11%。

  3. arXiv · NLP20

    RangeSWA:连续扩散语言模型的免训练长度外推方法

    提出免训练方法 RangeSWA,结合局部滑动窗口注意力、远程块摘要和动态内容检索,解决连续扩散语言模型在生成长度超过训练长度时的文本重复与语义漂移问题。 方法通过位置重映射、条件注意力校正和去噪阶段自适应窗口调度缓解生成质量退化。 实验显示,RangeSWA 在多个连续扩散语言模型上有效降低了长文本生成的困惑度和文本重复率。

  4. arXiv · NLP20

    异步流图语言模型

    研究人员提出异步流图语言模型(aFMLMs),在数独求解和 GSM8K 数学词问题代码生成任务上确立了新的单步 SOTA 性能。 该模型通过学习异步流的流图,利用 token 级时间调度控制去噪进度,仅需一次前向传播即可生成所有 token,相关

  5. arXiv · NLP31

    面向自动数学简答评分的 AI 感知认知监督框架 AICG

    研究人员提出 AICG 框架,在 49,402 份评分数据上将 MAE 降低 50.3%,QWK 从 0.798 提升至 0.927。 该框架结合 RoBERTa 多头分类与 Q-matrix 认知监督,并使用生成式 AI 检测器生成可靠性权重,进一步降低 4.2% MAE。 此方法有效缓解生成式 AI 使用对学业评估造成的向上偏差。

  6. arXiv · NLP26

    EDU-Jev 提出 0.8B 至 4B 参数量教育决策模型,4B 版本准确率超最强商用 API 9.4 个百分点

    EDU-Jev 发布 0.8B、2B 及 4B 参数单次决策模型,通过指针头直接输出选项概率分布。 4B 模型在 12 个基准测试中平均准确率 67.6%,较最强商用 API 高 9.4 个百分点,2B 版本在 H100 上每秒处理约 150 次决策。 该模型在教育跨领域任务上匹配最强 API 表现,但通用推理任务仍落后,简化了决策解析流程。

  7. arXiv · ML22

    DNN、数据集统计特性与关联函数

    论文主张图像识别中数据集结构至关重要,DNN 成功分类需发现高阶关联函数。 作者指出 DNN 实现了凝聚态物理中聚焦介观关联结构的通用方法论,这解释了其违背标准统计学习理论却仍能成功泛化的谜题。 全文共 37 页,包含 12 幅图,涉及机器学习与统计力学领域。

  8. arXiv · ML45

    语言模型中的意外上下文泄露

    研究发现,AI 智能体上下文窗口中敏感数据会在模型良性输出中产生隐藏相关性,即使模型拒绝直接提取也可被重建。 实验基于8个专有模型,2位数字机密重构准确率近乎100%,4位数字准确率为82%,且能力越强模型泄露越多。 该泄露支持语义谓词推断和完整社会保障号提取等攻击,已发表于NeurIPS 2026。