ZeroGraph:通过实体化边界监督实现组合式分块训练
ZeroGraph 通过实体化冻结教师的边界轨迹为版本化数据集,实现预训练模型转换与蒸馏中的分块独立训练。 在 GPT-2 Large 上,无锚定目标使去噪误差降低 99.44%,但交叉熵从 3.63 恶化至 10.48;在 Qwen2.5 模型上,干净教师边界回归方案通过质量与上下文使用测试。 该方案将跨深度语义依赖从在线优化转移至持久数据,中断的分块可恢复至比特级相同的最终状态。
ZeroGraph 通过实体化冻结教师的边界轨迹为版本化数据集,实现预训练模型转换与蒸馏中的分块独立训练。 在 GPT-2 Large 上,无锚定目标使去噪误差降低 99.44%,但交叉熵从 3.63 恶化至 10.48;在 Qwen2.5 模型上,干净教师边界回归方案通过质量与上下文使用测试。 该方案将跨深度语义依赖从在线优化转移至持久数据,中断的分块可恢复至比特级相同的最终状态。
研究提出递归推理探索(RRE)框架,通过演化推理图链接主张、前提与修订以支持累计数学研究。 该框架作为数学工具计划的第三阶段,案例研究证明对于秩大于二的二项张量分解,最小Nullstellensatz证书度为3n,并给出了关于幂零矩阵的界3m + 3至3m + 6。 RRE记录为研究数学调查如何发展提供素材,支持人类主导及自主探索。
论文提出 Decoupled Predictive Decision Making (DPDM) 架构,利用冻结的 LimiX-2 预测器和 Qwen3.5-27B 编码器,将智能体决策转化为条件预测任务。
新框架几何形态学习旨在弥合深度学习对几何的盲区,通过构建神经束和可微算子,使基础模型能学习几何或拓扑结构。 该框架支持研究全纯性和上同调等先进几何概念,赋能基础模型、推理规划、图建模及物理模拟等领域,推动AI向系统化几何理解转变。
summary_zh: 混合语言模型中,线性注意力直接参与构建 softmax 注意力的查询,而非仅压缩上下文。 在 Qwen3.5 和 Granite4.0 中发现 Encode-Address 电路;跨架构移植 Address 块可在不更新权重的情况下恢复 0.92–0.94 的检索准确率,且大规模模型中该计算趋于分布式。
Open Inference Market (OIM) 提出一种 P2P 系统,利用“收益即抵押”机制使闲散 GPU 参与 AI 推理,无需依赖大型数据中心。 系统通过未结算收益作为审计挑战期抵押,确认作弊则没收,简化模型证明每日每工人 0.3 次重放即可抑制理性作弊。 该系统将算力、历史、审判和价值发布权逐步交还参与者,重构去中心化推理基础设施。
研究指出 Chain-of-Thought 监督中,可见推理轨迹易混淆机制忠实性与行为可监控性。 三个开源推理模型的案例显示,探针与激活消融未证明监控器优于基线,且七项机制分析未隔离紧凑因果机制。 作者提出证据链报告标准,要求明确每个声明的目标属性与证据支持状态。
Uni-LaSpec 提出一种负载自适应的推测解码框架,通过复用验证器注意力选择关键视觉 token,在 17 个基准测试中将文本吞吐量提升至 5.11 倍,多模态吞吐量达 3.24 倍。 该框架根据 GPU 负载动态调整验证结构,在轻载时使用草稿树,重载时截断线性草稿,在 6 种负载水平和 3 种 GPU 上均优于自回归解码。 在突发到达场景下,其平均端到端延迟比线性验证降低 47.6%。
预注册研究表明,后训练模型在提示要求引用时伪造率从4.8%激增至56.7%。 实验显示,固定权重仅改变提示词,在12个检查点上产生47.8分的显著交互效应,且该效应独立于回答长度。表面特征偏好模型86%的情况偏爱后训练输出。
对前沿推理模型严格评估发现,在八项任务中,结构化搜索未能带来统计显著的准确率提升。 四种优化器家族中,离散结构基因组可防止种子坍缩;190 题评估确立三维余量类型学,表明提示优化无法弥补内在知识缺陷或物理截断。
HiGenTrans框架通过层级迁移LLM知识,显著提升生成式推荐在召回率等指标上的表现。 在三个公开基准测试中,该模型相比最强基线提升Recall@10达12.9%,NDCG@10提升33.7%。 其优势源于在输入、表征和决策三层引入LLM知识,有效解决了交互监督不足和重排序偏差问题。
Pulse 提出一种流式个性化方法,通过独立的轻量级记忆智能体实时监控执行过程,识别新兴个性化需求并提供针对性干预。在 $\pi$-Bench 上得分 71.9%,在 MCP-Persona 上得分 46.4%,为对比方法中最高,同时提升了任务执行效率。 记忆智能体利用用户和项目记忆进行干预,并通过强化学习优化干预时机与方式,以提高个性化支持的及时性和准确性。
VCoT-SQL 框架通过中间步骤验证的 CoT 监督,使 7B 开源模型在 BIRD dev 数据集上达到 66.82% 执行准确率。 该框架使用 7B 模型进行 CoT 合成,性能优于使用 72B 或专有闭源教师模型的方法,证明步骤级验证比扩大教师模型规模更有效。
GRPO 全局基线掩盖异构子组差异,论文提出子组偏移调整。 通过单一有符号系数 $\lambda$ 调整基线,分为 Alignment 与 Contrast 两个方向。 在 Qwen3-8B 和 Olmo3-7B 上验证,Contrast 方向带来适度且一致的提升。
针对多-million美元训练任务因编译器缺陷导致的数值退化与内存损坏问题,提出一套基于 Google XLA:TPU 的超大规模验证方法。 该方法结合模糊测试与 AI 智能体集群,通过分层差分流水线定位融合内核中的失败操作,已解决 142 个编译器 bug。 此生产级框架不仅提升服务稳定性,还为大规模模型编译优化提供了经过实战检验的调试范式。
该论文提出版本化 replay contract 和联合规划器,在 H100 稀疏写入场景下,相比基线将配对步时降低 18.16%(44 GiB 预算)。 规划器根据实测显存和恢复成本,在激活保留、全量快照和选择性保留间做决策,并用独立验证确保一致性。 在 CIFAR-100 稠密队列任务中,该方法比全量快照多占 22.41% 显存,但各 seed 测试结果字节级一致。
基于 1,106 夜数据发现 4 个闭合方程,描述了睡眠宏观结构规律。 核心方程拟合优度 R^2 达 0.996,验证了深睡指数衰减与浅睡 U 形模式。 结果通过 PySR 回归与生成模拟器复现,确认为首组闭合形式规律。
14 个系统一决策模型中,5 个在配对和 best-of-4 基准上的表现与 GPT-5.6(无推理模式)统计上无显著差异。
研究评估了6家头部供应商的14个模型在3076道医学题上的表现。 标准多选题中,最强模型在MedQA-USMLE和PubMedQA上超过人类专家基准,但小模型比大模型低8.7个百分点;隐藏选项后平均准确率从82.3%跌至50.9%,且最强模型能通过选项重构约1/4的问题。
针对大推理模型早停方法,研究在五个模型上通过共享 rollout 回放协议评估了数学、代码等任务表现。 提出 Target-Integrated Token Efficiency (TITE) 指标衡量相对 oracle 的效率,发现强制终止后推理延续且部分正确输出的支撑推理较弱。 该实证审计揭示了现有早停方法在可靠性方面的局限,为优化计算成本提供了参考。
各位重置者注意,我们正在扩展驱动 dots 的前沿模型家族,包括 GPT-6 Astra 和 GPT-6.1 Terra,未来还会加入其他模型。Terra 带来了速度提升和出色的个性升级,将帮助我们让 dots 触达更多人。
腾讯混元发布 Hyra 2.0,将通用 agent 应用于科学工具、模型与工作流的研发和升级,实现从解题到造工具的范式转变。系统已产出多项工具:蛋白质逆折叠模型 HyInv 速度较 ProteinMPNN 提升 57 倍,蛋白质语言模型 HyPLM-Flash 推理速度居 12 个对比模型之首,分子模拟模型 HyFF 在精度-速度帕累托前沿全面领先。
推荐理由:展示了由agent主导的跨领域工具研发全流程,包含蛋白质模型、量子码验证、机器人设计及芯片优化的具体产出与复用机制。
LoOPSD通过搜索层循环路径构造教师,将额外计算的优势蒸馏给标准学生,提升Qwen3等模型的推理能力。 例如,Qwen3-1.7B在GSM8K任务上的准确率从42.30%提升至79.61%,且学生生成长度平均缩短至299.98 tokens。 该方法扩展了自蒸馏教师构造空间,为模型后训练提供了新的监督来源。
研究发现 Pythia 模型中 Token 表示流是非线性的,二次漂移在每一步均优于线性映射。 模型在完整宽度下平均轨迹步长仅 3% 非仿射,而个体状态为 17%;旋转分量占可解释漂移的 4% 至 45%。该结果已被 NeurIPS 2026 研讨会接收,表明流不下降其自身密度。
AgentCollab 提出了一种自驱动协作推理框架,利用智能体自反思信号动态协调不同推理能力的模型,并在必要时升级控制。 该框架采用难度感知累积升级策略,基于近期失败信号分配额外推理预算,在多层次代理基准测试中改善了准确率-效率帕累托前沿。
研究团队推出包含 67,658 个 Python 程序对的 SCRBench 基准,用于评测语言模型的代码语义变更推理能力。 该基准在 4,500 个分层子集上测试了 5 个大模型,结果发现最高模型在语义等价检测准确率 94.71% 时,语义变更诊断准确率仅为 54.44%。 序列重建任务表现更差,最佳模型精确重建率仅 39.27%,当包含 5 处变更时模型准确率不超过 1.11%。
提出免训练方法 RangeSWA,结合局部滑动窗口注意力、远程块摘要和动态内容检索,解决连续扩散语言模型在生成长度超过训练长度时的文本重复与语义漂移问题。 方法通过位置重映射、条件注意力校正和去噪阶段自适应窗口调度缓解生成质量退化。 实验显示,RangeSWA 在多个连续扩散语言模型上有效降低了长文本生成的困惑度和文本重复率。
研究人员提出异步流图语言模型(aFMLMs),在数独求解和 GSM8K 数学词问题代码生成任务上确立了新的单步 SOTA 性能。 该模型通过学习异步流的流图,利用 token 级时间调度控制去噪进度,仅需一次前向传播即可生成所有 token,相关
提出 Stepwise-Querying 方法,通过独立查询获取步骤级解释,无需访问教师内部思维链(CoT),用于推理蒸馏。 在两个教师模型、两个学生模型及四个数学/代码基准测试中,该方法在16次对比中14次取得最高分。 引入 SEIG 诊断指标分析逐步解释的信息增益。
针对现有NIAH基准存在合成数据偏差和人工标注污染问题,研究人员推出动态基准GraphNIAH。该基准基于LLM知识截止日之后的真实论文引用图谱构建,通过自动化流程生成长上下文问答示例。
研究揭示了利用重复惩罚参数可在大语言模型推理阶段控制语法错误纠正的精准度与召回率平衡。该方法无需修改模型架构、训练流程或提示词,且在标准基准实验中验证了其对生成行为的有效调节。
研究人员提出 AICG 框架,在 49,402 份评分数据上将 MAE 降低 50.3%,QWK 从 0.798 提升至 0.927。 该框架结合 RoBERTa 多头分类与 Q-matrix 认知监督,并使用生成式 AI 检测器生成可靠性权重,进一步降低 4.2% MAE。 此方法有效缓解生成式 AI 使用对学业评估造成的向上偏差。
TraceSpec 框架将轨迹评估与自适应草稿训练结合,提升了 LLM 智能体中的推测解码性能。 该框架引入了 TraceSpec-Traj 语料库,包含 10,000 个训练状态和 2,500 个测试状态,覆盖浏览和软件工程场景。
HyperRepair 框架通过超网络恢复微调模型的通用能力,同时保留领域专长。该框架利用激活指纹生成定制化修复侧网络(RSN),实现零额外优化成本。在默认设置下,模型恢复了 93.4% 的通用平均分,并保留了 99.5% 的领域平均分。
EDU-Jev 发布 0.8B、2B 及 4B 参数单次决策模型,通过指针头直接输出选项概率分布。 4B 模型在 12 个基准测试中平均准确率 67.6%,较最强商用 API 高 9.4 个百分点,2B 版本在 H100 上每秒处理约 150 次决策。 该模型在教育跨领域任务上匹配最强 API 表现,但通用推理任务仍落后,简化了决策解析流程。
研究提出 YOPO 框架,在不改变权重的前提下,于冻结语言模型单次前向传播中同时完成答案生成与弃权。 通过中间层探针向量修正与弃权方向评分,YOPO 将 Qwen2.5-1.5B 在 $\alpha$NLI 的准确率从 51% 提升至 73%,三路准确率从 0.38 提升至 0.75。
论文主张图像识别中数据集结构至关重要,DNN 成功分类需发现高阶关联函数。 作者指出 DNN 实现了凝聚态物理中聚焦介观关联结构的通用方法论,这解释了其违背标准统计学习理论却仍能成功泛化的谜题。 全文共 37 页,包含 12 幅图,涉及机器学习与统计力学领域。
该论文提出单一算法,在对手切换次数 S 未知且为静止对手(oblivious adversary)时,实现了所有 S 值下的 $\widetilde{\mathcal{O}}(\sqrt{(S+1)KT})$ 期望遗憾,解决了 Auer 等人提出的开放问题。
研究发现,AI 智能体上下文窗口中敏感数据会在模型良性输出中产生隐藏相关性,即使模型拒绝直接提取也可被重建。 实验基于8个专有模型,2位数字机密重构准确率近乎100%,4位数字准确率为82%,且能力越强模型泄露越多。 该泄露支持语义谓词推断和完整社会保障号提取等攻击,已发表于NeurIPS 2026。
在 Gated DeltaNet 和 Mamba2 混合架构模型中,全注意力 MTP 头部在长上下文下因频繁读取 KV 缓存导致性能下降,甚至慢于非推测解码。 该方法对 Draft 应用 StreamingLLM 风格的窗口与注意力汇,保持 Target 全上下文验证;训练无关且即插即用。