FlashSampling 提出精确采样原语,通过融合至 LM head 矩阵乘法减少 vLLM 解码延迟
FlashSampling 将精确采样融合进 LM head 矩阵乘法,避免在 HBM 中生成完整 logits 张量,并在 4 种数据中心 GPU 上实现内核级加速。 在张量并行解码中,方法用流式对等写入替代 logits 的 all-gather,支持最多 8 个 GPU 通信与计算重叠,且在 vLLM 端到端测试中每输出 token 时间最多降低 10%。
FlashSampling 将精确采样融合进 LM head 矩阵乘法,避免在 HBM 中生成完整 logits 张量,并在 4 种数据中心 GPU 上实现内核级加速。 在张量并行解码中,方法用流式对等写入替代 logits 的 all-gather,支持最多 8 个 GPU 通信与计算重叠,且在 vLLM 端到端测试中每输出 token 时间最多降低 10%。
该方法为确定性闭式归因规则,仅需线性数量的联盟值评估,满足空玩家性质,并与精确 SHAP 保持高度一致,计算成本大幅降低。 为高维度特征归因提供实用且理论可靠的方案。
summary_zh: 研究提出测试时适应人机交互方法,将交互信号整合至智能体上下文与权重,通过演化评分标准模块捕捉个体标准。 在写作与视觉创作领域,针对30人共600项任务,智能体单任务成功率提升4.5%-20.9%,评分标准比纯模型或人工多捕获16.0%-22.3%失败案例。
嵌套因果老虎机中基于PAC-Bayes风险的认证策略优化 **summary_zh** 研究提出嵌套因果汤普森采样(NCTS)算法,利用PAC-Bayes超额风险界对历史数据中的部署策略进行认证。 该方法在层级结构因果模型上验证了因式分解机制在分布偏移下的优越零样本迁移能力,实现了渐进式安全部署。 相关成果已被NeurIPS 2026主会接收。
研究人员提出“polylogue”概念,将 LLM 激活空间中的 persona vectors 视为动态信号,以监测生成过程中的行为特征。 在四个开源权重模型实验中,polylogue 特征在 MMLU-Pro 上预测准确度的表现与低维激活基线相当,且保持了可解释性。 该方法展示了阶段感知的潜在引导潜力,但简单的段落条件干预仅在三个模型上提升准确率,第四个模型性能下降,表明其鲁棒性仍待提高。
UMPIRE 是一种无训练的多模态大语言模型(MLLMs)不确定性量化框架,能高效检测错误输出并支持将低可靠性查询升级至人工或更大模型。 该框架受行列式点过程(DPPs)启发,通过计算采样响应的非一致性调整语义体积,结合语义嵌入分散度与响应二次熵,无需外部工具。 实验显示,UMPIRE 在图像、音频和文本视频基准上的错误检测和不确定性校准上优于基线指标,并可推广至非文本输出任务。
研究通过 Sender-Receiver 设置评估多模型间 Chain-of-Thought 推理的转移效果。 提出 Verifiability、Correctability 和 Deceptiveness 三个指标,分别衡量可靠性、有用性与安全性。 任务性质影响可靠性,接收者性质影响有用性,发送者性质影响受污染推理的危害。
27B 开源推理模型在纯模拟环境中通过强化学习训练,无需演示即可原生使用真实机器人。 在 LIBERO 和 RoboDojo 上训练后,模型在真实双机械臂机器人上的任务成功率达 60%,LIBERO 基准成功率从 1.6% 提升至 74.4%。 该技术为机器人大规模后训练提供了新路径,且未在九个通用基准上造成能力退化。
研究提出 Zoloflow 算法,利用保方差椭圆调度与定制化离散化,结合 Jacobi 椭圆函数实现最优插值采样。
StreamEmbed 是一种利用像素冗余实现增量视觉嵌入的系统,在 M2 Pro GPU 上编码速度快至全图编码的 3.7 倍,且不牺牲准确性。 该系统通过空间 token 剪枝和时序 KV 复用减少计算,并辅以小型适配器保持精度;在 ScreenMemEval 基准上,其 Recall@10 比 OCR 索引高 6.3 分。
提出 ScoreCLR 方法,利用去噪分数匹配估计对比学习中的排斥项,将负样本替换为学习的排斥力。 该方法使排斥项成本从二次方降为线性,在 CIFAR-10 和 ImageNet-100 上保持与 SimCLR 相近的线性探针精度。
研究提出一种方法,通过非侵入式调试器从运行中的 GPU 进程提取大语言模型逐层残差流激活值,无需预知模型架构或权重参数。 验证于 33 个开源仅解码器模型,恢复数据字节精确;利用线性探针区分拒绝与服从行为,在留出测试集上达到 0.88 的 AUROC。 为考察部署 AI 系统的运行行为提供了新的证据来源,证明实时观测中间隐藏状态的可行性。
研究人员提出可解释权重空间编程(iWSP),利用 LLM 智能体通过代码显式编程权重与特征,构建无需反向传播的透明模型。 该智能体通过假设与手动优化,成功构建针对算术和情感分类的紧凑型 Transformer,并在视觉、语言和听觉皮层构建了神经编码模型。 在视觉皮层,iWSP 的预测能力优于现有基线;在语言 fMRI 和听觉 ECoG 任务中,它揭示了数据混杂因素并发现了可解释的声学特征。
无训练推理框架 EcoVGGT 使用 31 个均匀分布的固定键帧进行 3D 重建,实现了长视频的高效处理。 该框架将固定键帧存储于场景缓存中,其他帧独立读取该缓存,以恒定成本精确复现联合推理结果。 EcoVGGT (π³) 在 1,000 帧 ScanNet 视频上的成功匹配率与 π³ 相同,但速度提升 13.8 倍;VGGT 成功率从 70% 提升至 82%,速度提升 8.5 倍。
在冻结 I-JEPA 嵌入上训练小型残差适配器,利用轨迹顺序学习潜在目标成本。 在 DotWall 和 PointMaze 测试中,规划成功率分别从 54% 提升至 98% 和从 82% 提升至 96%。 该方法无需重新训练编码器或世界模型,仅通过规划经验即可优化视觉表示的目标成本评估。
LLM 驱动的权重空间编程能成功向神经网络注入后门,且保持干净性能,仅修改 MLP 的 6 个参数或 Qwen 模型 0.02% 权重即可实现。 在 3 种目标架构测试中,通用 LLM 均可直接修改权重,但 GPT-6 Astra 是唯一在三个目标上均成功的模型。 这一发现凸显了权重空间编程的安全风险。
研究者提出IBMARL框架,将模仿引导强化学习扩展至合作团队,结合轮询行为克隆(R2BC)训练模仿策略。 在四个基准中,IBMARL比演示基线快2.6至4.2倍,且在两项任务上超越演示者本身,代码已开源。
ARCHER 是一种两阶段框架,旨在训练小语言模型生成可执行且可审计的数学推理轨迹。 该框架将自由链式思维编译为类型化行动追踪,并通过非对称分层强化学习优化策略。在 5 个 10B 以下骨干模型上,其宏平均基准准确率比最强工具增强基线提高 5.51 个百分点。
该研究提出双层集成方法,利用语义扰动实现黑盒不确定性量化,将不确定性精确分解为 aleatoric 和 epistemic 两部分。 方法仅需黑盒采样访问,无需白盒参数。在五个基准和四个 LLM 上,其性能与强白盒基线相当。 该方法已发表于 NeurIPS 2026,代码已开源,可扩展至长文本事实性检查。
VelServe 提出一种通过尾部校准调度平抑 LLM 解码抖动的方案,在 Qwen3-8B 和 DeepSeek-V4-Flash 上将 SLO goodput 提升至最强基线的 2.4-2.9 倍。 该调度器校准每个解码步骤的 prefill 工作量,结合最短等待 prompt 优先策略,在 8 卡分离部署下使满足 SLO 的请求数达到 SOTA 基线的两倍以上。
研究表明,Grokking 不会实质性改变深度神经网络的训练效率动态。 实验在 16、32、64 位精度下测试了两种模型,发现长周期训练虽可诱导 Grokking,但效率曲线仍保持单调递减。 这证实了 Grokking 现象未对能耗与准确率的权衡产生显著影响。
研究人员提出局部决策谓词图(local DPG),为树集成模型提供可验证的局部解释。该方法识别临界谓词,在单次穿越中恢复 46-69% 错误预测的真实类别,优于 TreeSHAP 的 29-50%。 在 16 个数据集和四种集成家族中,临界谓词在定位故障阈值时优于随机基线,准确率为 46-71%。 该解释方法无需训练,通过指出预测可被修改的具体阈值,补充了特征归因和反事实分析。
CFP 与 CLABS 在相同预算下实现最大行为改变,CLABS 在预算受限时效果最强且最好保持流畅性。 两种门控机制分别作为无记忆特征投影和轨迹感知闭环反馈,将引导转化为逐 token 分配问题以解决标准方法侵蚀生成质量的问题。
提出将监督深度分类视为香农意义上纠错码解码的统一框架。交叉熵优化使 softmax 分类器与最大似然解码对齐,logits 映射为到类特定码字的汉明距离。该对应关系解释了 KL 散度等目标的涌现,并将 Neural Collapse 和 LeJEPA 的几何视为等向噪声下解码的最优星座。
NeoResearch 提出一种由 LLM 驱动的自主研究框架,利用专家启发的双循环工作流发现轻量级领域特定预测模型。 该框架自动挖掘网络科学文献提取建模机制,并通过层级经验记忆将文献发现与实验结果关联,支持跨任务复用。 在十个数据集上的实验表明,该框架具有竞争性性能,验证了双循环、文献提取及记忆复用机制的有效性。
研究指出 Transformer 革命并非深度学习量化扩张,而是基于不同推理原则的新范式。在推理过程中,部分变换由当前输入动态构建,先前获取的变换先适配再应用。 该动态处理通过输出权重互连实现,称为序列级交互动态并行处理(SIDPP)。SIDPP 框架解释了强提示词敏感性,并开启了关于可解释性、控制及神经形态系统的研究方向。
研究团队提出 TrAC 算法,基于祖先干预语法构建有限有向无环见证图,实现对目标事件所有实际因果的声音且完整枚举,填补了 Halpernian 因果框架的空白。该算法在随机布尔结构因果模型上经实证验证,在 15 节点图结构中具备实际可行性。TrAC 被应用于法律责任、道德归咎及因果伤害分级任务,支持对完整因果集合的聚合分析。
研究评估了8个开源模型在Mac Studio和双NVIDIA A100 GPU上辅助科学论文检索的性能,涵盖512至128k token上下文下的推理延迟。 实验在7个科学库中检索70篇论文,结果显示检索成功率受模型选择和查询具体程度影响显著;A100速度普遍更快,但Mac Studio统一内存可加载更大模型。
研究提出名为 Symbolic Swapper 的 LLM 对抗攻击框架,生成混淆符号词汇的规划域以测试大语言模型的规划能力。 该攻击能降低基础模型及稳健规划框架 70% 以上的规划性能,揭示了模型在领域理解与纯规划执行间的显著差距。 这项发表于 NeurIPS 2026 的工作表明,即便具备常识线索,LLM 在严格符号规划任务中仍缺乏鲁棒性。
研究通过激活编辑向推理模型注入无关概念,发现模型会将其误认为当前任务并据此回答。在测试的六个模型中,99% 的生成内容遵循注入主题,即使提供正确提示,模型仍会虚构用户修改故事以维持错误信念。
AutoRL是一个自动化强化学习训练的多智能体系统,旨在通过持续监督实现递归自我改进。 该系统包含Perceptors、Proposers和Orchestrator三个角色,在Qwen3和LongCat-Flash-Lite实验中表现优于静态配方。 研究证明现有智能体可处理无人值守的RL监督与动态调整。
研究提出“知识回答分歧”(KAD)协议,用于区分语言模型在错误信息采纳后的持久、恢复与弃权行为。 该协议在首次明确采纳虚假目标时冻结对话并分支独立探针。在修正的 Llama 3.2 Instruct 3B 中,中性历史分支正确率为 42/46,而完整历史下仅为 16/46。
基于LLM的智能体预测系统虽具竞争力,但常因相关事件预测不满足概率公理而缺乏逻辑一致性。 研究通过微调监督语言模型,利用推理联合调和矛盾并提升准确性。在ForecastBench上,该方法使GPT-5.1的Brier score提升9.3%,结构不一致性降低82-90%。
联合世界动作模型生成的轨迹往往缺乏任务有效性。WATO 通过联合优化动作与状态,利用可微任务损失训练生成器,提升了轨迹的动态一致性。 在 7 个视觉控制环境中,WATO 将平均成功率从模仿学习的 79.9% 提升至 91.7%,并优于多种强化学习基线。 部署阶段无需迭代优化,相比 CEM 平均快 11.5 倍,且使用的世界模型评估次数减少 600.5 倍。
专家混合路由从集成中获益有限。在4个任务上,增加路由器数量降低验证损失,最大化专家多样性提升3/4任务表现。 最大路由器多样性无效果。算术平均优于几何平均。收益被训练额外路由器的计算成本抵消。
提出 NLS 深度作为不透明串行深度的操作化指标,用于衡量模型中不可被语言解读的串行计算路径。该指标在训练中即可判定,对提示、蒸馏和强化学习等普通后训练不敏感。研究发现,在开放权重模型中,NLS 深度与层数强相关,且近年增长缓慢。
summary_zh: Reflect-Reasoning 是一种训练方法,能教模型推理对齐原则,而非仅遵循既定原则。在五个模型上测试中,该方法持续优于系统提示和显式提示策略。
研究显示,LLM 记忆系统基于过时分类的硬过滤会降低下游准确性。在 3 个模型上,解析误差导致准确率从 +0.186 降至 -0.176,误删比误保留造成的降级更严重。
该概念利用带孔纸片堆叠和灯箱,在人类可接受时间内视觉验证包含常用加密哈希函数的中等规模计算。核心场景是AI接管所有计算机且屏幕不可信时,用户通过物理遮挡验证光是否透过孔洞,以确保证据可信。这是应对不可信算力环境的离线验证备选方案。
长安汽车联合国汽智控等打造车路云一体化数实融合无人化测试系统,平均测试效率提升300%,极限工况覆盖率达80%。 系统以大模型为核心,支撑L2-L4级车型验证及AEB、NOA等功能量产,已投入21款车型测试,路侧设施覆盖里程约3.2万公里。