PANO 并行隐空间神经算子求解偏微分方程
提出 PANO 神经算子,通过并行隐空间共享参数建模物理交互,在九个基准上达到 SOTA 性能。 该方法包含 CAP 编码解码映射及 PaLA 跨空间注意力层,Unilateral Stamping 误差降低 28.3%,AirCraft 误差降低 21.4%。 代码已开源,涵盖不同几何与观测规模的物理系统。
提出 PANO 神经算子,通过并行隐空间共享参数建模物理交互,在九个基准上达到 SOTA 性能。 该方法包含 CAP 编码解码映射及 PaLA 跨空间注意力层,Unilateral Stamping 误差降低 28.3%,AirCraft 误差降低 21.4%。 代码已开源,涵盖不同几何与观测规模的物理系统。
针对循环扩散 Transformer,LoopPrune 提出结合重要性估计与权重补偿的剪枝恢复框架。 在 30% 结构化参数剪枝下,Looped-DiT B/16 保留 93.14% 的平均准确率,较最优基线提升 9.49%。SDXSv3 在推理后端中减少 34.36%-44.64% GPU 显存占用,加速 1.46-1.74 倍。
在线共形预测中,满足硬性覆盖约束的最小累积额外预测集大小在固定时间、最大期望成本及最坏情况下分别为 $\Theta(\log T)$、$\Theta(T^{1/3})$ 和 $\Theta(\sqrt{T})$。 这些速率可通过利用历史得分实现,无需已知得分分布,且即便拥有总体最优预测集的完美知识,该效率代价依然持续存在。
ReMaRL 提出一种约 0.3M 参数的轻量级策略,利用 GRPO 算法在冻结 LLaDA-8B-Instruct 模型上学习解掩码与重掩码决策。 该策略在数学任务 4-32 次及代码任务 8-16 次模型调用预算内,取得了优于对比策略的最终答案准确率。
PhysScope 推理时视觉架构支持自校正物理作用域错配,无需更新模型权重。 它显式约束状态与物理作用域,检查修正并维护作用域感知工作记忆。 在 PhysAlign 上六款 VLM 均优于直接求解,Gemini-3.8-flash 超 Canvas-CoT 9.34 个百分点。
论文提出 Fair Bubble Sort (FBS) 算法,实现无需离散化的连续敏感属性公平排序,获证在无权重 Kemeny 距离下精确最优。 FBS 基于目标相邻交换实现后处理,运行时间取决于所需交换次数;实验显示其可扩展性强且 Pareto 前沿优于离散化基线。 该成果已被 NeurIPS 2026 接收,代码已公开。
针对基于流视觉-语言-动作(VLA)策略的强化学习后训练,提出结合 Outcome-Balanced PPO 与策略诱导流整流的方法,以提升模拟操作基准的任务成功率。 Outcome-Balanced PPO 基于任务成功率重新加权正优势,并调整正负优势幅度;策略诱导流整流通过拟合当前策略生成的 ODE 端点对,周期性刷新随机转换中的速度场几何表征。
提出 FLCVA 框架以全面审计自适应推理中的计算成本与收益。 在 GSM8K 和 MATH-500 测试中,随机 256-token 续写可修正 Qwen3-8B 26.6% 的错误答案,但 DeepSeek 模型仅 18.9%。 FLCVA 被 EACL 2027 接收,用于分离测量、预测及计算分配三个阶段,验证了轻量控制器的局限性。
公开 LLM 排行榜的头部模型分数存在系统性高估,源于排名机制奖励了采样运气。研究提出 RULER 框架,利用 m-out-of-N bootstrap 修正排名诱导偏差。
研究者提出 ToR-OT,一种基于 transformer 的模型,通过自回归 token 回归预测离散最优传输(OT)计划。 ToR-OT 将 OT 重构为结构化序列生成任务,解码器仅预测非零项,利用精确离散解的稀疏性避免输出密集耦合矩阵。 该模型旨在探索自回归 transformer 学习受限优化问题结构的能力,目前尚不能替代经典求解器。
提出轻量级架构修改EchoMoE,通过传输压缩差异替代完整隐藏状态,将MoE模型跨节点通信量减少58%,吞吐量提升22.6%。 该方法仅需约8500倍少于全预训练的token进行微调,支持量化通信且对vLLM有推理集成,18个基准测试平均性能损失控制在3.8个百分点内。
论文建立了噪声无关去噪生成的优化框架,将生成过程解释为固定对数密度景观上的梯度上升,并证明了轨迹在 $O(m\sigma_{min}^2/\tau)$ 内几乎必然收敛至参考流形。 研究推导了源汇恒等式以证明有限分辨率的区域覆盖性,并在仿射构造中识别出能避免记忆化且保留多样性的正带宽机制。 实验结果证实了预测机制,展示了在大步长引导下的鲁棒性提升及与有限数据生成泛化一致的性能增益。
研究提出决策对齐训练后量化(DAQ)方法,通过校准量化器使神经元发射决策与浮点参考对齐,在脉冲Transformer中实现4-bit权值和膜变量量化。 实验在图像分类、语义分割和事件跟踪任务中验证DAQ有效性,在FE108数据集上SDTrack模型达到58.8% AUC和90.9% PR,同时降低66.2%能耗。
TempQuant 通过学习自适应温度与 top-p,显著提升量化大语言模型的生成准确性。 在 3-bit Qwen3-4B 模型上,全局 TempQuant 将 MATH 评测准确率从 34% 提升至 51%。 该方法弥补了量化导致的性能下降,使量化模型行为更接近全精度基准。
在权重空间编程任务中,前沿 LLM 设计出的稀疏表模型在多选题测试集上达到 54.4% 准确率,参数数量比同 LLM 编写的 Transformer 少约 1,800 倍。
该研究通过双阶段离散扩散方法取代下一词元预测,实现了 79 倍推理加速。 模型仅需约 28 小时的游戏数据即可训练,生成高质量且一致的游戏序列。 这一进展降低了实时交互与创意领域应用世界模型的门槛。
研究提出基于确定性退火相变分析的局部稳定性标准,量化聚类对分布偏移的鲁棒性,并获取分裂与合并半径的精确半定规划重构。 其中分裂 SDP 仅含两个标量决策变量,这些凸重构可组合为整个聚类的鲁棒性证书,给出触发阈值的最小结构化偏移大小。
论文构建“三时钟词典”,将十五个非线性动力学概念映射至Transformer层迭代、训练步骤与Token生成,并推导简化模型如Softmax玻尔兹曼分布。 在开源模型GPT-2与Pythia上验证,重复循环逃逸遵循阿伦尼乌斯定律,逃逸温度随生成长度N按$1/\ln N$下降,且训练使各层更具扩展性。 提出十二个开放问题,旨在利用非线性动力学解决语言模型控制难题,当前控制器尚未超越最佳固定温度策略。
PACD 提出一种无需训练的全模态解码框架,通过溯源感知共识机制缓解跨模态幻觉。 该方法包含相关性引导仲裁与基于排名的共识恢复双路径,利用层内模态证据评估一致性。 在 CMM、AVHBench 等基准上相比标准解码最高提升 27.6%,通用音视频推理平均提升 7.7%。
提出 JevRSI 框架,通过 System-1 与 System-2 协作提升决策效率。 采用递归自我改进的模块化 harness,在三个数据集上性能匹配或超越 LLM 智能体。 保留低延迟执行特性,并摊销 System-2 成本。
GPT-6 Astra与Claude Fable 5.1在无梯度下降下直接读写神经网络权重,为拖拉机引导控制器编程。 253参数网络控制车辆沿线弧路径行驶,模型仅通过少量模拟评估即成功修复原网络或从零构建有效控制器,且无需人工干预即可控制真实拖拉机,误差与纯追踪策略相当。
研究人员提出 KVUse 框架,通过将用户画像存储为可复用的 KV 缓存而非文本,解决了 LLM 推荐系统中重复预填充导致的性能瓶颈。 该方法利用自蒸馏训练的 LoRA 写入器生成 KV,并配合自定义调度器隐藏传输延迟。在 Llama-3.1-8B-Instruct 及 InstructRec 数据集测试中,系统吞吐量提升 4.0x-4.5x。
稀疏注意力模型在固定预算下常因选择器低估关键token而损失长上下文检索精度。研究通过校准探针定位到特定"盲点"注意力头,发现全量注意力或4-bit评分器可恢复性能。 在InfLLM-V2和MiniCPM4.1-8B上,该修复方法将多键检索准确率从54.1%提升至97.5%,且保留了84%至89%的TTFT优势。
研究者提出 EviDARL,通过双智能体交替强化学习优化多表问答。 该框架包含证据构建与推理回答两个智能体,在 MMQA 和 TQA-Bench 基准测试中显著优于现有模型。
针对环境在部署间发生稀疏变化的折扣强化学习问题,提出一种自适应复用历史观测的算法。 算法按状态-动作对动态选择重用多少历史数据,通过一致性检验确定最佳观测窗口。 理论证明当状态空间规模与变化率乘积满足条件时,仅需最近 O(1/ε) 次部署数据,即可实现长期平均差距为 Õ(√(ε/H)) 的性能。
研究团队提出 Learned Pseudo-Count MCTS(LPC-MCTS),通过改进 UCT 的探索统计量,解决传统 MCTS 中计数碎片化导致的探索效率低下问题。
26B 参数 MoE 扩散模型在带宽受限加速器上解码时,量化后 logits 采样流水线取代专家 GEMM 成为最大耗时来源。 该流水线处理 S 倍冗余 logit 条目,通过双层无损优化和 W4A16 专家内核,在 GSM8K、HumanEval、MATH 基准测试精度不变的情况下,实现 2.4-2.7 倍端到端加速。 该性能瓶颈特定于 MoE 扩散模型,代码和量化权重已开源。
SpecSearch 是一款硬件感知的推测解码搜索引擎,在 RTX 5090、H100、L40 和 MI300X 上平均实现 2.01 倍 AR 解码吞吐量,较 vLLM 推测解码快 1.36 倍。
VisHead-Spec 提出头路由视觉注意力机制,解决多模态推测解码在高并发下加速比下降问题。 该方法在 Qwen3-VL-8B 模型中,让推测解码器 40 个 KV 头中的 8 个读取图像特征,其余仅关注文本。 在 batch size 64 时,其吞吐量比自回归解码提升 16.0%,显著优于 DSpark 的 9.5%。
引入 RSC 方法,通过添加反向 KL 散度罚项稳定异步强化学习,结合截断重要性采样(TIS)可在同等采样响应下获得更高训练奖励。 在数学推理和涵盖在线购物、工具使用等六大智能体基准测试中,RSC 配合 TIS 显著提升了样本效率。 在 AppWorld 任务上性能提升 14.3%,在 BabyAI 上达到最强基线分数的 9.9 倍。
研究人员提出“保真度后悔值”以衡量仿真器误设,覆盖 21,362 个设计和 5 种门库,72 个单元的归一化平均后悔值为 0.369,仅 6 个为零。 该指标揭示验证器与物理性能目标间的差距,固定重评分规则可将平均超额后悔值降至 0.016,相比廉价仿真器选择的 0.305 显著提升。 该框架为科学领域中检测并缓解数字孪生与真实物理目标偏差提供了可迁移方案。
研究为 LLM 对齐方法提供理论基础,证明 DPO 边际在梯度流极限下呈 $O(\log t)$ 无界增长,而 IPO 收敛至 $1/(2\tau)$。 实验验证 DPO 在标签噪声下发生定性相变,且 SimPO 加入平滑 $\varepsilon$ 后存在有限吸引子。该理论在 5 个模型族、4 个基准上通过验证,并推导 TPO-S 在 IFEval 取得最高均值。
研究发现,基于归因的剪枝在推理语言模型中测量不可靠,评分最终答案 token 会导致模型困惑度上升或准确率下降 27.6 至 32.2 分。 因果重要性无法定位到单个神经元,需以约 100 个神经元的组为粒度进行归因,且“推理特异性”重要性与通用重要性不可分离。 建议剪枝时应以推理 token 为评分对象,并优先使用准确率而非困惑度评估模型性能。
论文提出 DeltaHarness,一种执行引导的策略搜索方法,通过冷启动测量自适应智能体执行框架。在固定调度的视频编辑任务中,修订后的物化策略使完整交付延迟降低 30.0%。 在未留出任务上,进化策略使延迟分别降低 8.2% 和 4.6%。独立确认面板用于控制策略替换,以解决运行时不确定性。
论文指出高温下 long-context 生成受限于采样器,测试 29 个开源模型后发现 top-nsigma 采样器能保持候选词池稳定,避免性能崩塌。在 temperature 2 下,top-p 和 top-k 采样器在 SWE-bench Verified 上解决 0/100 个 GitHub 问题,而 top-nsigma 解决 46 至 62 个。
MathEye 框架将 LLM 生成的不完美证明转化为经完整验证的 Lean 证明。 核心机制采用天使执行(angelic execution),通过 MaxSAT 优化确定最小必要证明义务,在分析和代数的 30 个基准测试中解决 93.3% 问题。 该方法将用户交互次数减少 55%,在保留证明结构的同时降低了人工修正成本。
研究发现推理模型继续思考可能因承诺与结论概率差异导致正确答案丢失,在 MATH-500 基准上 DeepSeek-R1-Distill-Qwen-1.5B 平均损失 3.6 分。
研究者提出 DNeo,通过 Mixture-of-Features Attention 机制实现比 SoTA(DFlash-2)快 1.3 倍的生成速度,且不增加草稿模型体积或降低质量。 MoFA 引入工作记忆编码被拒提案,结合 2-tap 因果卷积、前缀交叉注意力及非均匀目标层选择,解决标准特征编码有损、无记忆及特征采样均匀的局限。
arXiv 论文提出语言模型可通过自身推理在无梯度和无训练情况下重写权重以实现自我改进。27B 模型在 490 道未见过的题目上准确率提升 6.6 点,且能在 8 次会话中持续累积收益。该能力还能修复受损模型副本,将六个图像基准测试的准确率从 7% 提升至 70%,并且随模型规模扩大而显现。
推荐理由:研究展示了模型利用自身推理无梯度编辑权重的可能性,其准确率提升效果可迁移至未见过的测试场景。
基于 METR 关于 Anthropic AI 加速的报告,作者构建了一个三步骤 AI 研究模型,认为有效性(Validity)是比传输(Transfer)更难监督且更难优化的任务。