论文提出高温下 long-context 生成受限于采样器,top-nsigma 显著提升性能
论文指出高温下 long-context 生成受限于采样器,测试 29 个开源模型后发现 top-nsigma 采样器能保持候选词池稳定,避免性能崩塌。在 temperature 2 下,top-p 和 top-k 采样器在 SWE-bench Verified 上解决 0/100 个 GitHub 问题,而 top-nsigma 解决 46 至 62 个。
论文指出高温下 long-context 生成受限于采样器,测试 29 个开源模型后发现 top-nsigma 采样器能保持候选词池稳定,避免性能崩塌。在 temperature 2 下,top-p 和 top-k 采样器在 SWE-bench Verified 上解决 0/100 个 GitHub 问题,而 top-nsigma 解决 46 至 62 个。
MathEye 框架将 LLM 生成的不完美证明转化为经完整验证的 Lean 证明。 核心机制采用天使执行(angelic execution),通过 MaxSAT 优化确定最小必要证明义务,在分析和代数的 30 个基准测试中解决 93.3% 问题。 该方法将用户交互次数减少 55%,在保留证明结构的同时降低了人工修正成本。
研究发现推理模型继续思考可能因承诺与结论概率差异导致正确答案丢失,在 MATH-500 基准上 DeepSeek-R1-Distill-Qwen-1.5B 平均损失 3.6 分。
研究者提出 DNeo,通过 Mixture-of-Features Attention 机制实现比 SoTA(DFlash-2)快 1.3 倍的生成速度,且不增加草稿模型体积或降低质量。 MoFA 引入工作记忆编码被拒提案,结合 2-tap 因果卷积、前缀交叉注意力及非均匀目标层选择,解决标准特征编码有损、无记忆及特征采样均匀的局限。
arXiv 论文提出语言模型可通过自身推理在无梯度和无训练情况下重写权重以实现自我改进。27B 模型在 490 道未见过的题目上准确率提升 6.6 点,且能在 8 次会话中持续累积收益。该能力还能修复受损模型副本,将六个图像基准测试的准确率从 7% 提升至 70%,并且随模型规模扩大而显现。
推荐理由:研究展示了模型利用自身推理无梯度编辑权重的可能性,其准确率提升效果可迁移至未见过的测试场景。
Amazon SageMaker AI 扩展 AI 数据准备功能,支持生成合成数据、评估数据集及引入专家反馈。 提供自动标注、合成数据生成、数据质量评估及转换能力,可通过 Python SDK 或 AWS AI-ML agent skill 调用。 帮助团队高效构建高质量数据集,减少数据整理时间,加速模型开发与训练流程。
论文通过归纳法证明了 DAG ReLU 网络 pathlifting 雅可比矩阵的秩,并提供了无需反向传播即可计算该矩阵的方法。 该方法利用编码网络路径的稀疏骨架矩阵,将隐层神经元表示转化为输出节点,从而在实验中量化了相较于传统方法的计算增益。
研究者提出 Q-Learner 算法,将二元结果下的比率型条件平均处理效应(CATE)估计简化为两个倾向性分类任务。 在合成与真实随机数据基准测试中,仅对 Q-Learner 的 log-loss 进行标准超参数调优,即可比 S-Learner 更可靠地获取效应排名、水平及分布。 该特性使其特别适用于工业界实践,当倾向性已知时,仅需基于转化者训练单个分类器即可加速开发流程。
研究指出基于准确率的薪酬方案在AI精度提升时面临激励坍缩,即维持人力投入需无限成本。 研究者提出哨兵审计支付机制,可独立于AI精度以有限成本确保人力投入;结合该机制的主动统计推断框架在实验中优化了成本与误差的权衡。
该论文提出了一个用于因果推断的广义贝叶斯框架,直接对因果效应施加先验分布。通过利用基于识别的损失函数更新先验,该框架使现有的基于损失的因果估计器具备完整的不确定性量化能力。 在Neyman正交损失下,该广义后验分布收敛至其 oracle 对应物,并对第一阶段辅助估计误差保持鲁棒性。 这是首个为因果机器学习构建灵活广义贝叶斯后验的框架,该论文已被 NeurIPS 2026 接收。
论文引入邻近遗憾(proximal regret)及邻近相关均衡(PCE),指出经典在线梯度下降算法在未修改情况下即可实现 $O(\sqrt{T})$ 的邻近遗憾最优界。
LiteLMGuard 是针对小型语言模型量化漏洞的轻量级端侧护栏,部署后对有害提示词防御率超 85%,平均延迟约 135 ms。 模型基于 ELECTRA 构建,具备 97.75% 可回答性分类准确率,支持实时离线过滤且架构无关。 该机制有效防御 Open Knowledge Attacks,提升端侧 SLM 安全性。
自适应感知中,提升感知输出未必改善下游决策,甚至可能产生负面影响。 研究提出基准 DEEP 评估感知计算分配,发现 KITTI 和 nuScenes 数据中 34%–54% 改变下游损失的升级具有危害性。 按决策价值而非感知增益选择信号,可平均降低测试决策损失的 7.4%。
研究提出Hawkes-PPO方法解决自主AI代理下的人类接管时机与验证强度问题。该方法利用指数记忆滤波器总结事件历史,在合成实验中目标值优于固定策略和无历史滤波器基线。 模型通过平衡收益与成本优化切换率,验证努力可削弱事件传播。
研究人员提出 MISVO(最微创引导向量优化)方法,通过优化冻结 LLM 隐藏状态的加性干预实现测试时对齐,利用局部 KL 几何推导的二次正则项控制输出分布偏离。
研究指出残差规模并非Δ学习可学习性的充分启发式标准。 以分子总能量为例,用拟合元素计数的神经网络替代线性基线虽降低残差,却使GemNet预测误差翻倍。 规模归一化图Dirichlet粗糙度可作为预训练诊断指标,支持基线互补性作为目标设计原则。
LEON 基于控制机械演化推导潜空间转移公式,引入共享算子矩阵与加法更新实现动力学结构化,替代隐式 Transformer 预测。 模型将预训练视觉特征转化为可观测变量,系数由演化的可观测量和动作上下文推断,以调制算子结构。 在单臂和双臂操作任务中,LEON 在包含多种扰动场景下,相比对应 WAM 基线提升了平均策略成功率,并在受控系统评估中展现出优于训练条件的泛化能力。
CrypTorch 是面向 MPC 机器学习的多阶段编译器,其自动调优器通过动态选择算子近似策略,在不损失精度的前提下将性能提升 1.14–1.60 倍,或在允许 3% 精度损失下提升 1.17–1.92 倍。
研究指出 PDE 发现的事后评估需兼顾预测精度、物理一致性、可解释性及分布外泛化能力,且这些属性往往相互冲突。现有文献多仅关注局部指标,易导致结论偏差及方程排序改变。 作者提出首个 PDE 评估指标分类体系,并发布基于规则的 Pde-Check 协议,指导根据数据可用性和物理先验等场景选择评估策略。
summary_zh: Proxy OPD 提出一种后训练方法,利用目标冻结基策略作为参考,通过代理奖励引导探索生成 token 级对数概率变化信号,实现在线策略蒸馏中跨目标复用奖励诱导改进。
研究提出稀疏 Delta 记忆(SDM),扩展 Gated DeltaNet 架构,利用稀疏寻址方案将门控线性 RNN 隐藏状态容量提升数个数量级。 SDM 用大型显式记忆中的稀疏读写替代密集键值外积。在 isoFLOP 约束及参数数量相同条件下,更高状态记忆容量显著提升了上下文学习和长上下文检索性能。
论文提出中点生成模型(MGM),基于线性插值Flow Matching的对称性,定义中点散度作为分布差异度量。 该方法通过随机翻转插值和对称随机插值泛化散度,并推导变分形式以训练单步生成器,性能优于现有方法。已被NeurIPS 2026接收。
TIDE 架构通过引入非对称兴奋-抑制(E-I)网络替代传统多层感知机,利用 Wilson-Cowan 动力学及侧向抑制机制稳定神经动态计算。 该模型强制 80:20 E-I 平衡比并遵循 Dale 法则,在多数数据集上实现比 CTM 更高的 top-1 准确率且训练预算更小。
研究提出非对比自监督学习方法 PEIRA,通过最优线性回归器迹定义目标,在 ImageNet-1K 上实现 69.17% 线性探测准确率。 该方法稳定均衡点对齐主要非线性正则相关子空间,在 CIFAR-10 等数据集上与 VICReg、LeJEPA 基准具有竞争力,并支持 8 个数据集迁移实验。 结果验证了理论稳定性分析,代码与实验已开源。
研究人员提出一种名为 $\Delta$LPS 的离散朗之万启发式后验采样器,旨在解决离散状态空间中的逆问题。该方法利用梯度信息识别离散移动,且无需离开离散状态空间。
研究人员提出 TAB 方法,将多轮推理建模为多目标马尔可夫决策过程,动态分配计算预算。 在数学推理任务中,TAB 比静态基线减少最高 35% 的 token 消耗和 30% 的延迟。 该方法成功泛化至工具调用和对话等智能体工作流,在保持精度的同时节省资源。
研究通过主动概率推理任务对比人类与 LLM,发现扩展推理主要提升推断性能,对主动采样改善有限。 模型通过可解释参数拟合捕获行为偏差,使模型表现趋近人类的证据积累与信念映射机制,NeurIPS 2026 论文。
研究证明门控注意力矩阵可分解为分层专家混合,其学习可重构为专家估计问题。 结果显示门控注意力比多头自注意力更具样本效率,恢复参数仅需多项级数据,而后者需指数级数据。 该分析为门控注意力缓解 Attention Sink 现象及低秩瓶颈提供了理论依据。
研究团队提出一种轨迹探测协议,通过截断并重新注入部分推理轨迹来评估模型预测答案的动态变化。 该协议应用于 Qwen3-4B/8B/14B、gpt-oss-20b/120b 等七款开源模型及 GPQA Diamond、MMLU-Pro 等四个基准。结果显示准确率随推理 token 比例增加而提升,且强模型常复现弱模型的错误,但允许进一步推理可显著恢复正确率。
提出自适应逐层变换框架,将 LLM 量化中的激活和权重离群值转化为可微分优化问题,并根据权重分布峭度指导逐层选择最优变换。 在 LLaMA-3-8B 模型的 W3A3KV2 低比特量化下,该方法比现有最优方法 FlatQuant 降低高达 4.58 点的困惑度,并将六项零样本任务的平均准确率提升 2.11%。 该工作证明了采用异构逐层变换策略对于实现最优 LLM 量化是必要的。
summary_zh: 提出“结构化思维”方法,通过两轮推理提升 LLM 因果推断。Qwen3.5-27B 在 Corr2Cause 基准上 F1 从 77.5 升至 86.5。
summary_zh: 研究基准测试了变分量子循环神经网络(QRNN)在时间序列预测中的记忆与非线性处理能力。结果显示,量子模型性能与经典模型相当,但经典模型在研究范围内随记忆尺寸扩展性更好。
在线共形预测中,长期覆盖率约束与即时覆盖率稳定性存在权衡。论文证明当长期覆盖率偏差界为 O(T^{-β}) 且 β∈[0, 1/2] 时,可构建两全算法;若 β∈(1/2, 1],则无法同时优化即时覆盖率。该结论揭示了在线预测中鲁棒性与稳定性之间的理论界限。
针对 Shapley 值计算的高昂成本,提出结合分层抽样与联盟杠杆得分的采样估计策略,在 Owen 多线性扩展框架内加速特征重要性分析。 该方法显著降低了指数级偏导数计算的复杂度,在维持解释准确性的同时大幅减少计算开销,适用于大规模机器学习模型的可解释性场景。
论文提出利用二阶心理理论(ToM-2)生成理解陈述,修正教师对学习者知识模型的过时偏差。 在模拟实验中,完美教师引导下的学习者所需学习轮数约为传统学习者主导查询的一半;在四名协作教师交替教学中,ToM-2 陈述能比平均信念陈述更好恢复性能优势。 该研究在 n=101 的人因实验中验证了 ToM-2 陈述在降低 regret 方面优于无信息引导教学,提升了最终奖励对齐度。
该研究证明了对于一阶系统形式的非线性偏微分方程,若满足稳定性与Lipschitz连续条件,最小二乘残差等价于PDE兼容范数下的误差。 验证了单调反应、扩散及压缩Neo-Hookean超弹性模型。在有限元空间中训练神经算子,推理时损失差值可有效估算误差,精度优于网格基线。
研究首次系统分析大语言模型对逆关系方向性的建模能力,基于包含5457个实例、覆盖27类逆关系标签的基准,评测了5个开源LLM。 发现模型在逆关系分类中存在系统性不对称,关系描述未带来一致性能提升,且模型性能对实体表示的变化较为敏感。 该研究已被EACL 2027 Findings接收。
自注意力机制被证明是实空间 Dyson 迭代,其 Boltzmann 核充当二体自能。 该机制能捕捉关联物质中的非局域二体关联,弥补 DeepSets 均值场模型缺陷。 研究阐释了注意力机制在双体相互作用宇宙中有效性的物理本质。
LLM-as-a-Tutor 框架扩展了大语言模型在强化学习中的角色,从仅作为评分者升级为既能识别非挑战性提示词,又能通过添加原子级约束来动态生成更复杂提示词的教育者。
提出利用LLM表征几何学预测概念组合失败的方法,将组合失效归因于显著特征间的干扰。 研究发现,若两个概念近正交编码,模型可可靠组合;若线性编码接近产生干扰,模型则失败。该方法无需评估特定输入即可预判失效模式。 该结果为基础利用几何学识别高风险样本、构建针对性压力测试提供了可扩展框架。