SAM 扰动的统计重放诊断:NeurIPS 2026 Workshop 论文
针对 SAM 泛化机制,本文提出“统计重放”诊断方法,通过局部窗口均值和标准差重放扰动。在 ResNet 18 和 CIFAR 10 实验中,纯重放未能复现 SAM 验证精度,混合重放可接近其性能但未复现训练动态。结果表明,多种简化解释被削弱,但 SAM 的核心机制仍未完全解释。
针对 SAM 泛化机制,本文提出“统计重放”诊断方法,通过局部窗口均值和标准差重放扰动。在 ResNet 18 和 CIFAR 10 实验中,纯重放未能复现 SAM 验证精度,混合重放可接近其性能但未复现训练动态。结果表明,多种简化解释被削弱,但 SAM 的核心机制仍未完全解释。
HARMONIX 框架揭示了局部有效的决策未必能维持人类决策中的上下文关系。 该研究利用 19,745 条记录进行实验,发现综合约束在稳定结构中提高约 5 个百分点的根音程一致性,但在转调跟踪情境下降低近 9 个百分点。 这一结果证明可解释约束可能引入被整体准确率指标掩盖的系统性失败。
Qwen3-4B 通过自提议 Lua 5.1 程序并经解释器标注进行训练,在后续 2340 项新考试中准确率从 8.3% 提升至 16.7%。该流程分三轮增加数据量,累计 3300 条程序;在 27B 智能体及仓库任务上未观察到增益。
针对深度循环模型在自回归解码中内存随深度增长的问题,研究提出结合架构调整与缓存共享以降低内存成本。 具体包括构建循环混合架构、Parcae 风格专用循环工作区,以及引入循环 KV 重放机制,仅允许选定迭代写入 KV 状态供后续复用。 研究发现循环混合架构对注意力锚点频率和循环混合器性能敏感,且循环 KV 重放能在保持性能接近全量缓存基准的同时实现跨迭代共享。
RISE 通过从静态子图转向全规模交互式数据库,解决了现有结构化环境预过滤导致的测量偏差问题。 方法包含决策空间扩展与学习前沿扩展两条轴线,在 19 个基准和 3 种模型基座上进行测试。 结果显著提升领域内及未见模式的知识图谱推理能力,并实现零样本开放领域检索迁移。
研究显示,Claude Sonnet 5.5 和 GPT-6.1-Sol 在忽略窄峰数据的 32 次闭环测试中,采样频率低于随机搜索。 严格遵循模型分歧的代理在全部 32 次测试中均漏掉窄峰,早期探测未测间隙并跟进异常则能实现发现。 仅测当前模型分歧区不足够,提出指向未测区域的新问题是 AI 在假设链中发现的关键。
Ultra-CAN实现单混沌波形驱动下的遥测与测距双功能,支持int8部署。 模型含27.6k-44.2k参数,240MHz微控制器上16.9ms完成突发决策,能量2.2-3.4mJ。 在四个空中集群场景中排名前列,BER低至4.6×10^-4,障碍物识别率66.8%。
研究提出基于间隔正则化的微调方法,在 GSM8K 数据集上将 Token 翻转率降低 35%,分歧率从 53.8% 降至 38.1%。 该方法通过惩罚模型 top-1 与 top-2 logit 间隔至噪声分位的两倍,代价是准确率损失 1.3 至 2.9 分,且不影响确定性所需的 logit 间隔阈值。
提出 Program Distillation (PD) 框架,将 LLM 从 System 2 到 System 0 的能力转移形式化,通过生成可执行程序在部署阶段降低推理时间。
研究表明,在预训练中,原子训练信号的最优权重随推理链长度增加而增大,并随未纳入推理监督的事实比例增加而减小。 该结论在线性 Transformer 及包含 MLP 的全 Transformer 层中均得到验证,且在多跳推理和数学预训练的自然语言设置中确认了推理复杂性与数据覆盖率的调节作用。
研究指出循环模型状态迁移所需的最小连续因果记忆,等于提升系数系统的可达维数减去锚定状态信息。对于可控 d 状态模型,标量输入最多需要 k d 个额外实数坐标,即使矩阵替换方向在流式传输后才揭示。单秩一方向即可要求全部 k d 坐标。 在小语言模型实验中,等记忆三次插值比三阶系数提高了平均状态保真度,但未带来有意义的预测增益。
双向对数线性注意力通过结合正向与锚定序列起点的反向层级,在保持因果性前提下实现了对早期和近期上下文更精细的访问。 在等参数匹配的语言模型测试中,该机制将 RULER 基准下 6144 token 上下文的针在草堆任务平均得分从 26.97% 提升至 50.03%。 多查询关联召回测试中,其平均准确率由 76.37% 升至 96.12%,且优于正向对数线性注意力。
语言模型通过权重空间编程,无梯度下降地手动固定前馈网络所有参数,完成统计推断与目标变量预测。 方法将数据集与网络架构输入模型,直接输出权重与偏置数值,预注册预期分数。测试涵盖玩具问题、合成数据及经典基准,在两个层级击败梯度下降训练的基线。 核心发现是线性分离器训练误差可预测隐层有效性,弥补复合复杂度指数的不足。
研究揭示在线策略蒸馏会重塑大语言模型智能体的 ReAct 交互模式。 跨域蒸馏产生显著迁移效应:通用推理监督将数学工具尝试率从 70.4% 降至 14.4%,但准确率从 16.7% 提升至 38.0%;而 ALFWorld 监督导致 $\tau^2$-bench 准确率从 41.5% 骤降至 6.6%。
针对贝叶斯优化中代理-采集配置选择依赖问题状态的情况,提出任务无关的 LLM 驱动元控制器 STaSBO,将数值计算与策略规划解耦。 STaSBO 包含策略规划与配置选择两阶段,利用结构化记忆优化轨迹。在 12 个合成数学及 10 个工程任务中,平均排名 2.17 和 2.60,优于最强基线的 4.08 和 4.10。
研究发现扰动不一致性、语义熵和解长度等置信度信号与群体问题难度呈强相关,优于 token 级不确定性。 即便限制在模型答对的问题子集,这些信号仍表现出难度区分能力,可作为推理时决策的代理指标。
AGPV 在五个数学推理数据集上实现平均准确率 63.8%,较最强基线提升 13.5 个百分点。 该方法将解题分解为关键声明序列,结合共享数学工具箱与完整性验证,证明了在覆盖充分时的正确性保障。 评测涵盖 DeepSeek、Qwen 及 GPT 四个模型,显示 AGPV 的修复覆盖率高于程序化验证基线。
针对 NVFP4 精度不足,研究提出梯度引导量化方法 FlipQuant。 通过端到端梯度学习二进制格式映射,支持 SM100 硬件原生内核,GEMM 开销中位数为 1.7%。 在 6 个语言模型测试中,FlipQuant 平均闭合了 NVFP4 与 BF16 之间 42.5% 的困惑度差距。 ```
研究探讨临床变量在基于双参数MRI诊断临床显著性前列腺癌AI系统中的作用,基于权重固定的PI-CAI-2B模型添加43项临床变量。 数据涵盖4,540名患者的6,022个MRI病例,4,834个病例用于内部测试,主要终点为内部测试集中AUROC差异,并在5个外部队列验证。
MeltKV 提出内存对齐变比特打包向量量化框架,用于压缩长上下文 LLM 的 KV 缓存。 该框架通过自适应分配分组 Key 通道的比特宽度并共享 Head 级码本,将 KV 表示压缩至 sub-4-bit 至 1 bit 水平。 在可比困惑度下,MeltKV 较 SOTA VQ 方法降低 48.1% 内存使用率和 52.9% 推理延迟。
研究团队提出 Partial-Order Likelihood Policy Optimization (POLPO),利用帕累托主导解决多验证器场景下的策略优化难题。该方法扩展了直接偏好优化的列表似然,无需构建聚合标量奖励,直接学习验证产生的比较关系。在代码生成与指令遵循实验中,POLPO 展示了比标量奖励训练更高的学习效率及完整需求满足率。
HiMX 提出混合尾数框架优化 4-bit 权激活量化(W4A4)LLM 推理,将 Qwen3-8B 平均端到端精度损失从 2.38 降至 1.77。 框架利用 S1P2 与 E2M1 互补特性,针对不同分布权重和激活优化量化,实现统一整数 MAC 阵列。 该异构尾数表示方法在 Qwen3-30B-A3B 上将精度损失从 2.23 降至 1.85,展现 W4A4 推理潜力。
研究人员提出分层强化学习框架 Skill-LR,利用视觉语言模型识别子目标,并通过 LLM 生成匹配的潜在奖励公式。 该框架基于两阶段提示过程,使奖励信号随分层计划演化,降低了时间方差并提升了样本效率。 在 MiniGrid 和 BabyAI 的多阶段基准测试中,Skill-LR 比 RUDDER 等基线收敛更快且更可靠。
该研究提出 Check Token 机制,首次在语言模型生成流中建立内置自我校验。模型通过输出功能标记触发检查、定位、截断与重写,该标记不携带推理内容。 实验基于 Qwen3-32B 和 Qwen3-Next 进行,在 HMMT25 任务上带来 10.8 pp 性能提升,开销系数为 1.13x,token 效率是 Best-of-8 的 88 倍。
研究在6个开源LLM中发现,信念状态可从残差流激活中线性解码,峰值R²值达0.83-0.99。 该结论基于40个非平凡信念结构的隐马尔可夫模型数据,并通过修补与转向干预验证了功能相关性。 结果在表征层面证明,开源LLM的上下文学习近似于对上下文推断生成模型的最优贝叶斯预测。
对 1370 万条 Goodreads 评论的分析表明,推荐系统的满意度信号与 PERMA 幸福指标存在显著差异,且内容特征与幸福的关联强度更高。 研究区分了即时享乐型与持久意义型幸福,发现不同内容语言特征分别与之相关,表明仅基于满意度进行优化可能无法真正促进用户福祉。
研究发现大语言模型中存在基于对比的“颗粒度轴”,该轴在角色空间的主导几何中保持稳定。在Qwen3-8B模型中,该轴与第一主成分(PC1)的余弦相似值为0.972,解释了52.6%的方差。
研究者揭示多模态专家混合模型存在“看见但不思考”现象,即模型能准确感知图像内容,却在后续推理中失败,而纯文本场景下能正确解题。 分析发现视觉专家与领域专家存在层级分离,图像输入在中层诱导了显著的路由偏差,导致任务相关的推理专家未能充分激活。 通过设计路由引导干预方法增强领域专家激活,在六个基准测试中取得一致提升,复杂视觉推理任务最高提升3.17%。
summary_zh: Terminator 提出了一种 LLM 推理早期停止策略,平均削减 14%-55% 的 CoT 长度,且不影响性能。 该策略利用首次出现最终答案的位置构建最优推理长度数据集,在 MATH-500、AIME 2025、HumanEval 和 GPQA 数据集上超过现有 SOTA 方法。
该研究提出一种黑盒可解释性框架,通过原子概念编辑学习可验证宪法,从而解释和控制模型行为。在数学推理任务中,干扰变量使 GPT-5 易混淆,但对 Gemini 2.5 和 o4-mini 影响有限;在文生图任务中,GPT-Image 侧重语法合规,Imagen 4 则优先氛围一致性。使用学习得到的宪法控制模型行为,成功率平均提升 1.86 倍。代码已开源。
研究通过三种方法(零样本提示、少样本提示和监督微调)在 GPT-5、Llama 3.1 8B 和 ModernBERT 上评估关键思维子技能。 微调 Llama 3.1 8B 表现最佳,擅长区分高可分性且标签均衡的子技能,但在细微区分或标签不均衡时性能下降。 该探索性研究为在教育真实情境中规模化评估关键思维技能提供了初步路径。
SmartThinker 提出步骤级Token分配框架 SCPO,通过在线估计各推理步骤对正确率贡献来学习选择性保留或压缩,解决现有全局长度惩罚忽视步骤结构的问题。 该框架引入“推理密度”定义以平衡不同价值步骤的压缩压力,并结合长度偏差修正和难度自适应裁剪提升训练稳定性,在9个域内及域外基准测试中实现了更优的准确率与效率权衡。
论文提出多域对比策略优化(MCPO),通过对比学习解决混合域强化学习中不同领域能力相互冲突的问题。 该方法在关键推理片段定位交互单元,利用互补对比目标实现跨域知识共享与域内巩固。MCPO 比现有方法平均高 3.17 分,并超越单域训练 1.05 分。
研究发布Metacognitive Profile Atlas,收录33个前沿LLM在1,500个MMLU条目上的答案及口头置信度数据,共46,157条有效观测。
针对标准预训练语言模型在对话情感识别中缺乏可解释性且易将少数类误判为中性类的问题,研究者结合模糊指纹技术提出了解释性方法。该方法通过模糊相似函数匹配情感原型,实验显示减少了中性类过度分类,并获人类评估支持,在达到最先进水平的同时揭示了分类过程。
研究引入分层基准 SteerEval,在语言特征、情感和人格三个领域评估 LLM 可控性,发现控制力在细粒度层级显著退化。 SteerEval 将行为意图连接至具体文本输出,划分为表达内容、表达方式和实例化三个层级,为安全可控的 LLM 行为提供解释性框架。
该研究提出统一框架,将 LLM 的 LoRA 微调与激活干预解释为控制信号诱导的动态权重更新。 分析表明,强操控在提升目标概念倾向(preference)的同时,可预测地降低生成连贯性(utility)。 基于此,新方法 SPLIT 在增强操控效果的同时更好地保留效用,代码已开源。
CD4LM 提出可组合框架加速扩散语言模型,在 GSM8K 上实现 5.18 倍加速且保持准确率,叠加缓存加速器后达 9.73 倍。 核心组件 Discrete-Space Consistency Distillation (DSCD) 训练轨迹不变学生模型,结合 ConfidenceAdaptive Decoder 解决静态到动态不匹配。
研究提出利用医疗共识指南生成黄金标准推理链,对 MIMIC-III 进行大规模监督微调。 应用 SOFA、SAPS-II 和 Sepsis-3 指南显示,小型微调模型在推导正确性和 F1 分数上显著优于大型单次提示模型。 单次提示难以产生可靠的逐步推理,且模型在预测未来临床变量时性能普遍下降。
潜在晶格通过引入沿时间递归运行的逐层横向潜在流,在 406M 参数模型上验证困惑度从 15.41 降至 14.40。 该架构与超连接等技术组合可将困惑度进一步降至 13.61,且在混合架构中优于更大原生状态基线。 研究确立持久逐层状态是扩展语言模型计算的互补轴。