用户嵌入是可解释行为模式的叠加
研究发现用户嵌入可被理解为可解释行为模式的稀疏叠加,该结构由生成模型预测并符合叠加假设。 通过稀疏自编码器(SAE)恢复模式,在合成数据上表现优于经典稀疏基线,并支持零样本受众检索。 该框架事后处理且模型无关,无需修改上游嵌入系统,已获 NeurIPS 2026 接收。
研究发现用户嵌入可被理解为可解释行为模式的稀疏叠加,该结构由生成模型预测并符合叠加假设。 通过稀疏自编码器(SAE)恢复模式,在合成数据上表现优于经典稀疏基线,并支持零样本受众检索。 该框架事后处理且模型无关,无需修改上游嵌入系统,已获 NeurIPS 2026 接收。
在随机网络中,$\varphi$ 在 4-53 次试验内可从内部记录区分不同机制。 部分观测会导致精度下限,且机制微小变化在 99% 的边界处引起 25-100% 的 $\varphi$ 值突变。 该研究确立了 $\varphi$ 可测性的计算边界,证明其作为设计问题存在可解答案。
研究者开发出 MAEM,通过无标签 RL 优化将残差流方向映射至激活文本示例,实现可验证的解释。 Qwen3.6-27B MAEM 在多数领域优于语料库搜索,能激活 89% 的 SAE 特征,并识别 LoRA 后门有效载荷。
论文提出 RELOAD 方法,通过在预训练编码或解码器的中间块添加衰减循环并配合轻量控制器自适应选择路径次数,提升有类型决策模型的推理能力。 在 0.4B 至 4B 参数的六个模型上测试,循环训练显著提升了精度与校准效果,编码器精度最高提升 23 分。这种提升源于模型处理比训练时更长的推理链,且控制器以约四分之三的算力保留了大部分收益。
summary_zh: GraphMuon 提出了一种图感知优化器,通过适应 Muon 的矩阵更新以匹配图传播输入的协方差结构。 该优化器在正交化时使用由传播表示定义的度量,并按更新对层表示的诱导效应归一化步长。
Muir提出敏感度分配门控与匹配滤波器读出机制,在166M-1.34B参数规模下将困惑度较Transformer降低2.5%-3.6%。 该模型在1.34B规模下多跳召回超越基线,且以4K训练长度外推至10M token流无困惑度漂移,训练速度较Transformer快2.7倍。
StrataFlux 框架通过选择性精度流恢复低比特量化丢失的精度,Llama-3.1-8B-Instruct 2-bit 权重下 WikiText-2 困惑度从 9.46 降至 8.40。
在 Qwen3-30B-A3B 模型中,基于稀疏自编码器(SAE)的分析表明 MoE 专家贡献度远集中於路由门控。 研究发现大多数潜在特征由一两个专家主导,形成如 Java 与前端代码、几何与算术等细粒度的分工。SAE 模型及代码已开源。
研究测试 Claude Opus 5.5 处理约 125,000 参数卷积网络的权重,发现其解读依赖局部算术与记忆而非权重流追踪。 模型在识别 CIFAR-10 等熟悉数据集时表现准确,但面对快食、SAT-6 等非常见数据时出现误判,表明其依赖先验知识。 该结果为零样本权重阅读提供了审计协议,澄清了大语言模型在权重空间编程中的实际能力边界。
QRAE 通过稀疏证据评估头在线压缩 DeepSearch 智能体上下文,平均提升任务成功率 2.35 个百分点,降低延迟 30% 和 token 使用量 45%。 该方法利用无查询对照与归一化熵筛选高分证据块,无需修改注意力算子或额外生成压缩,效果可泛化至近 100B 参数模型。
DMGT将决策模型用于初始化强化学习策略,让智能体在稀疏奖励任务中首次交互即获取奖励。 该方法结合了决策模型无需训练即可行动与强化学习依靠奖励优化的优势,实验表明其在7个任务中表现均优于纯强化学习。 消融研究为向决策模型描述环境和任务提供了指南,解决了探索困难与样本低效问题。
研究在 Qwen3.8-27B 中验证了模型将关系模式与主题域分离,发现“原型”、“主题”和“语言”分别由不同神经元集承载。 预训练过程中,模型层自组织成“三明治”结构:外层处理语言,中层处理主题,核心层处理原型;该结构在映射的所有模型中均自发出现。 该结构被认为是类比智能的机制,论文已发布神经元集、文本及代码等复现包供他人验证。
提出AttnSR方法,通过追踪策略模型注意力图估计早期步骤相关性,无需额外奖励模型即可实现步骤级奖励增强。 在Qwen2.5-7B-Instruct上的ALFWorld实验中,AttnSR将最终保留成功率从91.2%提升至97.1%,并在ScienceWorld中减少29.9%的环境交互。
SEVERus 提出一种针对 Rust 验证器 Verus 的游戏化基准生成技术。 它将验证任务组织为“任务”(quests)和“关卡”(levels),通过移除证明上下文来增加难度。 在 6 个开源项目中生成了 819 个任务和 10,095 个关卡;实验显示随着上下文减少,模型成功率下降且成本增加。
该研究在伯努利推理任务中,通过四种文本路径和两种激活级干预,测试了三个开源权重语言模型的信念更新机制。 发现证据格式决定读取方式:结果序列主要影响续写,摘要和比率影响显式估计。不同路径的有效证据权重差异显著,摘要权重随观测数弱扩展。 结果表明,当前读取的一致性不足以确立信念更新的等价性,信念获取与读取方式共同决定其后续动态。
提出DISCERN方法,通过拟合每类参数化分布生成合成嵌入替代保留集访问,实现增量类遗忘。 该方法适配Transformer隐层几何特性,支持高斯、拉普拉斯及冯·米塞斯-费希尔等分布族,并通过统计检验自动选择分布。 在ViT-B/16上经20次顺序删除后调和均值达0.797,显著优于同时设置下降至0.048的最强基线,有效抑制已遗忘类知识重新浮现。
GPT-6 Astra 等模型在审计临床预测网络时,计算能力比直接访问权重更重要。 使用专用计算工具后,模型在 38,401 权重网络中 29 次测试全部正确识别植入关系,且无假警报。 研究发现,黑盒访问效果与白盒相同,验证了计算与提示引导而非权重直接访问的核心作用。
针对扩散大语言模型(dLLM)中块级似然不可计算的问题,研究提出前缀块策略优化(PBPO),利用单步因子化代理定义块似然。 PBPO 在保留块级条件的基础上,对每个 token 单独应用代理重要性加权和截断,并通过重采样腐蚀视图实现多样化更新。 在两个 LLaDA 系列初始化、六个基准测试及三种生成长度的评估中,PBPO 的表现优于现有 dLLM 强化学习方法。
研究者提出 MAO-OMD 算法,在任意未知延迟的平滑零和博弈中,同时实现自我博弈的最优快速收敛率和对抗任意对手的最优 minimax 保证。
ConvPE通过轻量级因果卷积向注意力分数注入窗口化内容依赖偏置,提升了Transformer在语言建模、长上下文扩展及视觉领域的性能与效率。 该方法是即插即用模块,兼容RoPE、注意力掩码及KV拼接,支持高维卷积生成位置嵌入。复现结果显示,ConvPE性能优于五个一维基线和八个二维基线,代码已公开。
提出 SD-OPD 方法,在 5 种 Qwen3 师生配置上将六项数学任务平均 pass@1 提升 7.76-10.37 个百分点。 SD-OPD 以预训练基模为参考,利用中心化学生-基准差异作为更新系数,并保留与教师-学生反馈符号一致的方向。 代码已公开。
该研究提出将大语言模型仅作为特征提取器,用于零样本多元时间序列异常检测。其核心方法是分析特征空间的隔离性,假设异常特征应与正常特征隔离。 该方法使用简单步进分词方案(每时间步一个 token),并采用无监督的 Isolation Forest 评估特征质量。
论文提出名为 VINE 的非参数互信息估计器,基于简化 D-vine copulas。它通过简化联合密度使密度比简化为成对 copula 乘积,实现非参数估计。 该估计器灵活且计算高效,在 SotA 神经互信息估计器对比中表现具有竞争力,适用于低到中等维度数据集。 该方法已被 NeurIPS 2026 接收。
SwarmEvolve 框架在数学与科学计算 21 个问题上取得最高平均分,最优成绩的中位达成时间仅为 3-8 分钟,而其他 SOTA 框架需 60 分钟。该框架让数百低成本智能体在潜在空间推理,通过共享 KV cache 交流,并用新颖性过滤器直接测量隐状态向量距离保留独特想法。
论文提出 StepBack 方法,利用轻量信号定位步骤级首个错误并仅重采样该错误及其后缀,配合多数投票。在七个基准上达到 Self-consistency 准确率,token 使用量最高减少 41.26%。该方法可与 Adaptive Consistency 结合,进一步提升推理效率。
研究显示,在 GPU 训练故障诊断基准测试中,GRPO 带来的分布外收益有限,主要增益来自监督微调。 使用 1,877 个合成任务构建的基准测试中,SFT 达到 0.785 分数,而 60 步 GRPO 仅带来 0.33 点的分布外提升。 该研究以 8.69 美元算力成本完成,所有代码和生成数据已归档,支持完全复现。
论文提出单调可行性学习(MoViL),通过单调有限时域集合递归从离线转移数据学习可行性集合。该方法在安全强化学习基准上取得当前最优的回报-成本性能,并在所有任务中满足平均成本约束。实验验证了该数值准确性,并指出其适用于无可靠动力学模型且在线探索不安全的关键安全系统。
Mamba 模型首个 token 的极限方向吸引后续 token,导致 token 聚类及 attention-sink 现象。 研究者提出基于高维不变盒的新分析框架,证明了 token 轨迹的显式指数收敛率。 Falcon-Mamba-7B 实验证实该聚集效应随模型深度增加而增强,并在深层占主导。
NeurIPS 2026 论文提出基于生成模型的情境完整性(CI)框架,通过 LLM 模拟对话研究信息分享规范。 实验显示,角色在必要时会向非授权方泄露私人信息,而不仅限于正当接收者。 该模型为分析信息分享行为在情境和角色变化下的演变提供了方法。
LeanContext 基准包含 129,826 个 Lean 整体证明生成问题,发现训练包含数学上下文(MC)时,被选声明的优势更大。 该基准支持交叉训练与推理评估,在 2,000 个目标上,优先处理缺失声明使 LLaDA 和 Llama 的 Pass@32 分别提升 1.40% 和 1.70%。
研究在 Qwen3-VL-8B-Instruct 上考察视角模拟如何重塑内部表征,发现提示框架对表征的影响强于身份,而身份对行为判断影响更大。 在 100 张图像和 53 种条件下,早期层编码图像身份,后期层形成角色结构;最小身份声明可改变表征而不改变响应。 结果证明表征距离不必然反映行为相关性,揭示了人工认知系统中内部几何结构与功能后果的根本区别。
大语言模型在数学运算中出现的符号错误由网络后 25% 的 MLP 层决定,且定位不必然带来可控性。 研究人员测试了 Qwen、Llama、Gemma 等 6 个开源模型,发现 Llama-3.3-70B 的干预可纠正 13/14 的错误,但 Phi-4 因冗余电路几乎无法通过相同手段翻转结果。
SMART 多智能体框架通过捕获问题上下文中参与实体的隐式状态来获取知识,并利用多样化且互补的前提提升复杂科学声明的验证性能。 该框架使用多种 LLM 和基于角色的结构化提示策略策划状态知识,在 3 个数据集上将验证准确率最高提升 20%。 研究显示,将前提基于现实世界知识是必要的,并能带来最高 5% 的额外性能提升。
BabyTheorist 提出新基准以评估机器从纯观察中获取可复用理论的能力,解决现有视觉推理基准主要侧重应用而非学习的局限。 该基准通过隐藏的组合程序生成前后视觉流,训练时不提供程序标签。 七个代表性基线表现远低于上限,且差距随课程进度扩大,证明其隔离了当前方法尚未解决的观测理论学习能力。
新提出的 Test-Time Self-Play (TTSP) 方法通过非对称自我博弈实现测试时扩展,且不依赖验证器。 在 LiveCodeBench v6 难度校准子集上,TTSP 在所有测试的验证器强度下均表现最佳。 无验证器极限情况下,TTSP 使 mean@8 绝对提升 35%,且验证器越弱优势越明显。
论文提出了 TCSExam,一个覆盖定理证明、求解器工程、构造及解决未解难题的理论计算机科学评测基准。基准包含 100 道专家审查任务,验证结果由 Lean kernel 或可执行检查器确认。评测显示 GPT-6 Astra 在全量版得分最高为 71.9,Opus 5.5 在轻量版得分最高为 72.3,两者排名高度一致(Spearman's ρ=0.93)。
WeightLoop 框架利用 GPT-6 Astra 编写有界的参数编辑程序,将实验反馈转化为部署预测器的持久更新。 该框架在离线回放中,针对八种端点预算设置中的七种,通过定向编辑提升了平均排名效用。 此方法使实验证据直接驱动模型变化,且无需额外的 LLM 调用或梯度再训练。
研究人员提出免训练方法 Circe,利用内部信号(CIC、RG)与外部信号(LC)融合评估 LLM 响应正确性,无需参考答案或重复采样。 CIC 测量早期层注意力更新与后期层注意力诱导的 FFN 输出变化之间的方向对齐度,RG 刻画层间隐藏状态轨迹的几何变化。 该方法在五个 LLM 和四个领域的六个基准上表现出优于现有基线的区分能力,并泛化至多语言及多模态场景。
提出免训练的推理过程 Adaptive Semantic Branching(ASB),利用跨轨迹分歧进行定向候选生成。 在 Qwen2.5-7B-Instruct 的 500 道 MATH 评测中,ASB 将 oracle 候选覆盖率从 89.0% 提升至 91.0%,平均每题增加 8.152 次生成调用。
提出免训练框架 GuidedWAM,在采样时向冻结的自动驾驶世界动作模型注入驾驶目标,无需重新训练。 构建可微能量作用于采样器中间动作估计,通过引导调度和速度受限修正稳定生成;在 NAVSIM v2 hard-split 上使公开模型 EPDMS 提升 1.8 至 3.6,单步采样时间增加不足 10%。 将能量引导确立为 WAM 的实用后训练控制通道。