Qwen3.8-27B 神经元中的原型语境:智能的架构?
研究在 Qwen3.8-27B 中验证了模型将关系模式与主题域分离,发现“原型”、“主题”和“语言”分别由不同神经元集承载。 预训练过程中,模型层自组织成“三明治”结构:外层处理语言,中层处理主题,核心层处理原型;该结构在映射的所有模型中均自发出现。 该结构被认为是类比智能的机制,论文已发布神经元集、文本及代码等复现包供他人验证。
研究在 Qwen3.8-27B 中验证了模型将关系模式与主题域分离,发现“原型”、“主题”和“语言”分别由不同神经元集承载。 预训练过程中,模型层自组织成“三明治”结构:外层处理语言,中层处理主题,核心层处理原型;该结构在映射的所有模型中均自发出现。 该结构被认为是类比智能的机制,论文已发布神经元集、文本及代码等复现包供他人验证。
提出AttnSR方法,通过追踪策略模型注意力图估计早期步骤相关性,无需额外奖励模型即可实现步骤级奖励增强。 在Qwen2.5-7B-Instruct上的ALFWorld实验中,AttnSR将最终保留成功率从91.2%提升至97.1%,并在ScienceWorld中减少29.9%的环境交互。
SEVERus 提出一种针对 Rust 验证器 Verus 的游戏化基准生成技术。 它将验证任务组织为“任务”(quests)和“关卡”(levels),通过移除证明上下文来增加难度。 在 6 个开源项目中生成了 819 个任务和 10,095 个关卡;实验显示随着上下文减少,模型成功率下降且成本增加。
该研究在伯努利推理任务中,通过四种文本路径和两种激活级干预,测试了三个开源权重语言模型的信念更新机制。 发现证据格式决定读取方式:结果序列主要影响续写,摘要和比率影响显式估计。不同路径的有效证据权重差异显著,摘要权重随观测数弱扩展。 结果表明,当前读取的一致性不足以确立信念更新的等价性,信念获取与读取方式共同决定其后续动态。
提出DISCERN方法,通过拟合每类参数化分布生成合成嵌入替代保留集访问,实现增量类遗忘。 该方法适配Transformer隐层几何特性,支持高斯、拉普拉斯及冯·米塞斯-费希尔等分布族,并通过统计检验自动选择分布。 在ViT-B/16上经20次顺序删除后调和均值达0.797,显著优于同时设置下降至0.048的最强基线,有效抑制已遗忘类知识重新浮现。
GPT-6 Astra 等模型在审计临床预测网络时,计算能力比直接访问权重更重要。 使用专用计算工具后,模型在 38,401 权重网络中 29 次测试全部正确识别植入关系,且无假警报。 研究发现,黑盒访问效果与白盒相同,验证了计算与提示引导而非权重直接访问的核心作用。
针对扩散大语言模型(dLLM)中块级似然不可计算的问题,研究提出前缀块策略优化(PBPO),利用单步因子化代理定义块似然。 PBPO 在保留块级条件的基础上,对每个 token 单独应用代理重要性加权和截断,并通过重采样腐蚀视图实现多样化更新。 在两个 LLaDA 系列初始化、六个基准测试及三种生成长度的评估中,PBPO 的表现优于现有 dLLM 强化学习方法。
研究者提出 MAO-OMD 算法,在任意未知延迟的平滑零和博弈中,同时实现自我博弈的最优快速收敛率和对抗任意对手的最优 minimax 保证。
ConvPE通过轻量级因果卷积向注意力分数注入窗口化内容依赖偏置,提升了Transformer在语言建模、长上下文扩展及视觉领域的性能与效率。 该方法是即插即用模块,兼容RoPE、注意力掩码及KV拼接,支持高维卷积生成位置嵌入。复现结果显示,ConvPE性能优于五个一维基线和八个二维基线,代码已公开。
提出 SD-OPD 方法,在 5 种 Qwen3 师生配置上将六项数学任务平均 pass@1 提升 7.76-10.37 个百分点。 SD-OPD 以预训练基模为参考,利用中心化学生-基准差异作为更新系数,并保留与教师-学生反馈符号一致的方向。 代码已公开。
该研究提出将大语言模型仅作为特征提取器,用于零样本多元时间序列异常检测。其核心方法是分析特征空间的隔离性,假设异常特征应与正常特征隔离。 该方法使用简单步进分词方案(每时间步一个 token),并采用无监督的 Isolation Forest 评估特征质量。
论文提出名为 VINE 的非参数互信息估计器,基于简化 D-vine copulas。它通过简化联合密度使密度比简化为成对 copula 乘积,实现非参数估计。 该估计器灵活且计算高效,在 SotA 神经互信息估计器对比中表现具有竞争力,适用于低到中等维度数据集。 该方法已被 NeurIPS 2026 接收。
SwarmEvolve 框架在数学与科学计算 21 个问题上取得最高平均分,最优成绩的中位达成时间仅为 3-8 分钟,而其他 SOTA 框架需 60 分钟。该框架让数百低成本智能体在潜在空间推理,通过共享 KV cache 交流,并用新颖性过滤器直接测量隐状态向量距离保留独特想法。
论文提出 StepBack 方法,利用轻量信号定位步骤级首个错误并仅重采样该错误及其后缀,配合多数投票。在七个基准上达到 Self-consistency 准确率,token 使用量最高减少 41.26%。该方法可与 Adaptive Consistency 结合,进一步提升推理效率。
研究显示,在 GPU 训练故障诊断基准测试中,GRPO 带来的分布外收益有限,主要增益来自监督微调。 使用 1,877 个合成任务构建的基准测试中,SFT 达到 0.785 分数,而 60 步 GRPO 仅带来 0.33 点的分布外提升。 该研究以 8.69 美元算力成本完成,所有代码和生成数据已归档,支持完全复现。
论文提出单调可行性学习(MoViL),通过单调有限时域集合递归从离线转移数据学习可行性集合。该方法在安全强化学习基准上取得当前最优的回报-成本性能,并在所有任务中满足平均成本约束。实验验证了该数值准确性,并指出其适用于无可靠动力学模型且在线探索不安全的关键安全系统。
Mamba 模型首个 token 的极限方向吸引后续 token,导致 token 聚类及 attention-sink 现象。 研究者提出基于高维不变盒的新分析框架,证明了 token 轨迹的显式指数收敛率。 Falcon-Mamba-7B 实验证实该聚集效应随模型深度增加而增强,并在深层占主导。
NeurIPS 2026 论文提出基于生成模型的情境完整性(CI)框架,通过 LLM 模拟对话研究信息分享规范。 实验显示,角色在必要时会向非授权方泄露私人信息,而不仅限于正当接收者。 该模型为分析信息分享行为在情境和角色变化下的演变提供了方法。
LeanContext 基准包含 129,826 个 Lean 整体证明生成问题,发现训练包含数学上下文(MC)时,被选声明的优势更大。 该基准支持交叉训练与推理评估,在 2,000 个目标上,优先处理缺失声明使 LLaDA 和 Llama 的 Pass@32 分别提升 1.40% 和 1.70%。
研究在 Qwen3-VL-8B-Instruct 上考察视角模拟如何重塑内部表征,发现提示框架对表征的影响强于身份,而身份对行为判断影响更大。 在 100 张图像和 53 种条件下,早期层编码图像身份,后期层形成角色结构;最小身份声明可改变表征而不改变响应。 结果证明表征距离不必然反映行为相关性,揭示了人工认知系统中内部几何结构与功能后果的根本区别。
大语言模型在数学运算中出现的符号错误由网络后 25% 的 MLP 层决定,且定位不必然带来可控性。 研究人员测试了 Qwen、Llama、Gemma 等 6 个开源模型,发现 Llama-3.3-70B 的干预可纠正 13/14 的错误,但 Phi-4 因冗余电路几乎无法通过相同手段翻转结果。
SMART 多智能体框架通过捕获问题上下文中参与实体的隐式状态来获取知识,并利用多样化且互补的前提提升复杂科学声明的验证性能。 该框架使用多种 LLM 和基于角色的结构化提示策略策划状态知识,在 3 个数据集上将验证准确率最高提升 20%。 研究显示,将前提基于现实世界知识是必要的,并能带来最高 5% 的额外性能提升。
BabyTheorist 提出新基准以评估机器从纯观察中获取可复用理论的能力,解决现有视觉推理基准主要侧重应用而非学习的局限。 该基准通过隐藏的组合程序生成前后视觉流,训练时不提供程序标签。 七个代表性基线表现远低于上限,且差距随课程进度扩大,证明其隔离了当前方法尚未解决的观测理论学习能力。
新提出的 Test-Time Self-Play (TTSP) 方法通过非对称自我博弈实现测试时扩展,且不依赖验证器。 在 LiveCodeBench v6 难度校准子集上,TTSP 在所有测试的验证器强度下均表现最佳。 无验证器极限情况下,TTSP 使 mean@8 绝对提升 35%,且验证器越弱优势越明显。
论文提出了 TCSExam,一个覆盖定理证明、求解器工程、构造及解决未解难题的理论计算机科学评测基准。基准包含 100 道专家审查任务,验证结果由 Lean kernel 或可执行检查器确认。评测显示 GPT-6 Astra 在全量版得分最高为 71.9,Opus 5.5 在轻量版得分最高为 72.3,两者排名高度一致(Spearman's ρ=0.93)。
WeightLoop 框架利用 GPT-6 Astra 编写有界的参数编辑程序,将实验反馈转化为部署预测器的持久更新。 该框架在离线回放中,针对八种端点预算设置中的七种,通过定向编辑提升了平均排名效用。 此方法使实验证据直接驱动模型变化,且无需额外的 LLM 调用或梯度再训练。
研究人员提出免训练方法 Circe,利用内部信号(CIC、RG)与外部信号(LC)融合评估 LLM 响应正确性,无需参考答案或重复采样。 CIC 测量早期层注意力更新与后期层注意力诱导的 FFN 输出变化之间的方向对齐度,RG 刻画层间隐藏状态轨迹的几何变化。 该方法在五个 LLM 和四个领域的六个基准上表现出优于现有基线的区分能力,并泛化至多语言及多模态场景。
提出免训练的推理过程 Adaptive Semantic Branching(ASB),利用跨轨迹分歧进行定向候选生成。 在 Qwen2.5-7B-Instruct 的 500 道 MATH 评测中,ASB 将 oracle 候选覆盖率从 89.0% 提升至 91.0%,平均每题增加 8.152 次生成调用。
提出免训练框架 GuidedWAM,在采样时向冻结的自动驾驶世界动作模型注入驾驶目标,无需重新训练。 构建可微能量作用于采样器中间动作估计,通过引导调度和速度受限修正稳定生成;在 NAVSIM v2 hard-split 上使公开模型 EPDMS 提升 1.8 至 3.6,单步采样时间增加不足 10%。 将能量引导确立为 WAM 的实用后训练控制通道。
一种两阶段“生成后排序”方法实现了具身智能体的目标解释,优于基础提示和思维链等基线模型。 方法使用 CORE 从模型自身生成的备选项中学习偏好;在家庭场景基准中测试了 DeepSeek-V3 chat、Qwen2.5-7B 和 Qwen2.5-72B 等开源 LLM。 论文被 ECC 2026 接收,涵盖人工智能、计算与语言及机器人领域。
TriAttention 将 Query-Key 瓦片分配至跳过、4-bit 或 8-bit 计算,长上下文生成速度提升最高 7.88 倍。 该方法通过两条对角距离边界编码计算区域,保持策略存储独立于上下文长度,并在解码阶段复用量化 Key-Value 缓存。 实验显示其在通用及长上下文任务上保持与原模型相当的质量。
将 A-life 智能体的神经网络策略蒸馏为紧凑的符号策略,通过 Transformer 替代传统搜索方法,大幅加速了蒸馏过程。 Transformer 架构通过神经架构搜索得出,预训练数据为随机感知-动作数据,实证结果展示了不同蒸馏方法及符号空间对种群动力学的影响。
D^2-OPD 将 On-Policy 蒸馏中的外推方向与距离解耦,通过固定 KL 约束限制目标偏移,并结合教师策略更新与初始差距确定方向。 该方法在三种数学推理场景下均取得最高分,较最强基线提升最多 9.45 分,验证了各组件的有效性。
本研究提出了 Skillware,一种开放架构框架和能力注册表,它将逻辑系统想要执行的任务与执行该任务的方法在形式上分离。Skillware 通过模块化、版本化的软件能力束来增强模型,而非依赖松散的文本指令或 Prompt 工程。
FlashOffloading 提出一种基于主机 DRAM 的推理架构,将 LLM 服务中 prefill 和 decode 阶段的 KV cache 完全卸载至主机内存,在 30 ms TPOT SLO 下分别将 GLM-5.2 + MTP3 推测解码的 prefill 吞吐提升 1.38×、decode 吞吐提升 1.91×。
论文提出GNN-LBBD算法解决车站内列车重调度问题,结合分布鲁棒模型与逻辑Benders分解。算法利用图神经网络引导子问题求解顺序,构建条件割。 在28个测试实例中,该算法平均总完成延迟为61.13列车分钟,比禁忌搜索低16.63%,比变邻域搜索低20.06%。利用中断恢复观察数据可减少约21.7%的平均总完成延迟。
主动智能体的信息获取中,单步隐变量分数在编码决策时可替代多数前瞻深度,且计算成本更低。 该分数对隐变量标签的敏感度高于对答案交互的捕捉,同一问题因描述方式不同可能导致单步分数失效而精确值不变。 若从一个语言模型学习概率用于另一个模型,需规划允许两者共存,仅靠 Token 读取概率仅值几个标签。
提出SAVeR²方法,通过分解安全目标为四个可验证奖励信号并引入梯度投影机制,消除安全税。 实验覆盖1.5B至671B模型,证明其在多个基准测试中实现更优的安全性,且显著降低过度拒答率,不损害通用推理能力。
针对复杂任务中智能体难以从噪声奖励信号中泛化的问题,本文提出指示性策略学习(PPL),直接教导智能体高层行为原则。 PPL 利用关键量和参考系指示智能体每一步是否遵循原则,无需任何奖励信号。 实验表明,仅接受简单启发式原则教学的 PPL 智能体以极少样本超越基于奖励的方法,且策略可直接迁移至更难场景。
研究提出可扩展贝叶斯高斯过程分类框架,基于 Phikon 嵌入和 RPCholesky 加速计算,在约 30 万训练点下实现可处理的 HMC 后验采样。 框架在 PCam 和 CAMELYON17-WILDS 基准测试中,将期望校准误差降低最高 88%,假阴性率降低最高 90%,在分布偏移场景下效果显著。