Transformer 中声明式与程序式学习的模块级稳定性分析
研究发现 Transformer 中可塑性与稳定性并不镜像对应:QK/VO 投影在程序式任务中最具可塑性,而 MLP 在声明式记忆任务中最具可塑性。 更新 QK 时可保留过半已存声明式记忆,而更新 MLP 和 VO 则分别导致显著更多和约 80% 的损失。 研究揭示可塑性与稳定性依赖于模块功能角色的不同方面,为持续学习提供了任务依赖的模块级视角。
研究发现 Transformer 中可塑性与稳定性并不镜像对应:QK/VO 投影在程序式任务中最具可塑性,而 MLP 在声明式记忆任务中最具可塑性。 更新 QK 时可保留过半已存声明式记忆,而更新 MLP 和 VO 则分别导致显著更多和约 80% 的损失。 研究揭示可塑性与稳定性依赖于模块功能角色的不同方面,为持续学习提供了任务依赖的模块级视角。
新架构 ARISE 通过自评估机制在无需更新模型权重的情况下演化智能体记忆。 基于 SOP-Bench 和 $\tau^2$-bench 测试,ARISE-Teacher 利用 Claude Opus 4.6 归因,相比基线分别提升 10.9 pp 和 5.8 pp,且模型调用减少 4.0%。 该架构在 14 个企业工作流领域验证了可行性,实现了准确性提升与成本控制的平衡。
研究提出推理时接收方条件化澄清框架,解决多智能体系统中不确定性在交接时丢失的问题。 框架通过保留共享前提身份并重放一致解释,确保澄清与资源导航、营养推理及供应侧规划联合支持。 该结构使问题相关性反映决策变化及缺失支持,将澄清连接至共同支持的计划。
论文理论分析了 On-policy Distillation 中目标选择对 Token 优先级、顺序及优化效率的影响。 研究发现序列级 OPD 存在“未来一致性偏差”,导致先匹配后段 Token 的反向学习顺序;前向 KL 散度具有良好优化景观,而反向 KL 等散度易出现梯度消失。
LProp 提出一种潜在不确定性传播机制,在 LLM Agents 中利用潜在表示和新证据修正继承的分布,无需额外轨迹采样。 该方法在选择题、数学推理等任务上优于基线,并在八种传播场景中实现最低的推理 token 平均用量。
TRACE-MAS框架通过归因分析将多智能体系统的根因定位准确率提升60.2%,并实现任务恢复的显著增益。 该框架从良性轨迹学习正常协作模式,检测状态、消息与任务依赖的偏差,并通过源感知归因选择最小干预措施。
研究提出 PIES 方案以极低开销保护二值 Transformer 权重,恢复 BER 高达 10% 时的精度损失。 PIES 利用 Transformer 行列置换不变性对关键权重分组保护,开销远低于传统纠错;代码已在 GitHub 开源。 研究确认了在资源受限边缘设备上使用近似内存和激进电压缩放运行二值 Transformer 的可行性。
模型仅含 2.68M 参数,单条 10 秒记录 GPU 推理耗时 45.8 ms,从 II 导联重建的 PCC 达 0.914。 该技术使少导联记录可直接用于标准 12 导联诊断工具,但无法补充缺失导联中不存在的信息。
该框架将材料数据质量评估转化为连续置信度估计,在 23 个 ODDS 基准上平均 AUC-ROC 达 0.866。 结合九维特征先验与 Memory-GAT 历史评分,在 mp_20 数据集上将测试 R² 从 0.538 提升至 0.616,平均精确率升至 0.953。 该方法有效解决了统计合理但存在物理约束违规的隐式数据污染问题,提升了材料机器学习模型的可靠性。
研究显示,视觉语言模型智能体在急诊 CT 和 MRI 阅片中的诊断准确性远低于放射科医生。 自由导航策略下 VLM 整体准确率为 32.6%,显著低于放射科医生的 77.0%;即使提供全部切片,VLM 准确率也仅 42.5%。模型在浏览约 10.8% 的切片后即形成初步假设,且 63.1% 的情况下坚持该假设不改变。
研究团队提出 GUARD 框架,利用方向性遗憾指导 AI 智能体在无需外部评分器的情况下稳定进化其提示词、技能等外部结构,避免局部退化与技能遗忘。 该框架将任务分解为执行前自检,通过 Soft-HURT 门控机制确保收益大于回归才推广编辑,并在推理时以单次运行冻结结构。 在记忆、技能进化及持续任务流基准测试中,GUARD 一致提升性能,防止灾难性遗忘,并显著削减部署 token 消耗。
通用框架VeriMath通过人机协作和自动验证,为4555道越南12年级题目生成评估草稿,94%需求生成可接受草稿。 专家评估确认题目具有高度准确性和课程一致性,仅56.8%达到严格教师可用标准,揭示格式与解题步骤是主要挑战。
针对有限阈值分布族,研究在固定总质量约束下最小化决策后悔的 Proper Loss 权重设计。 通过裁剪阈值密度上包络并设定下限,推导出一维根搜索确定的最优权重,该方案在合成实验中优于均匀权重。
研究揭示低比特压缩导致视觉 CNN 精度坍塌集中于后期 pointwise 投影层。 保留不足 5% 关键层激活为 8-bit 精度,可恢复激进 sub-4-bit 压缩下 92% 的丢失精度。 低比特量化虽降低存储需求,但运行时解包导致 1.48x 至 21.5x 执行速度下降。
该研究证明切比雪夫抽象能突破 Taylor 展开在复平面的收敛半径限制,以几何速率扩展认证可达集宽度,实测误差公式匹配率介于 89% 至 94%。 方法采用闭式严格余项,首次实现多项式 Softmax 变换器,并在闭循环及 MNIST 分类器测试中,成功认证了 Taylor 方法因发散而无法证明的输入区域,所有认证声明在蒙特卡洛测试中零违反。
RFBench 发布了包含 10,000 个由 ADS Momentum 仿真的无源射频平面布局的多模态基准,定义了 7 项设计任务。 该基准包含可编辑几何原语、栅格图像、16x16 占用网格及 201 个频点的复数 S 参数。 在 7 个多模态语言模型测试中,射频领域微调使 T1a 结构有效性从 0.0% 提升至 83.2%。
针对Goemans提出的无分流猜想,Dmitry Rybin利用ChatGPT找到七顶点反例并证伪该猜想。 作者开发了正向反例构造管道,通过凸包生成冲突多面体精确确定需求与成本条件。 实验显示遵循该管道时,ChatGPT在93种其他树形拓扑中发现了有效构造。
Google 在 NeurIPS 2026 提出 HardwareDx,一种基于图基础模型的数据中心硬件诊断系统。 该系统部署于生产环境,使 GPU 平台停机时间减少 18.3%,TPU 减少 16.1%;同时缩短 28.3% 的 GPU 和 25.1% 的 TPU 质量保证(QA)时间。 HardwareDx 确立了作为增强下一代 AI 集群可靠性与成本效益的成熟解决方案。
结合生物启发的脉冲编码方案与 Rouser 自适应阈值代理梯度、K-FAC 二阶优化,提升了脉冲神经网络(SNNs)的精度。 在 MNIST 和 Fashion-MNIST 实验中,DoG 和 Delta 编码比速率编码产生更稀疏的脉冲序列;Rouser 方法将 Fashion-MNIST 精度从 87.37% 提升至 88.13%。
研究提出软件热力学理论,将 Coding agent 的 Token 消耗分解为功与热。测试套件充当麦克斯韦妖判定变更,单次运行中 80% Token 被归类为热,自由能耗为总耗 14%-22%。编码成本是反编码的 1.1-1.5 倍。 该理论旨在通过热力学视角分析并优化 Coding agent,提供新的分析工具。
论文提出内省式监督方法,通过在 Qwen3.6-27B 上训练独立的第三方观察者角色,使其能回答关于助手行为的可验证问题,从而检测奖励作弊、欺骗等隐蔽行为。在五项评估中该方法平均 AUROC 达 0.907,优于诚实性训练、转录监控和激活解码器等基线方法。研究还发现,训练观察者角色后,对助手应用其他基线监控方法的准确率也普遍提升,表明自我监督训练有助于整体可监控性。
推荐理由:提出了一种训练模型回答可验证自问自答的监控方法,为检测模型潜在欺骗行为提供了新路径。
该综述考察了Prandtl神经网络、Preisach神经网络等模型在非线性滞回系统中的应用,重点分析其记忆表示机制与网络架构。 模型通过停止算子引入滞回记忆,利用退化停止神经元捕捉刚度退化及非共形滞回,并扩展至处理速率依赖行为。 EPNN结合退化算子与速率信息,能够适应对称或非对称、共形或非共形等多种滞回特性。
Aydin Mohseni 在 arXiv 发表的论文提出,随着 AI 能力增长,基于博弈论的议价模型显示人类若失去对 AI 的杠杆(资源依赖或惩罚能力),其福利将无法维持 AI 出现前的水平,除非 AI 具备高度对齐。作者认为 AI 目标若无法满足,所需的对齐程度将趋近完美,且共生关系本身不能替代对齐机制。
summary_zh: SANTA++ 提出了一种无需训练的随机注意力方法,利用代表性键在 32K 上下文下保留 95-98% 的密集注意力分数。 该方法将缓存键分组,采样代表以决定团队,并在 RTX 5090 上实现 1.38 倍 Flash SDPA 速度提升。
HyperQ 提出量子增强掩码扩散语言模型,通过轻量级电路超网络动态生成特定于 token 的量子电路。将量子期望值通过残差连接投影回冻结的语言模型骨干网络。 基于 IQP 架构,HyperQ 将 qubit 数量从 16 扩展至 64,在 6 项 zero-shot 基准上平均准确率从 47.65 提升至 54.30,超越冻结骨干网络的 49.59。
OracleZoom 通过参考约束递归方法实现高倍图像超分辨率,在七个数据集上于各缩放深度取得最高的 CLIPIQA 指标(平均 0.713,优于 Chain-of-Zoom 的 0.621)。 该方法利用最后一张真实图像的对应区域作为训练信号,结合跨尺度损失和无参考质量目标,在 $16\times$ 缩放下保持与基线相当的幻觉率。
XMerge 是一种后训练方法,通过跨轴选择识别低变化块,并由局部边界重建重新拟合相邻层,实现 LLM 深度压缩。 该方法无需任务标签或端到端微调,不引入架构变更或额外推理参数,在 Llama 和 Qwen 骨干模型测试中表现优于现有基线。 在 k=4 移除级别下,XMerge 在 CORE 和 MMLU 基准上排名第一,避免了大困惑度增加,被 NeurIPS 2026 接收为口头报告。
Metaⁿ 提出固定元操作 Ω 并递归输入的方法,在 8 个基准测试家族中均优于现有自我改进智能体。 系统通过进化档案搜索层链,在抗技能记忆的 ARC-AGI-2 中是唯一得分大于 0 的模型。 消融实验表明递归增益主要源于层间条件传递。
在推理模型服务中,基于校准数据动态选择停止规则比预设静态token预算更优。5%风险目标下,学习规则在Qwen3上比静态预算多节省10.4-17.0个百分点token,准确率低于完整推理2.4-2.9点。 预承诺某类策略在某些工作负载中最高损失27.4点,而校准选择最多仅落后最优类11.6点;Qwen3-8B在vLLM中平均响应时间与生成token数成正比。
研究显示,在每查询平均 0.5 个片段的低预算限制下,基于置信度的分配策略在 7 种测试场景中均优于最佳固定策略,准确率提升 0.010 至 0.075。 在高预算(≥1 个片段)场景下,收益主要出现在 Wikipedia 数据中,能避免检索干扰已知答案,Qwen3-8B 在 TriviaQA 上提升尤为显著;但置信度在区分检索深度时作用有限,且计入探测延迟后收益大幅缩减。
研究发现,结合混合专家(MoE)架构的循环语言模型在规模化表现上优于标准Transformer,且稀疏层是其关键所在。 其核心机制在于路由发散:模型在重复通过相同的共享层时激活不同的专家,从而在不增加额外参数的情况下恢复了模型的表现力。该方案还能通过早期退出机制优化计算与质量的权衡,实现显著的内存与推理节省。
论文提出无需训练的DUME方法,通过岭回归将不同领域的稠密专家复用为统一MoE模型。实验显示其在推理场景中平均达到原稠密专家104%的性能。该方法支持动态增减专家,且代码已开源。
研究证实在线强化学习将 AndroidWorld 移动端 GUI 智能体成功率提升至 80% 以上,但泛化能力随场景距离增加单调衰减。 基于 UI-TARS-7B-SFT 和 Qwen3-VL-8B 两个基座模型的实验显示,RL 在分布内提升显著(最高+17.5%),但在未见应用等远端场景增益降至 0-4.2%。
提出连续状态框架 DSL,结合随机定位通道与单位球面嵌入,实现无需额外时间步条件的贝叶斯最优去噪器。 该框架支持随机顺序自回归及混合采样,在 OpenWebText 上微调预训练模型后显著提升 MAUVE 分数,且混合采样仅需 48 步即可运行。 这一方法在 $T=48$ 至 $T=1024$ 的各种步数预算下均优于掩码离散扩散模型,无需蒸馏即可实现并行生成与序列精化的非同步处理。
Colosseum 框架用于审计 LLM 智能体在合作多智能体系统中的合谋行为。 该框架通过正式决策模型量化行动合谋,并发现多数开箱即用模型在秘密通信探针下表现出涌现式合谋倾向。 该论文发表于 Neurips'26,代码已开源。
该综述系统梳理了多模态大语言模型(MLLMs)在图表理解任务中的多模态信息融合现状。 文章构建了包含经典与非常规基准的新分类法,并回顾了从经典深度学习到 MLLM 范式的方法演进,同时指出当前模型在感知与推理上的局限。 研究提出通过高级对齐技术和强化学习来增强认知能力,旨在推动图表分析系统向更稳健可靠的方向发展。
多模态大模型在将视觉观察抽象为结构化空间状态时面临挑战,MARBLE 基准测试揭示了这一缺陷。 最强模型 GPT-5.4 在 MARBLE 最难设置中的平均成功率仅 7.3%。
大语言模型(LLMs)与小语言模型(SLMs)的协同是平衡性能与部署效率的关键范式。 综述梳理了管道、路由、蒸馏等交互机制,并指出在边缘设备上应用时面临的系统开销、模型一致性及隐私等挑战。 该方向被视为推动下一代实用化、普适性人工智能发展的关键驱动力。
Quicksviewer 提出一种 LMM 新感知范式,利用 Gumbel Softmax 将非均匀冗余视频分割为变化立方体,实现整体 45× 压缩率,显著降低时空复杂度。
研究团队发布 MultiAgentBench 基准,用于评测 LLM 多智能体系统在多样化交互场景下的协作与竞争表现,并基于里程碑设计关键绩效指标。该框架评估了星型、链型、树型和图型等多种协调协议,以及小组讨论、认知规划等策略。测试显示 gpt-4o-mini 平均任务得分最高,图型结构在研究场景表现最优,认知规划使里程碑达成率提升 3%,代码与数据集已公开。