多头量子神经网络:在300亿参数LLM中以NISQ模块替换Transformer块
研究人员提出兼容NISQ设备的多头量子神经网络,可将Qwen3-30B-A3B-Instruct-2507中连续8个Transformer块替换为含145,281个可训练参数的量子模块,置换16.33%的模型参数。
研究人员提出兼容NISQ设备的多头量子神经网络,可将Qwen3-30B-A3B-Instruct-2507中连续8个Transformer块替换为含145,281个可训练参数的量子模块,置换16.33%的模型参数。
并行提示(Parallel Prompting)通过并行解码独立问题流,解决了传统前缀缓存在解码阶段受内存带宽限制的瓶颈。 该方法在 SGLang 中仅需增加约 80 行代码,利用流 ID 注意力掩码实现单次阅读共享文档。在 CodeLlama-7B 模型及 8k-16k token 文档场景下,相比原生 SGLang 实现 3.7 至 6.0 倍加速。
LLM 预测系统极易受单篇伪造新闻攻击,74% 至 82% 的对抗性预测会被逆转,前沿模型无法识别虚假信息并会盲目跟随。 两大主流部署系统的检索架构在约 90% 的运行中会捕获伪造文章,且现有检索时防御措施可被单一提示词修改轻易绕过。
研究人员基于信息缺口理论形式化五项公理,构建了推荐物品诱发好奇心的计算度量方法。 该方法在三项真实数据集离线实验中显著超越现有最优技术,并在大型亚洲视频流媒体平台在线实验中提升了点击率、观看量和停留时长。 该方法已部署于该平台并持续运行,确立了消费者好奇心作为可量化且可执行的推荐目标。
AutoAssumption 框架将 89 个算法形式化为证明图,通过 LLM 搜索并放松假设生成代码。其在 KV-cache 淘汰和权重剪枝上超越了所有已发布的对比算法。
metalSPARSE 是 Apple GPU 上首个 2:4 半结构化稀疏 GEMV 内核,采用 Metal 编写融合解码器。在 Qwen2.5-1.5B 模型上,8 GB M2 设备解码速度比 PyTorch-MPS 快 3.6 倍,16 GB M4 设备比 MLX 快 1.52 倍。
该研究提出了一种受PLPG启发的连续分配方法,通过重参数化蒙特卡洛采样在训练目标中加入指令满足概率,使智能体无需后验拦截即可自主学习合规。在确定性平均动作审计中,该方法将六规则市场状态条件指令的违规率从基线的96-98%和33.4%降低至4.8%。
研究将辩论训练协议形式化为在线学习问题,指出最优学习策略不同于对抗性辩论,并据此定义了合作版本。 该文利用组合维度刻画合作辩论的可学习性,证明人类评委的少量判断失误会导致巨大的学习误差。
NOPO 通过抑制可信的验证负例更新策略,解决单边可验证性(OSV)下标准 RLVR 不可靠的问题。 该方法结合参考相对负抑制损失和组级适配器,将验证正例视为未标记数据,避免奖励捷径。 在代码、逻辑和数学基准上,当 oracle 奖励不可用时,NOPO 提升了 pass@k 表现。
研究者提出知识蒸馏的数学模型,证明蒸馏通过使优化轨迹更易优化来提升性能,而非获得更优模型。 在泛化线性模型和秩-1矩阵近似任务中,使用随机梯度下降训练时,蒸馏训练的学生模型均比非蒸馏模型更快地拟合或收敛。 该理论明确了蒸馏在优化速度而非泛化能力上的优势,实验结果也印证了这些理论预测。
HyperSSM 引入四元数通道,保持线性时间推理和并行训练,在状态跟踪基准测试中精确解决 $S_5$ 群任务,状态数不超过 5 个,性能优于此前随机猜测的 SSM。
研究提出 TeReL 规则,实现自监督表示学习中空间与时间的局部性。在 MNIST 流上,该规则以 batch size one 训练,线性探测精度达 96.48%,高于随机特征与经典 SFA。
提出分解式 JEPA(D-JEPA)框架,将隐空间分解为对齐共享核心与私有模态特征,解决信息不对称导致的语义坍缩。 证明对齐冗余界,显示纯对齐目标会抹除私有结构与协同效应。D-JEPA 在组合推理基准上优于基线,恢复正向多模态协同间隙。 通过信息论审计与因果纤维交换干预,证实恢复的信息在私有特征中因果定位。
summary_zh: 提出 SoScale,一种用于层级 FP4 量化的二阶梯度权重码搜索方法,在 Qwen3 模型上降低了 MXFP4、NVFP4 和 HiF4 的量化性能下降。
Recursive SALM框架通过模态化读写架构生成预训练模型自适应,在四轮假设推理任务中,基于64维状态的LoRA达到89.1%准确率。 该结果与全上下文LoRA基线的88.0%相当,在双轮任务中可改善未训练词码排序但难以精确生成。实验证明持久潜变量条件化自适应可在无先前证据时支持序列推理。
DRAMA 通过无训练加速框架,实现多模态扩散大语言模型(dLLM)平均 18.67 倍推理加速。 其基于空间感知视觉token剪枝(SVTP)与充分性引导自适应停止(SGAS),无需架构修改。 该方法已被 NeurIPS 2026 接收。
RLT 通过线性插值重设计循环反馈,解决传统 Looped Transformer 隐状态尺度增长及扰动放大问题。 理论证明 RLT 能保持隐状态幅度有界并降低最坏情况扰动放大,无需增加可训练参数或额外循环评估。 RLT 在语言建模基准中比标准循环模型具有更低困惑度,且隐状态范数更稳定,利于外推解码。
该研究通过解决计算代数问题,评估 AI 智能体发现并利用特定结构以降低计算成本的有效性。智能体可扩大固定预算内可求解系统范围,但推理开销有时大于节省;利用持久记忆可减少重复求解成本,但可能保留次优策略。编译生成快速可复用求解器需承担大量前期成本。计算代数为提升智能体结构和复用能力提供了具体可测目标。
新范式 KVPath 通过将各层 KV 表示连接成路径,仅缓存第一层全维度基础 KV 及后续层的低维增量,在匹配参数量下将 GQA 的 KV 缓存存储减少最多 68%,MLA 减少 55%。 该方法包含两种变体:KVPath-Residual 通过残差加法更新向量值,KVPath-Rolling 以滚动方式逐步更新特征维度,均在维持或提升模型性能的同时显著降低存储开销。
Fit-LRP 框架提出在由多面体并集表示的非凸域上执行精确仿射界优化,显著提升了分支定界算法的搜索树剪枝效率。 该方法在 ARCH-COMP 与神经 Lyapunov 基准测试中,将最难区域的分支次数降低 47 倍,最坏验证时间减少 15 倍,并在单 CPU 上以 6.1 倍速度超越 GPU 版 $\alpha,\!
针对 MoE 模型的 CPU-GPU 专家传输瓶颈,提出了一种在不改变路由决策前提下的“未来最远驱逐”策略。 该策略在 OLMoE-1B-7B 模型及 L40S GPU 上实测显示,较 LRU 缓存减少 2.1 倍专家拷贝次数且无质量损失,需未来请求信息以发挥最大效用。
可验证奖励强化学习中,模型倾向诚实的临界条件为 $\tilde{p}r/b > 1+\kappa$。训练初期 $\kappa$ 较大导致模型短暂趋向虚张声势,随后回升;超过收益上限时模型会将正确程序误判为有缺陷。
研究人员提出 HyLI 模型,在 7 个 PAMDP 基准测试中性能媲美最强模型无关基线。使用 2.4 倍更少环境步数达到基线 90% 分数,且比 DLPA 快 67 倍。是唯一兼具样本效率与实时控制速度的方法。
RMT 数据无关指标与模型性能或训练过程无关。函数保持的重参数化可产生任意指标,表明其与泛化的关联是虚假的。该研究在 NeurIPS 2026 负面结果赛道发表。
针对 RLVR 中“盲目”熵指标无法区分有效推理与幻觉的问题,研究者提出有效性感知熵概念,并实现 VEPO(Validity-aware Entropy Policy Optimization)方法,将有效熵直接融入训练以过滤噪声。
SAFER 是一种可微的公平性正则化方法,通过显著性门控机制解决稀疏子群下公平性过拟合问题,实现了更优的公平性-效用帕累托前沿。 该方法引入显著性超额指标族,基于软计数似然比证据统计量门控公平惩罚,在三个基准数据集的压力测试中验证了其理论预测的失败模式。
PRELUDE 提出分离公共分量与目标特异性依赖的读取框架,在16个真实数据集上整体表现最佳。 该方法通过横截面池化估计公共分量,并利用创新空间中的引导滞后关系读取依赖,在24个短视域及空气质量设定中的23个取得最佳MSE,平均MSE较最强基线降低6.1%。
针对目标数据有限的条件生成建模,本文提出包含 TFM-Freeze 和 TFM-Adapt 两种程序的条件流匹配迁移学习框架。 该方法建立条件平方 Wasserstein 风险边界,信息下界证明自适应在特定区间比冻结方法具有更快的风险速率。 独立验证程序满足 oracle 不等式,通过高概率保证防止目标生成器性能出现负迁移。
提出 Mask-Pattern Position Augmentation(MPPA)技术,实现扩散 LLM 免训练长上下文外推。 在 LLaDA-8B-Instruct 模型上,MPPA 将 8192 长度下的困惑度从 19.51 降至 3.12,实现 100% passkey 检索。 该技术通过累计掩码密度偏移恢复旋转位置相位分辨率,为扩散原生的长上下文生成提供新路径。
Qwen2.5 和 Qwen3 系列模型研究表明,匹配 SFT 与 RL 的正确 rollout 数量及总预算可显著提升 SFT 泛化能力,结合数据混合与规模优势可使 SFT 泛化表现优于 RL。
研究者建立形式化框架,揭示 RL 后训练中未受奖励直接约束的“特征”会被同步放大或抑制,即“特征搭车”。模型基于 GRPO 训练验证,Price 更新式估算与采样动态高度吻合。该机制解释 RL 如何在未显式调整目标的情况下隐性放大不良特征。
该工作提出先验拟合扩散变换器,通过在推理时进行上下文内汤普森采样来优化未知函数。模型利用预先训练的非高斯先验,在包括单模态函数在内的黑盒全局优化基准测试中,性能优于基于高斯过程的流水线。
Granite 4.1 3B 与 8B 发布支持 LLMON(LLM Object Notation)的模型 granite-4.1-3b-LLMON-preview 与 granite-4.1-8b-LLMON-preview,LLMON 是一种 LLM 原生标记语言,用保留特殊 token 边界显式标记指令、数据、约束和推理结构。
推荐理由:模型以标签化指令-数据分离替代JSON,让调用者看到上下文里哪些部分是可执行指令、哪些只是待读数据。
团队发布开源决策模型 Drex 家族,Max 版在 Decision Index 0.4.1 上以 67.52 分创决策模型新高。 涵盖 8B 至 27B 参数规模,结合 RLAF 与视觉微调;Max 版单请求响应仅 183ms,远快于 GPT-6 Sol。 四款模型均开源,输出在选项重排下保持稳定,显著降低生产环境延迟与成本。
针对阿拉伯语伊斯兰问答任务,团队基于微调的google/gemma-4-12B-it模型构建了幻觉检测系统。 该系统在包含600个问答实例的数据集上实现0.912的综合得分,其中幻觉标签准确率为0.935。
研究揭示长上下文 LLM 存在安全缺口:模型能拒绝显式表达的有害请求,但面对需从分散片段推断的隐藏恶意目标时,拒绝率显著降低。 该工作提出“组合推理攻击”设置,将有害请求分解为语义不完整的片段嵌入长上下文,且最终查询保持中立。
Minimum Bayes Risk(MBR)解码通过参考聚合将效用估算复杂度从 O(n^2) 降低至 O(n)。 该方法利用聚合参考表示近似成对指标分数,在保持 MBR 质量增益的同时提升效率,开源代码已发布。 该研究发表于 ACL 2024,v3 版本包含 ChrF 指标更精确的时间测量。
研究提出 TERM 推理时防御机制,利用提示词校准注意力熵偏差自适应调节模型残差更新,无需预设安全方向。 在 Llama、Qwen(含 Qwen3 0.6B 至 32B)和 Gemma 模型上,对比 7 种防御方法对抗 7 类越狱攻击,结果显示该方法在提升越狱鲁棒性的同时保持低过度拒绝率,且推理开销适中。
神经科学机制可解释性研究面临从观察到解释的推理瓶颈。 作者提出五项原则构建递归逻辑框架,将局部发现转化为累积机制知识,并生成可测试假说。 该框架支持在模型外领域进行科学发现,NeurIPS 2026 Oral。
StaRSE 提出一种紧凑型俄语静态句子编码器,通过符号位存储和平均池化去除 Transformer 推理,RuMTEB 任务均分达 51.16,比最强静态基线高 7.98 分。