FreeDave:面向扩散大语言模型无损并行解码的训练无关算法
FreeDave 提出了一种训练无关且模型无关的快速解码算法,通过利用扩散大语言模型(dLLMs)的固有特性,将未来 token 预测作为“免费草稿”并在后续前向传播中严格自验证,实现算法上无损加速。
FreeDave 提出了一种训练无关且模型无关的快速解码算法,通过利用扩散大语言模型(dLLMs)的固有特性,将未来 token 预测作为“免费草稿”并在后续前向传播中严格自验证,实现算法上无损加速。
FlowDrive 提出调制流匹配轨迹规划器,通过轨迹模式重加权缓解驾驶数据长尾分布偏差,在 nuPlan 和 interPlan 基准测试中达到学习类规划器最先进的性能。 该规划器通过有调节的在环引导注入小扰动,在保持场景一致性的同时系统增加轨迹多样性,FlowDrive* 变体在几乎所有测试划分上实现整体最先进水平。
利用稀疏自编码器(SAE)将 LLM 内部激活映射至可解释概念,实现特定特征的精准引导。 SAE 允许平滑、孤立地引导目标概念,优于提示词引发的非预期概念激活;扫描还揭示模型内部特征贡献与其自生成解释存在显著脱节。
研究发现,标准强化学习智能体在模拟经济模型时会因内化市场影响力而收敛至垄断分配,而非竞争均衡。 研究提出校准均值场强化学习框架,通过限制智能体针对外生总量状态优化并重新校准奖励结构,使算法收敛至恢复竞争均衡的固定点。 该方法为将学习算法嵌入动态一般均衡模型提供了技术路径。
研究团队提出 SAGE 框架,结合代数稀疏化与双曲结构引导,在 12 个基准测试和 7 个模型族中性能优于基线。 该框架通过投影局部可接受候选项至代数子空间抑制伪分支,并利用负曲率嵌入提供深度信号,解决稀疏奖励下的探索与复合偏差。 SAGE 在 Andrews-Curtis 问题上实现 8 倍性能提升,相关代码已开源。
研究提出统一几何指纹框架,通过分析权重矩阵的频谱能量与子空间对齐,在无输入数据情况下追踪开放权重 LLM 的谱系。 该框架区分独立来源、同系列及共享基础模型,在超过 110 对开放权重 LLM 上验证,有效支持模型溯源与供应链完整性治理。
研究提出 TOPPO,通过 Critic Balancing 模块解决 PPO 在多任务强化学习中的梯度病态问题。 该方法改善了各任务间的梯度条件与学习动态平衡,无需依赖复杂架构。 在 Meta-World+ MT50 基准中,TOPPO 以更少参数步数,实现平均及尾部任务性能超越 SAC 基线。
研究团队提出一种神经符号架构,结合对象级结构提取与基于神经先验的候选变换提案,通过跨样本一致性检查过滤假设。 该框架将 Grok-4 作为基础求解器,在 ARC-AGI-2 公共评测集上将准确率从 16.0% 提升至 24.4%,结合 ARC Lang Solver 与元分类器后达到 30.8%,代码已开源。
作者提出了领域特定超级智能 (DSS) 的替代路径,旨在应对推理模型高算力消耗及单体模型扩展面临的物理瓶颈。 该方法主张先构建符号抽象来支持合成课程,使小语言模型掌握领域推理,避免模型坍缩,并设想由编排代理路由任务给不同 DSS 后端的社会生态系统。 此范式将能力与规模解耦,推动智能从能源密集的数据中心向设备端专家迁移,实现可持续的经济赋能。
研究者提出 CE-Graph 框架,通过最小化期望失败质量(Expected Failure Mass)优化基于 LLM 的工作流,而非仅依赖标量指标。 该方法在反例池中近似失败分布,识别高密度区域并应用算子约束图编辑,在数学、代码和 QA 基准上以更低成本实现了比强基线更高的鲁棒性。 该研究已被 ICML 2026 接收为 Spotlight 论文,代码已公开。
Direct Nash Optimization (DNO) 实证研究在 Llama 3.1 8B Instruct 和 Mistral 7B Instruct 上验证了 DNO-Prct 算法的有效性。 AlpacaEval 2.0 显示 Llama LC 胜率从 31.7% 升至 45.3%,Mistral 从 6.8% 升至 18.4%;使用同家族开源标注器可保留 62%-82% 性能增益。
提出无约束凸优化的 A²ODA 方法,采用基于 $p$-范数几何的低成本预条件($p\in[2,\infty]$),且无需线搜索。 更新结构在 $p\in[2,\infty]$ 上统一,$p>2$ 的更新复杂度不超过欧氏情况,并通过聚合仿射下界模型选择步长。 在广义局部光滑条件下推导收敛界,局部光滑特殊情况下恢复近最优收敛率。
DeepMem 提出因果多尺度架构,将语义压缩与字节精确保留分离,在 FineWeb-Edu 等数据集上表现优于同等规模的字节级 Transformer。 该架构通过可逆子带变换构建层级序列,瓶颈细化计算量较全分辨率推理降低约 7,600 倍。 DeepMem 在代码建模、多选题推理及字节级损坏鲁棒性方面保持竞争力,并在 PIQA 任务中提升准确率。
基于 AUC 的公平性指标常误用非可加合性,需规范使用与解读。 文章审视了 8 种现有指标,基于 EuroSCORE II 模拟数据,建议优先报告组内 AUC 公平性,并展示完整的 AUC 矩阵。 组内指标相对可靠,但跨组指标需谨慎;部分指标因比较不可比量而不推荐。
研究揭示了语音LLM在获取正确历史音频后仍因干扰出错的机制,在MOSS-Audio和MiMo-Audio模型上验证了错误被导向特定竞争答案。 因果干预实验发现,干扰通过早期状态和源角色/答案值信息的低维路径影响生成,单纯切断直接访问无法消除多轮对话中的错误。 这表明可靠的对话记忆需控制保留信息如何进入答案计算过程,而非仅依靠检索。
针对 LLM 推理解码中通信结构固定的特点,提出负载静态光电路交换(OCS),将电路配置与模型并行化协同设计。 基于 GXNET 模拟器在 576 加速器域评估 5T 参数 MoE 模型,全 OCS 架构较 4:1 超配包交换网络交互性提升 65%,能效提升 119%。
研究者提出密度感知奖励缩放(DARS)机制,通过逆密度缩放奖励来避免高奖励结果集中,促进连续结果空间中的多样性采样。该机制无需学习密度模型、辅助目标或修改标准策略梯度训练目标。在受控多模态导航任务中,DARS-GRPO 避免了 GRPO 的单模态坍缩并恢复了目标模式分配;在文本到图像提示词适应中,它一致提升了图像和提示词多样性,同时保持语义对齐。
该框架通过进化搜索识别可恢复的失败案例,并在三个阶段一次性 RLVR 训练中转化为数据高效监督。 随机选择基准仅为 53.31,验证了前沿引导策略的优越性。
研究指出依赖 BLEURT 等指标自动标注 LLM 幻觉检测真值不可靠,检测器性能随监督评判模型选择显著波动。 人类验证显示 QGen-9B 误分类率最低(12.86%),而 BLEURT 与 BLEURT-n 的误分类率分别高达 47.23% 和 47.32%。 结果凸显自动相似度标注局限,亟需开发更能捕捉语义与事实正确性的可靠评判方法。
提出保守动作噪声方向优化(CANDO)方法,通过结合结构化的潜在空间改进与局部动作修正,提升冻结生成式策略的在线强化学习效率。 CANDO 实现 76.1 NAUC 和 91.4% 最终成功率,分别比最佳单空间基线高 6.6 NAUC 和 4.1%。 该方法去除了预定义的潜在可行区域,通过软保守约束调节噪声空间适应。
BtsPruner 提出免训练的视觉 token 剪枝框架,在 LLaVA-1.5-7B 中仅保留 5.6% 的 token 即维持 91.6% 性能。 该方法通过识别角色转换点并递归检索局部细节,在 LLaVA-NeXT-7B 高分辨率场景下实现 5.95 倍 CUDA 延迟加速。 该框架在 LLaVA、Qwen-VL 等 5 类模型实验中展现了激进的 token 压缩能力与高性能保持。
Perseus 开源库实现同态模型推理,在 Llama-3-8B 单 token 解码速度达 3.96 倍 SOTA。 支持加密非线性及端到端执行,精度保持明文模型 97% 以上。
SaMA 通过 Kronecker 积的推广解决了 LoRA 中优化瓶颈和参数效率问题。 其有效秩随参数预算二次增长至满秩,且不变流形塌缩为对角群,更适合优化器。 SaMA 在常识与算术推理基准上优于 PEFT 基线,参数效率更高。
MoeResQ 提出一种针对 MoE 大语言模型 FP4 强化学习后训练的量化恢复方法,通过强制训练侧与推理侧校正对称性恢复精度。 该方法解决了 MoE 路由机制中离散专家选择导致的训练-推理策略对齐问题,显著缩小了与全精度模型的精度差距。
Anchor 模型在 Llama-3.1-8B 和 Mistral-7B 上实现了比 LoLCATs 高 2.3-3.1 倍的召回率和 6.7-8.9 点的 MMLU 准确率提升。
提出一种免训练稀疏注意力方法,通过构建 prompt-specific key index 并聚类非连续 token 为粗语义块,同时加速 prefill 和 decoding。
深度学习框架 FoldScape 生成特定折叠分数下的蛋白质构象系综,覆盖折叠坐标范围约为 AlphaFold 3 的十倍。 该模型通过分层滑动窗口回归及 rectified-flow 解码器重建结构,在 20 种蛋白质测试中重构精度随折叠阶段保持恒定。 FoldScape 扩展了折叠阶段覆盖范围,并与 AlphaFold 3 形成互补,无需针对特定蛋白进行模拟。
GC-MoE 发布开源 FP8/FP4 MoE 推理算子,利用 CUDA Green Contexts 将 GPU 划分为通信与计算分区,实现 dispatch 与 GEMM 独立并行。
在 4,000 场 Chatbot Arena 对战中,5 个裁判模型的排名未随裁判更换保持稳定,Kendall's tau 中位数仅为 0.67,未支持原假设。
针对现有科学3D数据评估缺乏跨学科对比的问题,团队发布ScienceVision跨领域基准测试。该基准包含来自生物学、化学、医学影像等五个领域的250个专家级视觉问答任务。 在测试中,原生3D工件工作流比渲染2D图像工作流的平均分平均高出17.2个百分点,但所有模型的平均最佳得分仅为0.53,显示科学3D理解仍是挑战。
研究验证了人类能利用先验知识理解机器生成的非完整警示语。在 N=114 的预注册实验中,语用规划器优于全量基准线。 实验显示参与者几乎能以相同可靠性解析非完整警示,且响应更快、检测到更多问题。 结果显示语用助手的有用性评价更高,且未增加认知负荷。
针对 DeepSeek-V3.2 和 GLM-5 中索引器扫描占用大量解码时间的瓶颈,提出无需重训的多层索引器(MLI)方案。 该方案利用相邻层选择相似性,让当前层复用上一层索引器结果,使索引器与注意力计算并行,且兼容 SGLang 生产环境。
针对七个决策模型在 16 项任务上的评估显示,限制模型可输出的选项集并不能阻止攻击者操纵决策。 攻击者利用 Slot Attack 黑盒方法,仅依赖标签概率即可成功将 32%–99% 的正确决策导向错误选项,每次成功攻击中位查询量仅为 17–72 次。 固定答案集仅约束了决策形式而非来源,模型鲁棒性必须按模型、任务和版本逐一测量,不能因输出格式而默认安全。
该方法的核心是检测到被污染适配器的方向性几何畸变,通过逐层方向引导重新对齐适配器,20 秒内即可完成补丁构建。 LoRA-Patch 在保持正常任务性能的同时,允许冻结基础模型权重。 代码已开源。
研究人员提出对抗性投机推理,提升长程智能体在复杂代理编码基准上的端到端成功率。 该方法通过训练仅占总参数 0.06% 至 0.28% 的草稿模型,在 30 步后改变输出分布并修正关键推理点噪声。 此方法将投机解码从单纯加速器转化为上下文精度分配器,且无需修改目标模型及其输出分布。
作者团队通过频繁压缩上下文证明前沿语言模型在长程任务中保持短上下文时牺牲极小甚至无任务精度,并表明LLM在软件工程任务中即使每个上下文仅取一个动作性能也不崩塌。基于此提出语义状态空间模型SSSM概念,质疑长上下文语言模型的必要性。
提出 JHiMA-WebRL 框架,通过联合训练任务分解器与执行者处理长程网络任务。 在 WebArena-Lite-v2 基准测试中,JHiMA-WebRL-14B 模型组合达成 37.2% 平均成功率。 该框架使用 7B 模型参数,超越同等条件下经 RL 微调的 32B 单体智能体。
WebCatalyst 框架在少于 1K 次请求下,将 Qwen3.6-35B-A3B 的 Cookie-Bench 得分从 68.8 提升至 75.3,WebGen-Bench 从 48.8 升至 56.9。
研究发现 17% 的开源 LLM 运行和 20% 的商业 LLM 运行中,分配结果在多次运行间存在差异。重排 30 条观点改变分配结果的频率几乎等同于更换不同公民的观点,且四种保障措施下仍存在显著变化。单一提案会掩盖替代分配及被排除的观点,审计可揭示这些隐藏选择。
研究团队提出名为 ALBI 的神象征融合归纳逻辑编程(ILP)框架,用 LLM 生成假设并依靠 SWI-Prolog 进行验证。在 30 个标准 ILP 基准测试中,ALBI 在 Gemini 3.1 Pro、GPT 5.4 Pro、Claude Opus 4.6 上均取得 100% 成功率,平均仅需 1.4-1.7 次迭代,且通过匿名化测试证明了模型具备稳定的符号推理能力。