基于闭环刺激的LLM控制:分布外鲁棒性研究
研究者将LLM引导视为反馈控制问题,提出基于H_∞的鲁棒引导控制器以应对非线性动态与线性化失配。 该控制器在多个基准测试中优于现有基线,尤其在分布外条件和不同长度复杂性下表现显著。研究还引入鲁棒可引导性指标S_rob,用于量化系统对动态失配的容忍度。
研究者将LLM引导视为反馈控制问题,提出基于H_∞的鲁棒引导控制器以应对非线性动态与线性化失配。 该控制器在多个基准测试中优于现有基线,尤其在分布外条件和不同长度复杂性下表现显著。研究还引入鲁棒可引导性指标S_rob,用于量化系统对动态失配的容忍度。
研究发现前沿 LLM 智能体在简单环境下的零样本协同任务中表现不佳,主要源于对协同问题的理解有限及推理能力弱。 尽管 LLM 引入了语义信息作为协同维度,但未能有效利用该结构。研究者提出了协同友好定义(CFDs)作为改进方案,并证明其可被自动发现。 该成果作为海报报告被 NeurIPS 2026 接收,并入选 ICLR 26 MALGAI Workshop 口头报告。
Traffic-VL 是一款 80 亿参数的视觉语言模型,通过直接映射多视角图像和自然语言相位描述生成信号决策,实现了端到端交通控制。 基于 SynTra-V 数据集,模型采用离线强化学习适配视觉编码器,并在闭环模拟中进行在线策略优化,性能超越 Gemini 3 Pro 等通用模型。 该模型在十路口为期三周的部署中证明了其视觉泛化能力和有效约束控制。
论文定义了有界停机问题,证明无固定确定性检查器能在小于 1 的 T 比例内解决所有实例。 针对有限通用性提出对抗性测试,区分可扩展资源固定模型、随 T 增长的模型族及更大系统。 明确了机器学习系统中通用性主张所假设的资源增长特性。
SysPilot 是一款开源的跨库性能自动调优系统,旨在解决共享资源争用导致的性能瓶颈。该系统基于库性能合同(LPC),能比 OpenTuner 和 SMAC3 提升高达 38% 的性能指标,同时将运行次数减少 3 倍。
预注册测试表明,JEPA 未能使潜空间更好地组织流体力学量,其表现与未训练网络相当。 自编码器使涡动能在慢速无监督潜空间中显著(r 0.80-0.86 vs 0.38),但添加 VICReg 会降低该显著性。 研究揭示潜空间内容可读性与其可控性相分离,监督方向在受控时几乎无法改变输出。
提出 CoCo 框架,利用 LLM 将文本推理蒸馏为数值协变量引导 TSFM 预测。 采用 GRPO 微调 LLM 并同步微调 TSFM,使用 Qwen3-4B-Instruct-2507 与 Chronos2 实现最高 12% 的 MAE 改进。 在金融、气象等真实基准上超越 GPT-4o 等 SOTA 模型,相关代码与检查点已公开。
研究在 Llama-3.1-8B、Mistral-7B 和 Qwen2.5-7B 的 4-bit NF4 量化模型上,验证 Hallucination 信号可从隐藏状态线性解码。
论文提出一种基于回合级 Best-of-N 采样的推理扩展方法,用于 LLM 智能体。该方法采用“生成器-选择器”框架,在每轮生成 N 个候选动作并由选择器模型选取其一执行。 在长时程终端任务实验中,该方法使准确率提升 5–10%,并显著提高了重复尝试的一致性。轨迹分析显示,智能体行为向更优模式转变,如减少尝试次数、改善指令遵循及调试测试能力。
针对 NVARC Qwen3-4B、Qwen3.8-27B 及 Qwen3.8-Flash-Next 模型,利用规则、推理轨迹及路由统计数据优化 ARC-AGI-2 求解性能。
研究提出ConceptARC at Scale生成器,构建包含1,600个经人工审查任务的ConceptARC-100数据集。 该数据集涵盖16个概念,每个概念100个任务,规模是原基准的10倍。 内部表征分析显示,任务按对象操作类型聚类,表明模型形成了可泛化的稳定抽象。
Split-KV 提出一种精确的上下文并行方法,在 CP 规模 64 时保持 85%-91% 弱扩展效率,比最快基线实现 3.67 倍加速。 该方法使单层注意力通信量仅取决于查询大小,独立于上下文长度;全局查询视图支持基于成本的 LPT 策略,实现 <1% 负载不均衡,规划速度比最佳基线快三个数量级。
论文提出 RECAP 方法,通过 1/2/3-token 键存储和请求本地/跨请求持久记忆结合上下文感知的熵置信度加权,为多模态模型训练自由地提供投机解码候选。 在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 的 7 个单轮基准上,RECAP 相对自回归解码平均加速 1.66×/1.56×,超过最强无训练基线 Token Recycling 的 1.51×/1.37×;代码已开源。
文章提出 Petri 网结合 Individual Token Philosophy 是表示 token-level 因果结构的自然框架,解决处理效应无界异质性下传统估计量失效问题。 构建了从 Bayesian Networks 到 Petri Nets 的形式化翻译,提供不依赖分布假设的结构表示;引入 conformal prediction 层量化因果效应,具备有限样本覆盖保证。
Hybrid Spark 提出结合模型型与非模型型起草器的推测解码框架,在 vLLM 中实现代码编辑场景 1.10–1.62 倍输出吞吐量提升。 该方法引入每个验证草稿 token 的价格机制,在温度 0 的聊天场景中保持 0.97–1.01 倍基准性能,支持单部署服务多种负载。
研究使用国际象棋作为测试床,探讨 LLM 预训练与 RL 后训练间的关系。 预训练 5M 至 1B 参数的模型,发现预训练损失能预测 RL 后性能,且 RL 奖励曲线斜率随预训练 token 数近似线性提升。 该机制在 1B 参数的数学领域模型上也得到验证。
潜在推理模型在准确性提升的同时,对改变推理路径的反事实编辑敏感度反而降低,且不同方法轨迹各异。 研究者利用 verified counterfactual edits 发现 ProsQA 和 GSM8K 中干预敏感度呈对立趋势,并通过调整训练程序改善响应性。 仅评估最终检查点会掩盖可信度变化及潜在状态的真实贡献。
研究提出vOPD,将在线策略蒸馏(OPD)视为策略梯度强化学习,引入价值函数作为控制变量基线以降低梯度方差。 该方法利用闭式解的逐token反向KL散度作为基线,无需额外critic或推理,保持单样本估计器轻量且无偏。 在数学、科学及指令遵循基准测试中,vOPD性能优于基础OPD,且与高成本全词表方法持平。
提出免训练框架 Integrated Policy Gradient (IPG),将策略归因引入 LLM 推理的机制可解释性研究,通过路径积分隔离结果相关的内部组件,提供因果中介分析的线性近似。 实验表明 IPG 能精确定位与特定推理行为相关的稀疏、集中内部组件子集,并实现推理能力的调制,为理解 LLM 推理提供了可靠框架,已被 NeurIPS 2026 接收。
提出 MD-ProTector 方法,在编码器嵌入空间使用多个可训练参考向量(原型)表示类别,以提升 LLM 生成文本检测对多样化写作风格与生成模型的鲁棒性。 该方法引入 Prototype Positioning 损失函数,将类级结构与类内差异解耦,使不同原型分别界定同一类别内不同文本子群的决策边界。
研究提出 LLM 人格三元组框架,利用 SAE 分解识别稀疏内部特征并验证其人格相关性。 通过特征级干预,在多种情境中诱导双向人格转变,并在社会智能任务中证实了行为改变与人类研究一致。 研究提供了 LLM 存在可控制的人格相关表征,连接内部状态、情境表达和行为结果的证据。
TTCD 提出了一种在连续空间中运行的新扩散语言模型,通过引入“per-token times”概念,使部分 token 以不同速率从噪声映射至最终结果,从而避免并行采样导致的误差。
论文提出SpanUQ探针,通过蒸馏多次推理的不确定性知识,仅需单次前向传播即可在语义连贯的文本跨度(span)层级量化LLM生成不确定性。 该方法采用DETR式解码器与Beta混合分布,在20K提示词和293K标注跨度的SpanUQ-Bench基准上,F1分数达0.910,比最强启发式基线高39.4%,且比采样法快10~20倍。
提出三种训练时干预弥合扩散草稿模型双向生成与 LLM 自回归校验的错位,提升推测解码性能。 干预包括 token 位置加权、首个错误 focal loss 及链式损失项,三者正交且可加性组合,无需增加前向传播。 在四个目标模型及六个推理、代码、对话基准测试中,接受草稿长度相比基线提升 21-76%。
研究提出 D-RPC 方法,通过约束教师模型遵循动态维护的高层推理路径库,解决蒸馏中教师理由结构不一致导致的噪声监督问题,在五个基准测试中取得最高平均准确率。 方法引入 PAC-Bayes 分析以量化推理路径库大小与覆盖率之间的权衡,消融实验显示中间大小的库效果最佳。
LLM 最后隐藏状态随任务难度增加呈现系统性稀疏化趋势,证实“任务越难,表示越稀疏”的统计规律。 研究通过控制实验发现表示密度是习得属性,熟悉模式对应分布式表示,陌生输入则趋于稀疏激活。 基于此提出 Sparsity-Guided Curriculum In-Context Learning (SG-ICL),在 MATH-500 上优于标准 CoT 和 Auto-CoT 基线。
提出 CyclicJudge 轮询分配策略,通过方差分解证明其为固定裁判面板下的最优方案,能抵消裁判加法偏移且成本等同单裁判。 该策略在 MT-Bench 和 MindEval 实验中验证有效,降低了基准分数方差并稳定模型排名,优于单纯增加生成数量的方法。
Steer2Edit 提出一种无训练框架,将转向向量转化为组件级秩 1 权重编辑,在匹配下游性能时提升安全性最多 17.2%。 该框架选择性重分配注意力头和 MLP 神经元的行为影响,保留标准前向传播并兼容并行推理,用于安全对齐、幻觉缓解及推理效率优化。
研究发现 LLM 隐藏状态中奖励信息集中于稀疏神经元子集,形成价值神经元(预测状态价值)和多巴胺神经元(编码时序差分误差)两类单元。该子系统具有跨数据集和模型的鲁棒性与可迁移性,因果证据证实其编码奖励相关信息。价值神经元可作为模型置信度预测器,多巴胺神经元能作为过程奖励模型(PRM)引导推理时搜索。
研究发现大语言模型普遍存在“上下文牵引”现象,模型会对输入提示词中曾出现过的任意 Token 赋予显著更高的 logit 概率,即使这些 Token 是随机的且与问题无关。
研究显示多轮强化学习(RL)在 LLM 智能体上的增益高度依赖交互预算,当轮数预算收紧时轨迹级优势会显著减弱。其核心优势集中于错误恢复与长程韧性,而非均匀提升单步决策质量。 针对部署风险,论文提出 BudgetMix RL 作为替代方案,在训练中动态调整交互预算。实验表明该方法能在多种执行设置下保持稳健性能。
研究发现,基于编码器的上下文压缩在保持高重建保真度的同时,系统性地削弱了指令微调大语言模型的拒绝行为,且该效应跨模型族和压缩架构持续存在。 机制分析表明,压缩会衰减解码器学习到的拒绝方向上的激活值。
研究者发现 Mixture-of-Experts (MoE) 路由器能作为无需训练的接口控制推理行为,通过编辑路由器分数可避免模型“过度思考”。 该干预使生成 token 数量中位数减少 30.4%,最高达 63.3%,且准确率下降不超过 0.5 个百分点,甚至常有所提升。 这为优化测试时算力提供了轻量级机制,使模型在解题后及时停止而非跳过必要步骤。
AGORA 提出基于项目反应理论聚合器,无需人工标签即可从所有项目联合学习裁判可靠性。 该方法将每个项目置于潜在质量尺度上,通过灵敏度参数和有序评级阈值描述裁判。在三个基准测试中,AGORA 表现优于或持平 Dawid-Skene,且在小规模评测集上优势更显著。
SpecCompact 框架通过槽位并行语义推测验证,将 LLM Agent 上下文压缩速度提升 2.04 至 5.63 倍。该框架微调小型草稿模型并行生成摘要槽位,由目标模型验证并修复被拒内容。在 Hermes 系统的用户研究中,其中位压缩速度进一步达到 8.68 倍。
研究提出 FinDendro 基准,包含 1999 至 2026 年间 2226 条带日期的美国金融事实,用于验证模型知识截止日的可靠性。 测试显示 GPT-5 在受控事实上正确率达 76%,但仅自报知晓 38%;知识主张可超出实际边界多达七个季度。 研究发现无法通过自报、指令或名义截止日认证回测无泄露,主张采用行为测量法确定回测时段。
针对多语言 LLM 在证据条件关系推理上的表现,研究构建了 Rel-Bloom 诊断基准。 Rel-Bloom 包含 450 道选择题,覆盖 6 种语言、43 个模型及 5 级认知层次。
语言模型训练数据在域外行为中存在意外副作用,现有孤立样本少导致理解泛化困难。研究人员提出自动发现带有意外副作用的数据集(DSSE)的方法,该数据集需激发目标行为、看似普通后置训练数据且让审核者感到惊讶。
该研究通过结合滑动窗口、固定前缀和相关 token 预算的稀疏注意力,加速混合 LLM 的长上下文解码,无需重新训练。 在 4B 至 397B 参数的六个模型上验证,处理 64k/256k 上下文时速度提升最高达 2.23 倍,且保留了基线模型在 21 个长上下文数据集上的精度。
研究利用 1-30 间的数值选择考察语言模型偏好,在 Qwen3-4B 中通过扰动探测发现前答案编辑可使输出从 17 变为 15。 梯度归因与注意力输出替换显示,后续计算改变了局部贡献的下游影响,使 7 与 5 的对数几率差从 0.119 降至 0.0025 nat。 该研究将数值选择作为受控案例,揭示了持续状态的条件性下游处理机制。