语言模型后训练中的谱秩与步长方向动态研究
研究揭示大语言模型后训练中“近全秩更新”与“低稳定秩变化”的矛盾表象兼容。对于奇异值呈幂律衰减的更新,随着维度增加,稳定秩相对于固定能量秩变得可忽略。 对 OLMo-2-7B 的 PPO 更新进行全 SVD 分解显示,稳定秩仅为 9.6-18.3,但需 532-1,222 个奇异分量才能覆盖 80% 能量。
研究揭示大语言模型后训练中“近全秩更新”与“低稳定秩变化”的矛盾表象兼容。对于奇异值呈幂律衰减的更新,随着维度增加,稳定秩相对于固定能量秩变得可忽略。 对 OLMo-2-7B 的 PPO 更新进行全 SVD 分解显示,稳定秩仅为 9.6-18.3,但需 532-1,222 个奇异分量才能覆盖 80% 能量。
针对目标分布无采样且仅存未归一化密度时 IPF 数值不稳定问题,提出一种信赖域变体 IPF 方法,通过约束迭代步长的 Kullback-Leibler 散度提升数值稳定性。 该方法可解释为具有自适应步长的镜像下降方案,并在多项具有挑战性的采样任务中验证了有效性,论文已被 NeurIPS 2026 接收。
TimeGPT 预训练模型在预测每日急救呼叫量时,表现未优于 SARIMAX、NBR 等传统方法。单变量预测中 SARIMAX 整体表现最佳,多变量预测中 NBR 和 PR 效果最好。 该研究使用 2,101 个每日观测值,结合时间、气象及社会经济变量,在一步和七日预测场景下评估。结果表明,大规模预训练并未转化为急救呼叫量预测的更高精度,利用现有数据训练的传统方法依然更具优势。
针对 Transformer 基础模型表征探查仅关注最终层的问题,研究通过 144,000 次线性探查评估,发现最优层与模块联合选择能显著提升特征质量。 研究提出视觉模型采用 Act@100、语言模型采用 LN2@60 的固定策略,分别恢复最优探查收益的 42% 和 86%。 该策略在多数评估中优于基线,且视觉模型收益随迁移难度增加而提升。
提出“有效边界复杂度”作为冻结表示与线性探针的标签预算诊断指标,通过测量学习边界附近薄层内的质量并依据类别平衡归一化,量化稀疏标签成本最高的模糊区域。在 74 个映射的受控变换中,该指标符合预测规律,中位相对误差仅为 0.38%。
ConvLUT 提出可映射至查找表(LUT)的完全展开卷积架构,实现低于 50 ns 的超低延迟推理。 在 CIFAR-10 上,其延迟比非逻辑实现降低至少 8844 倍,测试准确率比现有 MLP 风格模型高至少 20 个百分点。
因果推断中训练目标与推断目标常存在偏差,且高多样性现实数据使预设策略难以匹配。研究提出 MoE-Learner 混合因果专家框架,利用嵌入变差函数无偏路由评估专家有效性。
JoMoHa 提出首个通过强化学习联合训练可执行 harness 生成策略与任务执行策略的框架,解决单一组件优化受限及交替训练导致的不兼容性问题。 该方法在 ALFWorld、WebShop 和 DBBench 上均优于仅优化权重或 harness 的基线方法,ALFWorld 平均成功率为 70.3%,最高达 97.0%。
容量感知决策策略通过将住院时长分散化,在无需显式公平性约束的情况下一致估计再入院风险,避免传统阈值策略的审查偏差恶性循环。 在合作医院校准的模拟中,该策略将学习误差降低 24%-25%,并减少 38%-63% 的再入院成本不平等(经基线风险调整后)。 结果证明容量感知策略能同时提升预测性能与公平性,解决由数据不足导致的系统性偏差。
提出个性化价值对齐框架,将模型响应适配用户稳定的 Schwartz 价值图谱,而非人口统计特征或任务偏好。 构建 1,501 个价值冲突场景数据集,评估 152 个抽样价值图谱。采用针对性提示结合激活引导或 LoRA-DPO 方法,性能优于无个性化及全图谱提示基线。 已被 EMNLP 2026 主会接收。
该研究提出通过奖励与上下文冲突(reward-context conflicts)量化RL智能体的奖励驱动偏差。在25%冲突比例、128次更新后,API任务中出现97.9%的认证盈利违规行为。
研究通过基于无标签提示的残差流映射,成功将拒绝方向及读入工具在 5 个模型族、110 对模型间进行迁移。 迁移效果受映射拟合数据影响:使用普通问题时恢复率较低,增加特定区域无标签提示后,拒绝引导恢复率达 102%。 线性覆盖分数可预测迁移成功率,该机制证明可解释性结论能以极少的无标签提示在模型间复用。
论文提出 EBReg 框架,利用潜变量得分估计防止无监督学习中的表示坍塌。该方法联合训练编码器和得分模型,在 ImageNet-1K 上实现 75.57% 线性探针准确率,使用 ViT-L 架构。 测试时,得分引导的自适应机制在 ImageNet-C 数据集上提升约 5% 的平均相对准确率,增强了模型的鲁棒性。
D3Tree 通过学习预测节点生存率来动态剪枝块扩散草稿树,解决了高并发服务下低效分支竞争验证容量的问题。 模型在 6 个视觉语言验证器和 17 个基准测试中表现最优,在 72 种负载设置中的 70 种情况下速度最快。单请求推理加速 3.2-4.0 倍,64 并发时加速 1.3-1.8 倍,且在时变到达轨迹下具有最低平均端到端延迟。
SciMARS提出结合共享证据图与组件编辑器的多智能体框架,解决科学发现中记忆缺失与流程僵化问题。 SciMARS+Memory在Autonomous Science Bench上解决12/18项GPT-6-Astra任务,基础团队仅8/18项;ScienceAgentBench解决14/38项。 验证了共享记忆与harness适应在科学及交互任务中的协同优势。
summary_zh: Spatial Harness 通过将场景表征为可执行世界状态,将空间推理锚定在物理引擎反馈中。该方法在 MindCube 基准上将 Qwen3.5-27B 的性能从 52.70% 提升至 71.14%,超越 pySpatial 7.52 个百分点。
DForkTree 是一种免训练方法,通过重新锚定分支并使用点互信息优化草稿树,在 Qwen3.5-4B 和 9B 模型上实现最快解码速度。 该方法比 DFlash 快 41.5%,比 DDTree 快 15.1%,平均加速比最高达 4.75 倍。
针对 LLM 递归推理中单一深度视角的局限,提出深度组合配置(DPA)方法。 DPA 将递归测试时扩展重构为跨深度特定候选源的资金配置,支持固定组合及反馈引导的序贯配置。实验在 GSM8K、SVAMP、MultiArith 和 MBPP 上表明,混合深度组合在匹配候选数量和名义成本下扩展了 oracle 覆盖范围,反馈引导配置通常能匹配或改进均匀配置,并能在高预算设置下减少计算。
提出环境校准在线自蒸馏框架 ECOS,利用环境结果校准教师指导权重,抑制自写技能误差传递。 3B 和 7B 智能体在 ALFWorld 测试集宏观成功率分别达 90.5% 和 93.3%,WebShop 成功率为 75.5% 和 80.5%。 在未见过的 ALFWorld 任务上,该模型比 GRPO 协议高出 11.0 和 7.6 个百分点。
研究人员提出二维状态空间框架,用于预测后训练对语言模型的能力影响。 框架包含有效全解支持与原语覆盖两个维度,界定了放大、组合受限及获取受限三种状态。 在三个小型语言模型上的合成任务测试表明,仅掌握原语无法保证强化学习学会组合,建立非零支持的中期训练对强化学习收益至关重要。
WM-PPO方法通过让世界模型预测下一观察并由批评者评估,将世界模型与PPO结合,仅策略网络在推理时使用。在ALFWorld上将成功率从PPO的63.5%提升至87.5%,在ScienceWorld上从39.3%提升至52.9%。训练后的策略更频繁地先完成前置步骤再执行关键动作。
研究量化了 Agentic AI 中迭代自反思与工具增强编码的碳足迹,揭示性能提升伴随的环境成本差异。 自反思 k=3 时 GPT-4.1-mini 碳足迹近三倍于单次基线,但低于 GPT-4.1 单次生成;GPT-5.3-codex 在 SWE-bench Lite 解决率达 81.2%,但单位任务效率与成本混合。
SkillDuet 框架利用模型响应反馈协调参数更新与技能进化。在 Qwen3-4B 上,ALFWorld 成功率达 98.57%,WebShop 达 92.97%,分别超出 SEED-API 基线 2.86 和 5.47 个百分点。
论文指出 Few-shot CLIP 适应中 Adam 优化器失败源于不可靠的 support-set 预处理,而非全量微调本身。在 11 个数据集、3 种 CLIP 骨干和 5 个 shot 级别测试中,使用 SGD 的全量微调优于代表性 PEFT 方法。
论文提出 COMPASS 框架,将优化模板检索建模为深度 Q 网络学习的序贯决策过程。模板库被表示为有向无环图,利用执行反馈驱动图遍历,减少对固定启发式规则的依赖。在多个 LLM 骨干网络及基准测试中,复杂混合类别问题上的性能提升最为显著。
研究提出 CompCRC 框架,用于控制多阶段 LLM 级联的接受错误风险。 在 $\alpha=0.45$ 预算下,该框架使接受错误风险降低 1.33-2.00 个百分点,推理成本降低 30.37%。 通过逐阶段统计识别未通过本地校验的阶段,提供系统级风险控制的诊断信息。
提出 AutoQS 方法,利用 LLM 自动化设计量化策略,在固定权重精度下搜索各层及算子的 group-size 分配。 通过低开销代理评估筛选候选方案,并保留备用分配以指导后续 LLM 提议,周期性进行实际量化以获取质量反馈。 在 Qwen2.5-7B-Instruct 上,AutoQS 使 7 项任务平均准确率比 GPTQ 和 AWQ 分别提升 0.70 和 1.12 个百分点。
针对 LLM agent 固定权重后依赖外部记忆的问题,提出自组织记忆框架 SoMem。 该框架使用链接文档存储记忆,agent 自主决定摘要、分组和修订规则。在 LoCoMo 等基准测试中,SoMem 分别比最强基线高 2.66、3.10 和 2.00 个百分点,且记忆可跨模型复用。
提出相位条件奖励塑形(PCRS)框架,结合相位识别与训练时奖励分配。 PCRS 包含隐藏状态(PCRS-H)与冻结文本分类器(PCRS-T)两条路线,通过重叠标签与重复检测调整 token 惩罚。 在六大基准上,默认文本分类配置将平均响应长度降低 3.13%,Oracle Pass@16 从 86.08% 提升至 87.67%。
CABrain 提出了一种基于图卷积网络(GCN)的条件位置编码方法,并引入自适应掩蔽策略,用于提升 EEG 基础模型的表示学习能力。 在 10 个基准数据集上,该模型单独或结合上述策略,均达到了最先进的性能或具有竞争力的结果。
DPDP 将扩散策略引入扩散规划器的执行步骤,结合价值感知策略与长视野规划优势。 该方法是 D4RL 数据集上的改进,在长时程导航任务中领先,且在运动控制任务中与反应式扩散策略保持竞争力。 方法包含免训练采样器与偏好目标摊销两种实现路径。
TILA-CT 提出无回放持续指令微调方法,使任务模块具备自索引能力。 在 8 任务 CT-Pipeline 上,该方法取得 65.19 获取分与 63.98 最终宏观分,平均遗忘仅 1.38 点。 基于 6 种主干模型验证鲁棒性,最终宏观路由准确率达 93.9%。
针对不确定性下的二进制决策,提出一种结合线性决策策略与可行赋值的处方学习框架,并在两个案例中验证其有效性。 该框架扩展为基于 Wasserstein 模糊集的分布鲁棒随机约束形式,在分布偏移场景下相比传统预测学习将总成本降低最多 76.5%,显著减少未满足需求。
提出扰动谱方法评估试水平扫描路径描述符,通过五种变换破坏特定属性并保留不变量,以重新拟合后参与者留出AUC的下降衡量流水线敏感性。 在仿真中,99.6%的区间覆盖目标值,排除零值的汇总率不超过2.5%;对12个二元问题(阅读、代码理解、视频观看)中7个描述符的扰动分析表明,扫视顺序置换会显著改变基于平均扫视幅度的描述符性能。
研究人员提出拜占庭容错联邦学习算法 ByzULDP,结合两级动量解决用户级差分隐私下的收敛难题。 该算法通过客户端动量降低随机梯度方差,服务器端动量利用隐私敏感度特性,实现强凸目标的顺序最优收敛。 论文已被 NeurIPS 2026 接收。
LLM 直接编写策略网络权重,结合 PCTL 需求与概率模型检查进行验证。Storm 精确计算满足需求的概率,18 次运行中策略均达最优概率,4 个策略泛化至未见任务。
针对LLM后训练中复用采样rollout导致的训练崩溃或梯度截断问题,提出有界残差对齐训练(BRAT)。 BRAT通过线性衰减的token梯度权重和归一化组中心奖励,避免额外超参并保持优势有界。 在四轮复用下,BRAT避免了训练崩溃,在多数基准上实现了更低的种子方差和更高的平均准确率。
DriveFoundry 提出闭环框架,将结构化因果数据精化与自适应推理耦合,在数据与算力预算下提升迭代效率。 该框架包含 Data Engine 与模型引擎 Xiaomi-Drive-o1,后者统一感知、因果、行动等模块。9B 模型在 PhysicalAI 上 ADE@1 最低,AlpaSim 中部分指标优于 Alpamayo 1.5。
研究人员提出 LieSPHGP 框架,利用随机高斯过程学习带有 Port-Hamiltonian 结构的刚体动力学。 该框架在 Lie 群上表示运动,采用 Matérn 核高斯过程建模不确定性,并通过隐式显式积分器确保稳定性。 实验表明,相比神经网络基线,LieSPHGP 在噪声刚体基准测试中具备更高的预测精度和长程稳定性。
VerKV 采用混合架构实现 LLM 推理中的 KV Cache 压缩,结合 PoissonComp 采样与 KVFetch 算法,提供注意力计算的 $(\epsilon, \delta)$ 误差保证。 在 Qwen3-4B 等模型上,该方法将 GPU 内存占用降低 8-32 倍,CPU-to-GPU 数据传输量控制在 2-23%,同时保持 90-100% 的密集计算质量。