ConstraintMatch:通过受限区域证据选择实现组合图像-文本匹配
提出无训练推理方法 ConstraintMatch,将实体级区域一致性转化为匹配成本,提升组合图像-文本匹配准确率。 在 Qwen 2B 和 CORE 2B 骨干模型上,该方法比全局匹配分别提升 7.70 和 5.63 个百分比点,优于 SGI 基准。 确立了实体级证据选择作为组合多模态检索的实用评分原则。
提出无训练推理方法 ConstraintMatch,将实体级区域一致性转化为匹配成本,提升组合图像-文本匹配准确率。 在 Qwen 2B 和 CORE 2B 骨干模型上,该方法比全局匹配分别提升 7.70 和 5.63 个百分比点,优于 SGI 基准。 确立了实体级证据选择作为组合多模态检索的实用评分原则。
基于 SHAP 的 xAI 框架分析了经微调的 DistilBERT 和 RoBERTa 检测器,使用开源 LLM(Llama 3、Mistral、Gemma)合成的超本地新闻 OOD 数据集进行评估。
DepthGraft 提出层级 KV 共享架构,在 0.5B 至 16B 参数模型上验证性能提升并降低 KV 缓存用量约三分之一。 该架构通过步长对齐的浅层-中层源对重建深层 KV,在 16B MoE 模型上取得 MMLU-Pro 绝对提升 7.0%、CMMLU 提升 6.6%、C3 提升 6.4% 的成绩。 实验结果验证了 DepthGraft 作为大规模预训练可扩展设计的有效性。
MicroMouse 是一种自动选择性 SFT 框架,通过相对势(REP)对比金标答案与干扰项,识别长 CoT 中的有害监督并进行屏蔽。 该方法在多个推理基准上平均相对提升贪心准确率 5.5%、Pass@1 提升 2.6%,输出长度减少 8.8%。 有害监督识别平均耗时仅 1.7 秒,提高了推理效率。
研究证实共谋智能体的 J-space 包含共谋信息,在 NARCBench 基准中 86% 的共谋者表现出误导性表征。 提出的 J-PACT 方法在 GPT-OSS-20B、Llama-3.3-70B-IT、Qwen3-32B 及 DeepSeek-V4-Flash 上保留 85% 的 AUROC,并识别 99% 的共谋对。 该无监督方法为监测多智能体系统中的隐蔽协调提供了新工具。
MedPsy 是专为边缘设备设计的小型医疗 LLM 模型族,包含 1.7B 和 4B 两个版本。 通过合成医疗数据流水线、基于 235B 教师模型的 CoT 目标,以及四阶段后训练策略(两阶段 SFT 和两阶段含难例挖掘的 RL)优化模型。
TAC-CoT 是一种工具赋能的自适应隐式 CoT 框架,用紧凑的潜在推理片段替代显式推理轨迹,仅保留用于工具调用、观察和最终答案的文本 Token。 在智能体数学和 QA 基准测试中,该框架将准确率提高至多 8.8 个点,同时将模型前向传播次数减少至多 6.8 倍。 分析显示 TAC-CoT 提升了单工具和多工具设置下的工具使用质量。
研究发现少于 11% 的模糊查询会触发 LLM 追问。团队提出 VagueBench 基准测试 DialogGRPO 强化学习方法。 DialogGRPO 在 88% 的模糊查询中成功提取缺失信息,优于提示词基线,并零样本泛化至 MultiWOZ 2.4。该方法实现了细粒度信用分配,提升了回答覆盖率。
EarlySelectKV 通过跨层查询代理实现预测性 KV 索引预计算,使路由脱离即时注意力路径。 该免训练方法在 RocketKV 基准中质量差异极小,LongBench 偏差仅 +0.018 分。 TensorRT-LLM 部署下,端到端吞吐量提升 12.4%,GPU 显存占用降低 11.1%。
XDecideBench 发布涵盖 122 种语言、88,425 条文本的跨语言类型化决策模型评测基准。 三个开源微调模型在 12 种开发语言中全面超越基座 Qwen 模型,且在低资源语言中准确性增益更大。 结果显示英语最佳模型在约 1/4 组合中落后,且基于英语设定的 5% 置信度阈值在其他语言中失效。
summary_zh: 一项涵盖 Claude、GPT、Grok 和 Gemini 等六款大语言模型的系统提示词自我修改实证研究揭示了收敛行为的显著差异。研究包含 54 项独立实验,其中 Claude Opus 4.5 和 Claude Sonnet 4.5 在 100% 的运行中声明收敛,而 GPT-4o 仅在 11% 的运行中收敛。
研究表明,即使经过大量剪枝,部分大语言模型在匹配采样预算下的 pass@k 推理覆盖率仍能达到或超过原始模型,尽管其 pass@1 有所降低。 在严重剪枝下,生成多样化的思维链(CoT)轨迹的同时,重复率增加且生成可靠性下降,导致正确解法更难采样,总 token 使用量可能大幅上升。 该发现强调评估剪枝效果需同时考量模型可解决问题的范围及获取正确解法的采样成本。
summary_zh: 提出多级推理(MLR)方法,将长CoT重构为高层规划器与低层执行器的两级随机过程,解决长程规划漂移导致的推理失败。 采用轻量级LoRA模块实现高层策略,并引入迭代Step-DPO结合TSMC提供可规模化的逐步监督。
研究通过分解推理阶段发现,独立采样可复现树搜索的候选发现能力,且结构验证从未剔除最后一条正确工作流。主要失效源于多数投票机制,导致10%-19%的任务中已发现的正确工作流未被选中。结果强调应审计实际而非名义推理管道,并分开报告发现、有效性与选择。
MEMENTO 基于 Qwen3-8B 开发,通过微调合成轨迹与强化学习训练上下文压缩,解决代理模型长上下文管理痛点。在 2.5M token 书籍问答测试中,将准确率从 36.9% 提升至 67.8%,上下文占用不超过 20K tokens。其性能超过 GPT-5.5 代理,并以更低成本接近 GLM-5.3 水平。
提出Schrödinger-Föllmer Actor-Critic (SFAC)离线到在线强化学习方法,通过条件扩散实现KL正则化策略改进。 利用最小极大Bellman评论家估计动作价值,并通过Doob h变换将更新表示为参考扩散漂移的修正。 在六个连续控制任务中,经过500K次在线交互后,其最终检查点回报高于行为克隆初始化。
研究建立了未知异质几何下 Transformer 非参数上下文学习的极小极大下界,并构造了匹配上界的 Oracle 切线局部多项式估计器。 该估计器对应于带几何预条件器的两阶段 softmax Transformer,具备对数深度和多项式规模,实现可忽略的近似误差。 相关结果确定了预测器利用局部几何并达到极小极大速率的条件,论文已被 NeurIPS 2026 接收。
现有基于置信度的无验证器测试时扩展(VF-TTS)方法在复杂任务上会崩溃,因其倾向于选择“高置信度但错误”的解。该研究提出 Consilience 框架,通过组合指标主动惩罚高初始置信度并强制要求最终确定性。 在研究生级别数学问题和自由形式代码生成实验表明,Consilience 有效优于现有基线方法,验证了其对完成置信度的新颖视角。
研究表明,使用 MLP 激活值优化上下文学习示例选择效果不佳。 测试 Llama-3.2-3B 和 Qwen2.5-3B 模型发现,激活值与任务表现相关性极低,绝对 Spearman 相关系数最高仅 0.33。 因此不应使用基于此类激活值的采样方法,未来可探索稀疏自编码器方向。
论文建立高斯过程(GPs)与线性扩散模型的显式等价性,将预测采样重构为 ODE,并首次实现基于 LLM 自然语言的条件化。 该机制通过蒙特卡洛近似处理非线性物理等任意点似然评估场景,利用去白化处理不可约非高斯动态,无需专门推导即可生成通用 GP 推理方案。 研究为将现实世界知识作为条件信息纳入概率建模开辟了新前沿。
研究提出基于条件分位数匹配的迁移学习框架,利用异构源域提升数据稀缺目标域的回归预测性能。该方法通过校准生成响应作为伪标签增强目标数据,并推导了经验风险最小化的超额风险界。
研究提出 Random-Features Hopfield 模型,通过随机投影和非线性变换生成模式,利用副本方法推导其相图。 模型揭示了除检索相外,还存在一个新的学习相变,其中投影特征可从模式中无监督推断,而无需显式给定。
提出 GaugeLasso 方法,在训练阶段自适应移除 Transformer 低效用通道以实现结构压缩。 该方法通过加性对称群 lasso 罚项解决规范自由度导致的去稳定问题。
研究提出NashDreamer框架,利用中心化多智能体递归状态空间模型(MARSSM)解决双玩家零和不完全信息博弈。 该架构在五个基准游戏中展现出比无模型基线显著更高的早期训练样本效率。 论文已被NeurIPS 2026接收,并识别出Dreamer系列算法在随机环境中的后验坍塌漏洞。
研究证明在满足混合与稳定性条件下,通过重复改写可使机器生成分布收敛至人类目标分布。 论文推导了显式收敛速率,分析了语义保留与质量约束对速率的影响,并扩展至有限样本以表征所需人类数据与改写轮次的缩放关系。 该工作通过学习人类保留重写核,将分析扩展至非共享参数设定。
研究发现有限差分(FD)在精度上匹配自动微分(AD),且运行速度更快、GPU 内存占用显著降低。 在含样本间依赖的架构中,FD 提供了比标准 PyTorch autograd 更准确的前向近似,误差低一个数量级。 针对特定基准 PDE 问题,提出的随机变体在稳态问题上性能优于 AD。
该研究提出 GRIMIP 框架,将 LLM 的语义推理能力与贝叶斯优化 (BO) 结合,用于混合整数规划 (MIP) 求解器的高维超参数配置。 在包含 MIPLIB 在内的七个基准测试中,GRIMIP 在困难实例上将原对偶积分 (Primal-Dual Integral) 降低超过 40%,性能优于 SMAC 及其他 LLM 辅助 BO 方法。
HERALD 提出首个支持 KV offloading 的块扩散 LLM 动态稀疏注意力方法,解决长上下文推理瓶颈。 该方法利用块内 KV 子集复用特性隐藏检索延迟,在 K=1024 时相比 MAGE 加速 2.59 倍。 显著提升 decode 吞吐量达 8.38 倍,且精度近乎无损。
FuRA 通过全秩 SVD 谱预条件实现高效微调,在同等可训练参数下优于全量微调。 方法采用块张量训练分解,固定预训练 SVD 基以约束更新,在 LLaMA-3-8B 常识推理任务中提升 1.37 分,量化变体 QFuRA 也超越 QLoRA。 代码已开源,适用于大语言模型微调、数学推理强化学习及视觉指令微调。
研究人员建立了 Transformer 在大上下文领域的定量统计理论,提出上下文流映射(CFMs)框架。 该理论证明有限上下文模型近似理想无限上下文系统,偏差界达到 Wasserstein 速率 n^{-1/d} 及参数速率 n^{-1/2}。 分析依赖新的欧拉日共轭损失梯度公式,为前向-共轭系统提供稳定性估计。
DualKV 提出首个消除共享提示复用的 FlashAttention 内核变体,实现与标准注意力数学等价。 在 Qwen3-8B 上支持 8K 上下文和 32 次 rollouts,策略更新提速 1.63-2.09 倍,MFU 从 36% 提升至 76%。 该方案扩展至 30B MoE 模型和 64K 长上下文 Gemma-4-31B,有效解决大 rollout 长上下文训练瓶颈。
Value-Filtered Decoding 通过值基础安全准则过滤 token,减少不必要的干预并提升回复安全性。 该方法提供误干预概率的显式界限,单一阈值超参数控制该界限,在多个数据集上优于现有基线。 实现了安全性、有用性与基础模型相似度之间的更好权衡。
提出在线贝叶斯校准框架 BRPC,通过两阶段滤波解决参数与偏差混淆,并引入重启机制应对突变系统。 理论分析提供了渐进演化下的跟踪误差界及误报检测行为证明,实证结果显示 BRPC 优于现有最先进方法。 该框架适用于数字孪生和计算机实验中具有流式数据、模拟器失配及非平稳性的场景。
稀疏自编码器(SAE)在合成设置中仅恢复9%的真实特征,尽管解释了71%的方差。 在真实激活实验中,随机基线在可解释性(0.87 vs 0.90)、稀疏探针(0.69 vs 0.72)和因果编辑(0.73 vs 0.72)上均匹配全训练SAE表现。 当前SAE无法可靠分解模型内部机制。
基于 PPG 的基准测试表明,PPG 专用时序基础模型整体表现最强,但优势并非普遍存在。 该研究对比了 MOMENT、Chronos-2、GPT-PPG 等 4 类模型,在 51 项任务中发现全模型微调会缩小专用模型优势,且最大模型变体仅在约 1/3 情况下最优。 研究显示 PPG 特定预训练具有任务依赖性,建议在评估时纳入传统 ML 基线作为对照。
研究人员提出一种顺序不变强化学习框架,用于解决黑盒组合优化问题,该方法通过随机采样生成顺序来训练模型。 框架适配了 Group Relative Policy Optimization (GRPO),实现了稳定的策略梯度更新,并在多种基准测试中频繁取得最佳性能。 该方法增强了搜索空间的多样性,避免了传统分布估计算法中学习显式依赖图的开销。
提出端到端自调优图工具包 HGCN(O),通过 T-GCN 架构在节点层处理事件信息、图层处理序列信息,结合超模型优化自动确定模型结构与训练配置。在两个均衡基准上核心 T-GCN 的 F1 分数为 1.0000,在高类别不平衡数据集上加权 F1 为 0.8639,优于 GAT 的 0.8318 和 TransformerConv 的 0.8453。
在高维参数设置下,研究二阶顺序机器遗忘方法的误差累积。分析共轭梯度法作为逆 Hessian-向量积求解器的效率。 理论表明,最多 1/2/2/3 次 Newton-CG 更新即可满足四种认证标准并消除群体风险退化。数值实验显示,相比梯度更新,Newton 结合共轭梯度法在病态问题中计算收益显著。
在物理、医学和计算机视觉的5个基准测试中,异常检测器标记成员作为分类器首先学习的对象。 在3种系统中,确认新类别中排名最高的成员比确认相同数量的随机成员具有更低的识别率。将后续选择交给提升的分类器在2种系统中可以恢复部分损失。
VERS 框架通过编辑自然语言自动编码器的解释来引导推理模型,在 GSM8K 测试集上减少 45.8% 的生成 token,准确率仅下降 0.82 个百分点。 该框架在 MATH-500 上节省 31.3% token,准确率下降 3.05 个百分点;在 Qwen3 235B-A22B 模型上可迁移并节省 30-35% token,但在竞赛题上准确率损失 3-7 个百分点。