上下文学习任务向量的分布对齐设计准则
论文提出 $d_{\text{NTP}}$ 度量以量化任务向量与上下文学习在下一 token 概率上的差异,并指出其与下游准确率呈强负相关。 作者基于此设计线性任务向量(LTV)方法,通过闭式线性映射最小化该度量。
论文提出 $d_{\text{NTP}}$ 度量以量化任务向量与上下文学习在下一 token 概率上的差异,并指出其与下游准确率呈强负相关。 作者基于此设计线性任务向量(LTV)方法,通过闭式线性映射最小化该度量。
研究探索利用大语言模型将非正式导航指令转化为答案集编程规则,解决自动驾驶在动态城市环境中依赖预定义地图导致的适应性难题。 答案集编程提供非单调推理能力,使车辆能在道路布局变化或地图数据缺失时进行自适应决策,增强了导航的可解释性。 该方法通过自动翻译逻辑规则支持基于语义的决策制定,提供了与人类沟通导航意图高度一致的动态规划框架。
研究揭示低损失区域不对齐是引发 Grokking 的关键机制,并在标准模块算术任务中构建了“反-Grokking”反例,挑战了现有关联解释。 基于模态连通性的分析框架表明,当训练与验证划分的低损失区域对齐良好时,仅调整超参数无法产生 Grokking,模型动态将坍缩为可训练或不可训练状态。
预训练视觉表征的几何结构支持抽象推理,直觉向量能区分794项任务,准确率最高达87.2%。 直觉向量在ARC测试集上性能优于完整示范条件,测试时计算量减少近六倍,并支持零样本推理。 预训练视觉表征为抽象推理提供了可迁移的基础,实现了由关系结构引导生成式推理的模块化方法。
研究指出神经组合优化求解器中,均匀分布工作负载下的非均匀预算分配增益实为抽样偏差。 三个预训练求解器(POMO, AM, SymNCO)在分布内样本中报告2.2%-2.6%的伪增益,分布偏移下真实增益达11.5%。 文章发布纠正程序、报告清单及全部代码与预注册记录。
针对理论级自动形式化难题,该研究提出独立基准 LCS-Bench。它基于《计算机科学逻辑》构建,包含 327 个教材条目及 4,076 个 Lean 声明。 采用半自动智能体流水线生成,涵盖 85K 行代码,并支持 5 条评测轨道。
研究者提出 SKMD 采样方法,通过交互粒子动力学为机器学习原子间势(MLIP)获取信息丰富的训练构型。 该方法采用全局原子描述符内核以感知对称性,保持 Boltzmann 分布为平稳分布,并在 Müller-Brown 势能、MACE 模型等案例中,比基线方法以更少迭代次数实现更高精度。
研究人员提出可扩展的类优化任务族 OPT*,包含可行性检查器与评估器,通过复杂度参数扩展 LLM 的搜索空间。 该框架对比了求解器引导的在线策略优化(使用 rank-based reward shaping)与无求解器时的搜索型离线 RL,并在理论层面关联了搜索预算下的信息提取效率。 在 OPT* 上的训练被证明能提升 LLM 逐步类优化推理的表现。
研究提出 CauSim 框架,通过由大语言模型增量构建可执行结构因果模型(SCM),将稀缺标签的因果推理转化为可扩展的监督问题。 CauSim 将不可执行的因果知识形式化为代码,实现跨表示的泛化,并支持通过课程扩展和数据量增加获得一致性收益,以及 LLM 自我改进。
PRCO 提出基于共享策略的双角色 RLVR 框架,在 8 个基准测试中将平均准确率提升 7 个点以上。 框架通过 Observer 生成证据描述、Solver 预测答案,并采用角色特定奖励解决信用分配模糊问题。 该方法性能优于先前开源的 RL 调优基线模型。
提出 CORE 强化学习框架,通过引入概念监督信号解决大语言模型在数学推理中“解题对但概念错”的问题。 在 RLVR 基础上,CORE 合成概念对齐测验并注入概念片段,结合轨迹替换或 GRPO 进行训练。 在多个模型上,CORE 于领域内概念测验及领域外数学基准上均优于 vanilla 和 SFT 基线,论文已被 ICLR 2026 接收。
六款大型推理模型与1854名人类受试者的实验显示,模型在人耗时更长的案例中产生更长思维链。 当两个帖子攻击性相同时,人类响应时间增加31%,模型思维链长度增加51%至306%;按语言类型分组时平均推理 effort 与响应时间高度相关(r = 0.85-0.93)。 研究指出推理轨迹可用于优先处理困难案例并增强可解释性。
研究通过整合浅层 Minimax 搜索至多智能体 MCTS 的 rollout 阶段,提升了 3v3 跳棋中的策略可解释性。 该混合方法克服了 MCTS 易落入战术陷阱的弱点,并利用过程挖掘技术解释智能体策略,论文发表于 AAAI 2025 PRL。
论文提出 DP Double-Spider 方法用于非凸 DRO,并证明其效用界为 O(1/√n + (√d log(1/δ)/(nε))^(2/3))。 针对 KL 散度情形,提出 DP Recursive-Spider 方法,达到与最优已知 DP-ERM 相同的 O((√d log(1/δ)/(nε))^(2/3)) 界。 实验表明所提方法在 DP 极小极大优化中优于现有方案。
基于丰富自我报告数据的 AI 模拟可显著降低人口统计提示带来的预测误差与样本统计扭曲,在 General Social Survey 项目中,使用访谈和调查数据使准确率从 60.4% 提升至 72.8%。 研究对 1052 名受试者进行了两小时访谈,发现组合数据可弥补 53.5% 的扭曲差距;微调模型虽达到 75.2% 准确率并修复 69.3% 的扭曲,但未能消除经济博弈中的过度理性偏差。
研究提出结构-残差归纳偏置,在 GPT-2 Medium 模型 300M 训练 tokens 中组合 BBC 与 CC 方法提升 1.44% NLL。 BBC 在早期层效果最佳,CC 在后层更有效;增益在高达 20B 训练 tokens 的运行中持续存在。 代码已开源,该方法可超越单纯 next-token prediction 改善预训练效果。
针对图学习中的异质性,SiGMA 提出一种门控混合图神经网络,在每层结合消息传递与注意力头。 各头由节点级 sigmoid 门控调制,允许模型自适应调节局部或全局机制,支持近恒等计算路径以避免过平滑,并促进非局部通信以缓解过挤压。 实验表明,SiGMA 在图级基准测试中表现强劲,性能一致持平或超越竞争性图 Transformer 及混合基线。
一项针对 2015 年至 2025 年五大学科 250 万篇全文论文的分析显示,大语言模型(LLM)尚未引发科学实践的显著断裂,除词频变化外,2023 年前的多数趋势延续且可检测中断有限。 研究发现计算机科学领域在亚洲的合著团队增长显著加速,而生物医学领域主题多样性的表观下降主要归因于文章格式的标准化。 该研究通过追踪词汇、结构、认识论和社会维度,为监控全球科学的健康状态建立了实证基础。
在 Qwen-2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上的审计显示,注意力头地图与标签盲响应长度地图的相关性高达 ρ = -0.950 和 -0.768,表面混淆因素显著。
研究发现智能体在首次停止后仍有验证增益但收益递减,总结保留不可能性判断导致后续探索低效。 提出上下文管理方法 SCoRe,在停止爆发时压缩上下文并标记判断为未证实。MiMo 在 2000 轮达到 67.0% 覆盖率,显著高于原始策略的 32.4% 和 GPT-5.5 的 58.6%。 表明持续执行结合上下文管理可激发更多漏洞利用能力,停止不必然代表智能体能力极限。
研究者提出 Tree-grams,这是一种通过二阶和三阶张量层次化组合构建条件概率的自回归生成 n-gram 模型,其性能超越传统 n-gram 基线并可与深度 Transformer 语言模型竞争。
VFM 树注意力验证器可并行评估 N 条自然语言准则,返回独立的三元判定。其预训练语料 CriteriaBank 包含 394K 数据元组,微调版 VFM-4B 在治理基准上优于 GPT-5.4。
Advantage-Gated Adaptation (AGA) 通过解耦正负样本更新机制,在组合生成、文本渲染和偏好对齐任务中持续改善奖励-质量权衡。 该方法对正样本保留标准目标拟合,对负样本采用移动策略预测处的一阶切线以保持局部排斥方向;参数无自由度门控定义为 omega(a)=max(-a,0),并由冻结预训练参考负责长程行为保持。
叙事连贯性显著提升 LLM 驱动蜜罐的欺骗效果。高级攻击者的中位会话长度从 40 条指令增至 165 条,放弃率从 86% 降至 52%。该效果在 16 组模型对和三种技能等级下均成立,推理成本相当。
提出一种适用于连续状态动作的鲁棒 Actor-Critic 方法,处理未知名义转移律及估计误差。 方法结合条件扩散模型拟合离线数据,通过极小极大准则估计鲁棒动作价值,并用指数加权分数匹配更新生成式 Actor,确保有限样本界。
研究团队提出 MentalGrid 基准及 SpatialWalker 模型,在空间模拟任务中比基座模型平均提升 33.8%,性能超越 Gemini-3-Flash。 该模型利用 16k 专用空间推理样本进行三阶段课程学习,在领域外基准上保持 4.9% 的平均增益。
研究人员提出 RICoT 提示框架,将大型语言模型处理多页文档分割任务重构为顺序流式过程,并发布包含 205 个脱敏金融案例的 FinancePSS-205 基准数据集。
论文提出将固定二进制神经网络(BNN)的推理语义组合翻译为 1-safe Petri 网,使计算步骤转化为显式变迁,从而生成因果追踪序列。 通过穷举输入-输出等价性验证了翻译的忠实性,展示了如何通过对比触发序列来定位单一特征改变对预测结果的具体影响。 该方法弥补了传统 SAT 验证仅判断属性是否成立的不足,开启了分析两个 BNN 决策分歧的因果追踪新方向。
针对块扩散语言模型(Block-diffusion LMs)长上下文推理中的内存瓶颈,提出 RISA 可恢复稀疏注意力方法,通过共享读取计划和分层缓存机制解决稀疏注意力导致的读集膨胀及信息丢失问题。
研究在Qwen3-30B-A3B模型上通过固定偏置引导专家路径,发现格式路径显著改变生成文本,而概念路径虽偏移下一词概率但几乎不影响输出。 分析表明格式一旦启动会自我强化,宗教与金钱概念在中间层引导效应最强,其强度与嵌入向量区分度及词频相关。
研究 Qwen3-8B 在 NVIDIA B200 上的混合精度量化,发现特定配置通过 FINAL-81 测试集全部门槛。 该配置包含 16-bit 激活、98 个 NVFP4 权重模块及 46 个 INT8 模块,权重内存占用 5.917 GiB。 相比 NVFP4 W4A4,配对准确率提升 1.4 个百分点,TPOT 比为 0.939,验证了非加法性模块恢复效应。
针对在线线性二次控制(LQR),当最优控制器可辨识时,确定性等价算法可实现 $O(\log^2 T)$ 的期望遗憾。 该研究证明,奇异输入罚项放宽了可辨识性条件,扩展了确定性等价策略的有效范围;在可辨识性失效的情况下,则给出 $\Omega(\sqrt{T})$ 的极小极大下界。 这一结果揭示了奇异罚项在降低未知线性系统辨识需求及处理欠驱动系统(如小车-摆问题)中的理论优势。
研究证实,常深度局域量子电路可精确且可逆地连接两个经典概率分布,而经典随机传输需更大空间范围,确立量子-经典分离。 论文在一维链上展示此分离,并基于非局域博弈发展图上的通用构造原理;源分布本身可由简单局域经典过程生成,确立分布生成中的量子优势。 结果揭示了经典与量子局域可逆性的根本区别,即便初始和终态完全为经典。
该研究通过反事实干预测试了 2-3B 视频语言模型是否真正依赖其引用的区域。 结果显示,在 CLEVRER 数据集上引用间隙为 0.089,而在 NExT-QA 上仅为 0.003。 这表明仅检查引用位置不足以验证推理有效性,必须移除链条中明确命名的实体以检测答案依赖。
RTLReviewBench 基准测试显示,12 款 LLM 在审查 Verilog 模块时极少漏掉 Bug,但频繁错误拒绝正确代码,误拒率超过漏检率的 5 倍。 该基准包含 114 对由 LLM 生成器产生的真实故障与正确模块,且通过仿真确认标签;要求模型先推理再下结论能显著降低弱模型误拒率。
AR-WAM 在 NAVSIM-v1 基准测试中,经强化学习后取得 94.0 PDMS 分数,优于对比的强端到端世界动作模型。 该模型采用自回归时序建模与单次前向传播的未来条件生成,结合因果视频骨干网络增量更新视觉上下文,并通过单前置摄像头实现连续动态驾驶决策。
研究者提出分层策略,在推理时将样本预算分配给k个策略,而非重复采样单一策略。每个策略由共享语言模型骨干上的独立LoRA适配器实现,并针对pass@k进行优化。 理论分析表明,在单LoRA预测误差严格为正的场景中,LoRA群体可实现零best-of-k近似误差。实证结果显示,在多个推理任务中,分层策略一致优于单一策略基线。
ASH 提出一种新的提示增强 GRPO 方法,通过在模型激活中注入可训练引导向量,解决推理时无提示导致的训练-推理上下文不匹配问题。 在四个 LLM(Qwen3-1.7B/4B-Base、Llama-3.2-1B/3B-Instruct)实验中,ASH 在 AMC、AIME 等竞赛级及分布外基准上持续提升 pass@$k$ 指标。
研究者提出神经元社区发现方法,在 Llama-3.1-8B 上发现数千个可复用的神经元组,其中 128 个神经元以内可解释 10.3% 测试提示。 该方法结合梯度归因与图社区检测,通过因果测试验证了这些组在语法一致、算术运算等任务中的必要性,支持了神经元稀疏计算的假设。
研究揭示在14个开源大语言模型中,改变道德判断结果的注意力头属于通用规范评估电路,而非特定于道德内容的道德特征。该电路在所有测试的规范判断类型中均发挥同等作用。