ConceptARC at Scale: 研究推理模型中的概念理解
研究提出ConceptARC at Scale生成器,构建包含1,600个经人工审查任务的ConceptARC-100数据集。 该数据集涵盖16个概念,每个概念100个任务,规模是原基准的10倍。 内部表征分析显示,任务按对象操作类型聚类,表明模型形成了可泛化的稳定抽象。
研究提出ConceptARC at Scale生成器,构建包含1,600个经人工审查任务的ConceptARC-100数据集。 该数据集涵盖16个概念,每个概念100个任务,规模是原基准的10倍。 内部表征分析显示,任务按对象操作类型聚类,表明模型形成了可泛化的稳定抽象。
Split-KV 提出一种精确的上下文并行方法,在 CP 规模 64 时保持 85%-91% 弱扩展效率,比最快基线实现 3.67 倍加速。 该方法使单层注意力通信量仅取决于查询大小,独立于上下文长度;全局查询视图支持基于成本的 LPT 策略,实现 <1% 负载不均衡,规划速度比最佳基线快三个数量级。
论文提出 RECAP 方法,通过 1/2/3-token 键存储和请求本地/跨请求持久记忆结合上下文感知的熵置信度加权,为多模态模型训练自由地提供投机解码候选。 在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 的 7 个单轮基准上,RECAP 相对自回归解码平均加速 1.66×/1.56×,超过最强无训练基线 Token Recycling 的 1.51×/1.37×;代码已开源。
文章提出 Petri 网结合 Individual Token Philosophy 是表示 token-level 因果结构的自然框架,解决处理效应无界异质性下传统估计量失效问题。 构建了从 Bayesian Networks 到 Petri Nets 的形式化翻译,提供不依赖分布假设的结构表示;引入 conformal prediction 层量化因果效应,具备有限样本覆盖保证。
Hybrid Spark 提出结合模型型与非模型型起草器的推测解码框架,在 vLLM 中实现代码编辑场景 1.10–1.62 倍输出吞吐量提升。 该方法引入每个验证草稿 token 的价格机制,在温度 0 的聊天场景中保持 0.97–1.01 倍基准性能,支持单部署服务多种负载。
研究使用国际象棋作为测试床,探讨 LLM 预训练与 RL 后训练间的关系。 预训练 5M 至 1B 参数的模型,发现预训练损失能预测 RL 后性能,且 RL 奖励曲线斜率随预训练 token 数近似线性提升。 该机制在 1B 参数的数学领域模型上也得到验证。
潜在推理模型在准确性提升的同时,对改变推理路径的反事实编辑敏感度反而降低,且不同方法轨迹各异。 研究者利用 verified counterfactual edits 发现 ProsQA 和 GSM8K 中干预敏感度呈对立趋势,并通过调整训练程序改善响应性。 仅评估最终检查点会掩盖可信度变化及潜在状态的真实贡献。
研究提出vOPD,将在线策略蒸馏(OPD)视为策略梯度强化学习,引入价值函数作为控制变量基线以降低梯度方差。 该方法利用闭式解的逐token反向KL散度作为基线,无需额外critic或推理,保持单样本估计器轻量且无偏。 在数学、科学及指令遵循基准测试中,vOPD性能优于基础OPD,且与高成本全词表方法持平。
提出免训练框架 Integrated Policy Gradient (IPG),将策略归因引入 LLM 推理的机制可解释性研究,通过路径积分隔离结果相关的内部组件,提供因果中介分析的线性近似。 实验表明 IPG 能精确定位与特定推理行为相关的稀疏、集中内部组件子集,并实现推理能力的调制,为理解 LLM 推理提供了可靠框架,已被 NeurIPS 2026 接收。
提出 MD-ProTector 方法,在编码器嵌入空间使用多个可训练参考向量(原型)表示类别,以提升 LLM 生成文本检测对多样化写作风格与生成模型的鲁棒性。 该方法引入 Prototype Positioning 损失函数,将类级结构与类内差异解耦,使不同原型分别界定同一类别内不同文本子群的决策边界。
研究提出 LLM 人格三元组框架,利用 SAE 分解识别稀疏内部特征并验证其人格相关性。 通过特征级干预,在多种情境中诱导双向人格转变,并在社会智能任务中证实了行为改变与人类研究一致。 研究提供了 LLM 存在可控制的人格相关表征,连接内部状态、情境表达和行为结果的证据。
TTCD 提出了一种在连续空间中运行的新扩散语言模型,通过引入“per-token times”概念,使部分 token 以不同速率从噪声映射至最终结果,从而避免并行采样导致的误差。
论文提出SpanUQ探针,通过蒸馏多次推理的不确定性知识,仅需单次前向传播即可在语义连贯的文本跨度(span)层级量化LLM生成不确定性。 该方法采用DETR式解码器与Beta混合分布,在20K提示词和293K标注跨度的SpanUQ-Bench基准上,F1分数达0.910,比最强启发式基线高39.4%,且比采样法快10~20倍。
提出三种训练时干预弥合扩散草稿模型双向生成与 LLM 自回归校验的错位,提升推测解码性能。 干预包括 token 位置加权、首个错误 focal loss 及链式损失项,三者正交且可加性组合,无需增加前向传播。 在四个目标模型及六个推理、代码、对话基准测试中,接受草稿长度相比基线提升 21-76%。
研究提出 D-RPC 方法,通过约束教师模型遵循动态维护的高层推理路径库,解决蒸馏中教师理由结构不一致导致的噪声监督问题,在五个基准测试中取得最高平均准确率。 方法引入 PAC-Bayes 分析以量化推理路径库大小与覆盖率之间的权衡,消融实验显示中间大小的库效果最佳。
LLM 最后隐藏状态随任务难度增加呈现系统性稀疏化趋势,证实“任务越难,表示越稀疏”的统计规律。 研究通过控制实验发现表示密度是习得属性,熟悉模式对应分布式表示,陌生输入则趋于稀疏激活。 基于此提出 Sparsity-Guided Curriculum In-Context Learning (SG-ICL),在 MATH-500 上优于标准 CoT 和 Auto-CoT 基线。
提出 CyclicJudge 轮询分配策略,通过方差分解证明其为固定裁判面板下的最优方案,能抵消裁判加法偏移且成本等同单裁判。 该策略在 MT-Bench 和 MindEval 实验中验证有效,降低了基准分数方差并稳定模型排名,优于单纯增加生成数量的方法。
Steer2Edit 提出一种无训练框架,将转向向量转化为组件级秩 1 权重编辑,在匹配下游性能时提升安全性最多 17.2%。 该框架选择性重分配注意力头和 MLP 神经元的行为影响,保留标准前向传播并兼容并行推理,用于安全对齐、幻觉缓解及推理效率优化。
研究发现 LLM 隐藏状态中奖励信息集中于稀疏神经元子集,形成价值神经元(预测状态价值)和多巴胺神经元(编码时序差分误差)两类单元。该子系统具有跨数据集和模型的鲁棒性与可迁移性,因果证据证实其编码奖励相关信息。价值神经元可作为模型置信度预测器,多巴胺神经元能作为过程奖励模型(PRM)引导推理时搜索。
研究发现大语言模型普遍存在“上下文牵引”现象,模型会对输入提示词中曾出现过的任意 Token 赋予显著更高的 logit 概率,即使这些 Token 是随机的且与问题无关。
研究显示多轮强化学习(RL)在 LLM 智能体上的增益高度依赖交互预算,当轮数预算收紧时轨迹级优势会显著减弱。其核心优势集中于错误恢复与长程韧性,而非均匀提升单步决策质量。 针对部署风险,论文提出 BudgetMix RL 作为替代方案,在训练中动态调整交互预算。实验表明该方法能在多种执行设置下保持稳健性能。
研究发现,基于编码器的上下文压缩在保持高重建保真度的同时,系统性地削弱了指令微调大语言模型的拒绝行为,且该效应跨模型族和压缩架构持续存在。 机制分析表明,压缩会衰减解码器学习到的拒绝方向上的激活值。
研究者发现 Mixture-of-Experts (MoE) 路由器能作为无需训练的接口控制推理行为,通过编辑路由器分数可避免模型“过度思考”。 该干预使生成 token 数量中位数减少 30.4%,最高达 63.3%,且准确率下降不超过 0.5 个百分点,甚至常有所提升。 这为优化测试时算力提供了轻量级机制,使模型在解题后及时停止而非跳过必要步骤。
AGORA 提出基于项目反应理论聚合器,无需人工标签即可从所有项目联合学习裁判可靠性。 该方法将每个项目置于潜在质量尺度上,通过灵敏度参数和有序评级阈值描述裁判。在三个基准测试中,AGORA 表现优于或持平 Dawid-Skene,且在小规模评测集上优势更显著。
SpecCompact 框架通过槽位并行语义推测验证,将 LLM Agent 上下文压缩速度提升 2.04 至 5.63 倍。该框架微调小型草稿模型并行生成摘要槽位,由目标模型验证并修复被拒内容。在 Hermes 系统的用户研究中,其中位压缩速度进一步达到 8.68 倍。
研究提出 FinDendro 基准,包含 1999 至 2026 年间 2226 条带日期的美国金融事实,用于验证模型知识截止日的可靠性。 测试显示 GPT-5 在受控事实上正确率达 76%,但仅自报知晓 38%;知识主张可超出实际边界多达七个季度。 研究发现无法通过自报、指令或名义截止日认证回测无泄露,主张采用行为测量法确定回测时段。
针对多语言 LLM 在证据条件关系推理上的表现,研究构建了 Rel-Bloom 诊断基准。 Rel-Bloom 包含 450 道选择题,覆盖 6 种语言、43 个模型及 5 级认知层次。
语言模型训练数据在域外行为中存在意外副作用,现有孤立样本少导致理解泛化困难。研究人员提出自动发现带有意外副作用的数据集(DSSE)的方法,该数据集需激发目标行为、看似普通后置训练数据且让审核者感到惊讶。
该研究通过结合滑动窗口、固定前缀和相关 token 预算的稀疏注意力,加速混合 LLM 的长上下文解码,无需重新训练。 在 4B 至 397B 参数的六个模型上验证,处理 64k/256k 上下文时速度提升最高达 2.23 倍,且保留了基线模型在 21 个长上下文数据集上的精度。
研究利用 1-30 间的数值选择考察语言模型偏好,在 Qwen3-4B 中通过扰动探测发现前答案编辑可使输出从 17 变为 15。 梯度归因与注意力输出替换显示,后续计算改变了局部贡献的下游影响,使 7 与 5 的对数几率差从 0.119 降至 0.0025 nat。 该研究将数值选择作为受控案例,揭示了持续状态的条件性下游处理机制。
研究人员发现,推理时停用专家的性能影响取决于是否匹配训练时的权重规则。在五个指令微调检查点和一个基础 OLMoE 检查点上,停用半数专家时,规则匹配下困惑度为基线的 1.4 到 73 倍,而规则不匹配时高达 14 到 28,740 倍。 在 OLMoE 上,GSM8K 严格匹配准确率在所有四种停用实现中均降至零。
研究引入 PinyinBench 基准,评估 17 个语言模型的汉字音韵知识。前沿模型 DS-v4-flash 在声母韵母识别达 90%+,但仅声调差异时降至 72%。 音调信息嵌入可解码性强但因果干预弱,音频训练提升音韵解码但未增强操控效果。证实声调知识最难获取与操纵。
AWS 官方教程介绍了名为 Deep Insight 的开源多智能体数据分析项目,它基于 Strands Agents SDK 和 Amazon Bedrock AgentCore,展示了四层上下文工程方法。
推荐理由:原文给出了四层上下文工程架构与代码实现,并展示单一工具与按需加载可显著降低token占用。
该研究提出 ProofRank 基准,从简洁性、计算难度、认知简洁度、多样性及适应性五个维度评测大语言模型生成数学证明的质量。 实验发现各模型在证明质量上的差异远超正确性指标,且可通过提示词调节代理指标,但通常会以适度的正确性损失为代价。
研究者提出 Latent-Condensed Attention (LCA) 以优化长上下文处理,在 128K 上下文下实现 2.5× prefilling 加速和 90% KV cache 压缩。 LCA 基于 MLA 潜在空间,通过语义向量聚合与位置键保留降低计算成本且不增加参数,并证明了长度无关误差界。 该方法已被 ACL 2026 接收,展示了在保持竞争性性能同时显著提升效率的能力。
EchoKV 提出了一种灵活的 KV Cache 压缩框架,支持在完整缓存与压缩缓存之间按需切换,避免修改模型投影。 该方法利用轻量级网络从部分子集重构被丢弃的 KV 分量,仅需在单张 A100 GPU 上对 Llama-3.1-8B 进行几分钟的两阶段微调。
PersonaFuse 提出一种情境感知的大模型行为自适应后训练框架。 该框架基于特质激活理论和大五人格模型,采用混合专家架构与情境感知路由机制,根据任务上下文动态调整模型行为。 在能力、工作流和部署三个层面评估显示,该框架在保持通用推理、交互质量和安全性的同时,提升了企业场景下的任务完成率。
MDSKILL 提出一种多视角技能记忆蒸馏方法,将记忆组织为状态定位、行动规划、执行控制三个互补视图,并在 ALFWorld 和 WebShop 基准上较 SOTA 性能提升最高 7.1% 和 8.1%。 该方法无需额外计算开销,通过动态指标筛选高质量技能,构建视图特定及集成推理分支,经 On-Policy Self-Distillation 将互补经验知识整合至共享策略。 代码已开源。
Dory1.0-4B 是一款拥有 40 亿参数的循环语言模型,通过共享递归块实现弹性深度。该模型基于归一化 Transformer 骨干,在 6 万亿 token 上进行预训练,支持 256K 上下文长度。
大语言模型在推理生成时提供多种响应,传统上依赖温度参数。本文利用条件互信息方法,给出了基于熵的响应多样性定量分析。 定义了仲裁者、独立(条件)和中性(确定性)三种极限行为,涵盖了从零到最大互信息的范围。 该方法被应用于温度分析、语言分析、提示词压缩和知识图谱。