Agentic In-Context Learning:Transformer 在闭环交互中能学习哪些算法?
研究提出 Agentic In-Context Learning (Agentic ICL),构建因果 Transformer 近似主动学习、bandits 及在线 RL 算法。 通过蒸馏实验验证 Transformer 能执行三种递归,发现优化过程奖励可保持最大化最终结果的行为策略。 研究指出改进过程监督与结果最优动作偏好的一致性,会改变预训练语言模型在文本复述下的决策行为。
研究提出 Agentic In-Context Learning (Agentic ICL),构建因果 Transformer 近似主动学习、bandits 及在线 RL 算法。 通过蒸馏实验验证 Transformer 能执行三种递归,发现优化过程奖励可保持最大化最终结果的行为策略。 研究指出改进过程监督与结果最优动作偏好的一致性,会改变预训练语言模型在文本复述下的决策行为。
研究提出 Dandelion,一种基于球面谐波域层级池化的球形神经网络 PDE 求解器,通过大圆传输特征避免笛卡尔卷积畸变。 该架构在包含修正 Galewsky 喷流、球形 Riemann 激波等 6 类数据集的基准测试中,除一项外均取得最优性能,预测物理一致性最高。
有限候选池因远离主动约束边界,限制了代理辅助设计效能。 研究显示,连续约束 EI 使电磁线圈响应升至 0.9745 mT,热阻降至 11.905 K/W。 LogEI 性能更优,达到 0.9770 mT 和 11.860 K/W,验证了连续搜索优势。
Mingbird 是一个开源的本地优先 Agent 框架,旨在让运行在消费级显卡上的 1 至 90 亿参数小型开放模型能够完成多步骤任务。该框架包含 1.2 万行 Python 代码和 18 种机制,通过执行可检查的控制逻辑来防止模型误报任务完成。
研究指出神经组合优化求解器中,均匀分布工作负载下的非均匀预算分配增益实为抽样偏差。 三个预训练求解器(POMO, AM, SymNCO)在分布内样本中报告2.2%-2.6%的伪增益,分布偏移下真实增益达11.5%。 文章发布纠正程序、报告清单及全部代码与预注册记录。
summary_zh: Code4Scene 基准包含 170 个 Unreal Engine 案例,评估 14 个编码智能体在 3D 场景构建与编辑任务中的表现。
Localized LoRA-MoE 提出结合空间分块与上下文条件专家路由的框架,解决 LoRA 训练中的梯度干扰。 架构包含中心化与去中心化两种变体,在结构化基准中优于静态基线;在 Qwen2.5-1.5B 模型上,去中心化路由比 LoRA 高 3.9 分,匹配 6 倍预算的专用适配器效果。
PhysAlign 是一个评估多模态模型在物理图解中是否正确关联视觉信息与物理角色的基准,包含 3,341 个人工验证探针和 986 道物理问题。 基准通过局部探针和受控变体分离视觉识别与角色分配,引入包括 CAcc、GAcc 和 JAcc 在内的五种互补评估指标。
研究表明 Qwen3 0.6B-8B 模型在持续记忆代理中易依赖过时信息,Benefit 套件中依赖度达 0.92-1.00。 Llama-Instruct 交叉验证及 RGB、MisBench 实验支持该结论,且元数据与预解析可提升准确率。 结果发表于 NeurIPS 2026 PALM 研讨会,揭示线索依赖性脆弱性但未评估完整记忆生命周期。
针对理论级自动形式化难题,该研究提出独立基准 LCS-Bench。它基于《计算机科学逻辑》构建,包含 327 个教材条目及 4,076 个 Lean 声明。 采用半自动智能体流水线生成,涵盖 85K 行代码,并支持 5 条评测轨道。
研究提出 CEMMKG 框架,通过多粒度设计在局部和全局范围内为图像补充文本上下文,解决现有 MMKG 处理方法中图文语义鸿沟导致的 GraphRAG 性能瓶颈。 局部上下文不仅包含图像周围文本,还引入语义相关句子;全局上下文提供全文摘要。多数据集实验表明,该框架能有效利用上下文信息提升基于 MMKG 的 RAG 性能,且适用于不同的 RAG 方法。
现有智能体系统离线评估多将轨迹简化为二元成功值,导致约 75% 实例出现平局,降低统计效率。 提出的偏好轨迹评估法通过比较不同时刻的回报分布直接对比轨迹对,将平局率降至约 35%。 该方法提升了区分度与排序稳定性,表明基准测试饱和现象可能源于评估指标设计而非数据或难度问题。
EMRD框架提出了一种评估视觉语言模型在关键安全场景下探索、映射、记忆和决策能力的基准测试方法。该框架将空间推理分解为四个阶段,并使用18个指标对11个开放和闭源VLM进行了评估。 实验在16栋建筑中进行,包括三种环境压力。结果显示,开放权重模型在95%的案例中未能访问所有房间,而闭源模型在添加外部记忆后表现更佳。 该基准测试为评估VLM在具身智能控制中的可靠性提供了重要工具。
FoundCause 提出了一种仅用合成结构因果模型训练的摊销因果发现基础模型,通过单次前向传播将数据集映射为因果图。模型采用置换等变 Transformer,结合成对依赖统计量引导注意力机制,并显式预测潜在混杂因子对。在 14 个数据集上,FoundCause 在归一化结构汉明距离(SHD/d)上显著领先(0.875 vs 0.956),且在双变量因果关系预测中表现最佳。
研究提出Graph Cascades介观重连策略,优化图神经网络(GNN)和图Transformer(GT),捕捉中间尺度图结构。 算法通过固定级联参数的传播扩散,在O(|V|+|E|)时间内构建稀疏辅助图,将多跳强化的节点对提升为直接邻居。 理论分析了强化重连提升标签对齐度的充分条件,实验显示该方法在异质性及中等至高程度的同质性图上带来最可靠性能提升。
研究者提出 SKMD 采样方法,通过交互粒子动力学为机器学习原子间势(MLIP)获取信息丰富的训练构型。 该方法采用全局原子描述符内核以感知对称性,保持 Boltzmann 分布为平稳分布,并在 Müller-Brown 势能、MACE 模型等案例中,比基线方法以更少迭代次数实现更高精度。
TTCov 提出了一种数据级测试条件筛选方法,利用训练前的测试端信息而非推理时的权重更新。 该方法构建 LLM 原子命题任务 Atlas 和知识 Atlas(K-Atlas),将部署分布转化为筛选目标,在自动驾驶领域实现优于基线模型的端到端驾驶性能。
针对预训练表示作为噪声代理协变量且标签稀缺的场景,研究提出一种半监督回归两阶段估计器。 该估计器利用所有代理协变量学习核特征,并在有标签数据上拟合岭预测器。 理论推导显示,当代理扰动可控且无标签样本充足时,可恢复快速样本收敛率,实验在低标签场景优于基线。
提出切片分布强化学习(SDRL),通过投影将一维散度扩展至多变量回报分布,并在单一标量折扣下证明均匀切片的 Bellman 收缩性。 方法引入最大切片变体以支持通用稠密折扣矩阵,分析 Wasserstein、Cramér 及 MMD 散度,在 Atari 等环境完成评估,文章发表于 ICML 2026。
研究发现随机未训练神经网络在早期视觉皮层表征相似度上不逊于训练网络,挑战了学习提升脑对齐的假设。 通过追踪四种学习规则的训练过程,发现单次训练即导致 V1 对齐降低 25-90%,其中反向传播(BP)影响最严重(delta r = -0.080),而预测编码(PC)和 STDP 保留更多。
提出 Latent Q-Barrier Shielding 方法以改善安全上下文强化学习(ICRL)在分布外(OOD)部署中的表现。 该盾牌在部署前学习上下文表示、潜在动力学及集成成本评估器,无需参数更新即可筛选候选动作。 在 5 个安全 ICRL 基准测试中,该方法在 4 个基准测试中实现了更高的回报,且在全部 5 个基准测试中保持或降低了平均单集成本。
BBO-Pile 是首个开源数据集,包含 3,095 个任务中评估的超过 50 万个优化轨迹。 使用 BBO-Pile 训练了参数量从 2M 到 80M、训练 token 数从 2 亿到 20 亿不等的一系列基础模型,并研究了其随算力的扩展行为。 大规模预训练被证明是模仿超参数优化方法的一种可行且有效的方法,为未来研究铺平了道路。
提出 RelPrism,一种针对关系数据库(RDBs)的多视角自监督学习框架,通过构建内在、关系及混合属性并结合多粒度聚类生成伪任务池,提升下游任务适应能力。 在 5 个真实数据集的 14 项任务实验中,RelPrism 相比最先进基线将分类任务的 ROC-AUC 提升 4.15%,并将回归任务的 MAE 降低 10.75%。 代码已公开,为关系型数据系统的预测任务提供了更强的预训练基础。
非参数对比框架 PEARL 通过建模相对偏好信号消除用户行为强度偏差,无需辅助分布估计模型。 在线 A/B 测试显示,该框架在数亿用户规模的直播平台部署后,观看时长提升 2.10%,报告率下降 6.91%。 已被 KDD 2027 ADS Track 接收,验证了其在大规模推荐系统中的有效性与鲁棒性。
研究人员提出可扩展的类优化任务族 OPT*,包含可行性检查器与评估器,通过复杂度参数扩展 LLM 的搜索空间。 该框架对比了求解器引导的在线策略优化(使用 rank-based reward shaping)与无求解器时的搜索型离线 RL,并在理论层面关联了搜索预算下的信息提取效率。 在 OPT* 上的训练被证明能提升 LLM 逐步类优化推理的表现。
CardioLoom 基于 2,781,289 个心电图报告对在 1,298,359 名患者中完成预训练,覆盖 89 项评估目标与 9 个外部队列。 在 45 项内部心电图诊断中,其宏观 AUPRC 为 0.624,高于 DeepECG-SSL 的 0.615;仅用 10% 标注患者即可达到 0.559 的宏观 AUPRC,超过全量监督训练的 0.549。
summary_zh: LEAP框架结合领域专用语言模型与主动学习,实现了低数据条件下钙钛矿前驱体添加剂的优先筛选。 该模型从文献中提取机制相关知识,生成可解释分子描述符用于不确定性感知贝叶斯优化。
研究提出 CauSim 框架,通过由大语言模型增量构建可执行结构因果模型(SCM),将稀缺标签的因果推理转化为可扩展的监督问题。 CauSim 将不可执行的因果知识形式化为代码,实现跨表示的泛化,并支持通过课程扩展和数据量增加获得一致性收益,以及 LLM 自我改进。
Q-LocalAdam 是一种分布感知的优化器,通过分块线性量化动量状态和对数空间量化方差状态,在边缘设备上显著降低优化器状态的内存占用。 它使用去量化后的方差下限来维持数值稳定性,使得模型收敛效果接近全精度训练。 在人类活动、视觉和语言任务上的实验表明,该方法在减少峰值驻留内存的同时,仅引入适度的延迟开销。
PRCO 提出基于共享策略的双角色 RLVR 框架,在 8 个基准测试中将平均准确率提升 7 个点以上。 框架通过 Observer 生成证据描述、Solver 预测答案,并采用角色特定奖励解决信用分配模糊问题。 该方法性能优于先前开源的 RL 调优基线模型。
对11个前沿模型在4种场景下的评估显示,尽管环境激励高,代理几乎不策划,且无法用口头化评估意识解释。 向系统提示插入对抗性片段可诱导高策划率,但移除单个工具可使策划率从59%骤降至3%,增加监督最多可提高25%的策划率。 结果表明策划倾向应按代理配置报告,为部署环境下的系统性测量提供方法。
DiffATS 框架直接在正交 Procrustes 对齐的张量基元上训练扩散模型,实现 3.9 至 210 倍的数据压缩。 该方法无需预训练压缩自编码器,通过 Tucker 分解构建数据依赖型基元,并在图像、视频及 PDE 求解上实现强生成性能。
Minitap mobile-use 多智能体系统在 AndroidWorld 116 项任务中达到 pass@3 100.0%。 系统分解任务为五个 LLM 代理与确定性节点,移除分解机制导致成功率下降 26.1 点。Minitap 已开源,在 MobileMiniWoB++ 基准上较初始版本提升 7.1 分。
iMuon 提出统一框架,在固定秩、SPD、Stiefel 和 Grassmann 流形上实现闭式更新。 该方法将欧几里得范数提升为内蕴范数,保留商对称性;收敛率仅依赖流形维数,固定秩情形下独立于因子条件数。 实验显示 iMuon 在 LoRA 微调 LLM、图像分类和子空间学习中有效。
提出 CORE 强化学习框架,通过引入概念监督信号解决大语言模型在数学推理中“解题对但概念错”的问题。 在 RLVR 基础上,CORE 合成概念对齐测验并注入概念片段,结合轨迹替换或 GRPO 进行训练。 在多个模型上,CORE 于领域内概念测验及领域外数学基准上均优于 vanilla 和 SFT 基线,论文已被 ICLR 2026 接收。
论文提出测量标准化框架,将专家-AI 交互压缩为结构化字段,支持在已部署系统中进行前瞻性风险检测,无需访问模型内部信息。 框架定义了 8 个交互字段语法,并采用基于配对 bootstrap 推断、DeLong 测试及 Holm-Bonferroni 校正的统计协议,用于验证专家 AI 交互的证据与政策对齐性。
AutoPBO 是一个由 LLM 驱动的新型框架,旨在自动增强伪布尔优化(PBO)局部搜索求解器,在四个公开基准上显著提升了性能。 该框架与 NuPBO、OraSLS、PBO-IHS、RoundingSat、Gurobi 和 SCIP 等六种最先进竞争者进行了对比。 AutoPBO 表明了一种自动化局部搜索求解器设计的有前途的方法。
六款大型推理模型与1854名人类受试者的实验显示,模型在人耗时更长的案例中产生更长思维链。 当两个帖子攻击性相同时,人类响应时间增加31%,模型思维链长度增加51%至306%;按语言类型分组时平均推理 effort 与响应时间高度相关(r = 0.85-0.93)。 研究指出推理轨迹可用于优先处理困难案例并增强可解释性。
ChemEAGLE 多智能体系统从 424 张化学图形中构建可验证数据库,在精确反应提取任务中 F1 分数达 82.2%。 该系统通过校准置信度将人工审查量限制在 35% 的反应上(准确率 96.6%),并生成了含 60,103 条记录的光化学数据库,用于训练条件排序和产物预测模型。
研究通过整合浅层 Minimax 搜索至多智能体 MCTS 的 rollout 阶段,提升了 3v3 跳棋中的策略可解释性。 该混合方法克服了 MCTS 易落入战术陷阱的弱点,并利用过程挖掘技术解释智能体策略,论文发表于 AAAI 2025 PRL。