为何 Adam 失败而 SGD 成功:Few-Shot CLIP 适应中全量微调并非问题所在
论文指出 Few-shot CLIP 适应中 Adam 优化器失败源于不可靠的 support-set 预处理,而非全量微调本身。在 11 个数据集、3 种 CLIP 骨干和 5 个 shot 级别测试中,使用 SGD 的全量微调优于代表性 PEFT 方法。
论文指出 Few-shot CLIP 适应中 Adam 优化器失败源于不可靠的 support-set 预处理,而非全量微调本身。在 11 个数据集、3 种 CLIP 骨干和 5 个 shot 级别测试中,使用 SGD 的全量微调优于代表性 PEFT 方法。
论文提出 COMPASS 框架,将优化模板检索建模为深度 Q 网络学习的序贯决策过程。模板库被表示为有向无环图,利用执行反馈驱动图遍历,减少对固定启发式规则的依赖。在多个 LLM 骨干网络及基准测试中,复杂混合类别问题上的性能提升最为显著。
研究提出图谱引导框架 GRMP,利用 ChemMechKG 指导大语言模型进行多步化学反应机理预测。GRMP 在 ChemMechQA 和 oMe-Gold 数据集上分别达到 48.1% 和 57.9% 的路径准确率。 该方法结合图神经网络生成合成候选路径,并设计关系检索模块提取图谱证据以优化路径,展现了向分布外反应泛化的能力。
研究提出 CompCRC 框架,用于控制多阶段 LLM 级联的接受错误风险。 在 $\alpha=0.45$ 预算下,该框架使接受错误风险降低 1.33-2.00 个百分点,推理成本降低 30.37%。 通过逐阶段统计识别未通过本地校验的阶段,提供系统级风险控制的诊断信息。
ChainCheck 审计框架通过配对条件对比发现,证据充分性基准中接近完美的评分可能仅反映对文本编辑伪影的敏感性,而非多跳推理能力。
研究提出 CHORD 多分辨率压缩器,针对可穿戴设备、移动设备及 IoT 平台生成的多模态时间序列数据,实现高效存储与传输。 该方法采用“粗到细”的压缩架构,通过残差级联和共享/私有多模态路径,利用有限标量量化预先固定每类信号和尺度的比特宽度。
研究者提出LAMR框架,通过自适应层画像缓解多模态情感推理中的模态失衡。 该框架引入模态熵和跨模态强度两个量化指标,分别针对稳定层和整合层进行策略对齐,无需额外训练即可在两个基准上提升情感推理能力。
研究团队发布 LEGION 基准,包含 Legion-Sim 模拟器和 74 个对抗场景,用于评估语言智能体在稀疏信号下的调查效率与准确率。 测试显示五种智能体架构召回率高达 0.82-0.88,但精确率仅为 0.61-0.72,且失败模式跨推理层级一致。 该基准已开源,旨在提升网络安全调查中区分真实指标与攻击相关指标的可靠性。
这项研究使用可执行设备日志评估 Agent 记忆,区分参考一致性与证据充分性。在 80 个确认历史中,Qwen3-32B 匹配 87 个隐藏参考,仅有 7 次恰当拒绝。
CABrain 提出了一种基于图卷积网络(GCN)的条件位置编码方法,并引入自适应掩蔽策略,用于提升 EEG 基础模型的表示学习能力。 在 10 个基准数据集上,该模型单独或结合上述策略,均达到了最先进的性能或具有竞争力的结果。
提出用于多层库存管理的可微分基于智能体模型,通过可微分张量运算实现模拟中的直接梯度传播。 框架无需监督即可恢复理论上的NewsVendore最优解,并在数秒内同时优化10,000个不同智能体策略,成本较标量基线降低53%。 利用梯度敏感性分析生成因果热图,准确从计算图中恢复固有的提前期延迟,弥合了模拟与优化之间的差距。
研究对 11 个主流 AI 聊天机器人进行审计,发现 Pravda Network 文章仅出现在 7.3% 的响应中,其中 3 个平台贡献了 94% 的检索量。 审计涵盖 10 个 Chatbot 和 10 万条提示,Claude 是主要检索来源,ChatGPT 和 Gemini 未检索到相关文章,各平台附加警示语比例在 5.3% 至 76.2% 间波动。
Hydro-Dataset v1.1 发布了一个融合瑞典和芬兰 582 个气象站 2015-2024 年数据的开源管道,生成 180 万条注释站天记录。 该数据集包含雪水当量、融雪速率等 6 类衍生参数,可作为水文基础模型的基准标签;ERA5-Land 交叉验证显示观测锚定 SWE 比再分析数据更具可靠性。
该研究基于12,977名美国候选人数据,发现可检测生成式AI内容在选举周期内显著增加,且高频使用未披露。 挑战者产生的AI内容显著多于现任者,且在实施AI披露或禁令的州份,候选人并未产生更少的AI内容。 当前州法律主要规范“实质性欺骗性”内容,研究指出需引入额外政策机制以提升选举透明度。
构建结合 LLM 分析师、动量组合及规则执行的混合多智能体交易系统在 2026年3月11日至8月28日回测中收益34.5%,超过同期 SPY 的14.4%。 系统通过公司新闻与宏观经济智能体生成结构化报告,由协调者设定股票权重与现金储备,并采用确定性回退机制执行。重构策略在同步或延后评估时表现优于匹配的 SPY 和 QQQ 基准。
该研究通过多测试平台评估了可解释的时间窗口融合随机森林在智能电网网物理攻击检测中的性能。在公开数据集中,滚动时间评估下的宏观 F1 分数从 0.96 降至 0.88 ± 0.06,自适应攻击则进一步将分数降至 0.34。 代码和基准已全部开源。 物理约束的演化策略规避实验表明,即使在该框架下,模型仍易受对抗攻击影响。
CoupledFlow提出一种面向多物理PDE系统的新神经算子学习框架,通过建模跨过程相互作用,实现耦合PDE系统的快速准确单步预测,优于现有最先进神经算子和生成式PDE求解器。
针对不确定性下的二进制决策,提出一种结合线性决策策略与可行赋值的处方学习框架,并在两个案例中验证其有效性。 该框架扩展为基于 Wasserstein 模糊集的分布鲁棒随机约束形式,在分布偏移场景下相比传统预测学习将总成本降低最多 76.5%,显著减少未满足需求。
提出扰动谱方法评估试水平扫描路径描述符,通过五种变换破坏特定属性并保留不变量,以重新拟合后参与者留出AUC的下降衡量流水线敏感性。 在仿真中,99.6%的区间覆盖目标值,排除零值的汇总率不超过2.5%;对12个二元问题(阅读、代码理解、视频观看)中7个描述符的扰动分析表明,扫视顺序置换会显著改变基于平均扫视幅度的描述符性能。
LLM 直接编写策略网络权重,结合 PCTL 需求与概率模型检查进行验证。Storm 精确计算满足需求的概率,18 次运行中策略均达最优概率,4 个策略泛化至未见任务。
LiveAsset 通过从纠正交互中学习可复用的意图资产,实现了对 LLM 智能体执行过程的运行时控制。 该方法联合解释原始与修订结果以推断用户意图,增量更新资产并保留仍适用的先前需求,在运行时验证中评估适用性并指导修订。 实验表明,LiveAsset 在 π-Bench、PERMA、Vita 及 PAST-Bench 等基准上优于记忆、技能和规则基线,代码已开源。
针对LLM后训练中复用采样rollout导致的训练崩溃或梯度截断问题,提出有界残差对齐训练(BRAT)。 BRAT通过线性衰减的token梯度权重和归一化组中心奖励,避免额外超参并保持优势有界。 在四轮复用下,BRAT避免了训练崩溃,在多数基准上实现了更低的种子方差和更高的平均准确率。
InfraRSI 通过五阶段智能体工作流将开放式人类指令转化为经验证的训练优化,在四项单节点及多节点 MoE 任务中实现最高 2.75 倍加速。 该框架通过全局执行时间与内存模型修正 LLM 先验,将平均 Model FLOPs Utilization 从 17.4% 提升至 30.0%,并跨硬件复用经验。
GOPR-CAD 提出一种基于图操作渐进式推理的智能体 Text-to-CAD 管线,无需额外训练即可适配不同语言模型。 该管线让语言模型作为决策代理,封装 CAD 操作并渐进构建可执行操作图,再由确定性编译器转换为最终 CAD 模型。 在包含 300 个标准机械零件需求的 MHCAD 基准上实现 82.7% 结构良率,并在外部 CADPrompt 子集上达到 87.2%。
该研究提出 SMNC(SMNC, scale-normalized multi-scale closure)框架,通过矩阵值闭包 logits 补充标量无环约束,提升连续 DAG 学习的结构分离性。
VerKV 采用混合架构实现 LLM 推理中的 KV Cache 压缩,结合 PoissonComp 采样与 KVFetch 算法,提供注意力计算的 $(\epsilon, \delta)$ 误差保证。 在 Qwen3-4B 等模型上,该方法将 GPU 内存占用降低 8-32 倍,CPU-to-GPU 数据传输量控制在 2-23%,同时保持 90-100% 的密集计算质量。
研究人员提出生物学基础模型 scOntoFM,通过将细胞本体层级嵌入表征学习,在多样化基准测试中一致提升性能。 模型利用本体图最低公共祖先(LCA)距离,结合离线三元组采样与层级本体学习,平衡批次整合与生物学结构保留。 该工作在 NeurIPS 2026 被接收,并在零样本设置中表现尤为突出,支持可扩展的生物学发现。
LoMASA 是一款训练无关、完全在单台桌面电脑上运行的本地多智能体系统,用于辅助B2B报价。 在500个模拟回合中,该系统将 38.0% 的决策自动化(中位延迟 2.67 秒),将 42.5% 通过硬性规则升级至经理,销售仅需手动处理 19.5% 的决策。 其在自动处理决策上的准确率与规则基线持平(0.894),且导致利润率低于底线的承诺更少(2.61% 对比 4.53%)。
AIC 提出了一种自适应内部计算方法,学习在何时停止精炼潜在表示并执行动作,通过联合训练动作选择与停止机制,并结合预期深度惩罚和价值预测辅助监督。在12个基准任务中,AIC 平均仅执行3.3步细化(上限8步),相比固定8步策略在4个控制和机器人任务上将单决策延迟降低31%–44%。
论文提出在固定秩矩阵流形上约束 LLM 微调的加法更新块,保持预训练权重冻结。 方法包含 Riemannian ZO 梯度估计器及 ZO-RGD 和 ZO-RGD-S 算法,在期望下恢复黎曼梯度并证明收敛性。 实验显示该算法在多个模型族和任务上性能优于强 forward-only 基线,部分设置中有增益。
GARP 平台在 Godot 引擎中实现实时生成式智能体,全程运行于本地硬件,无云端依赖。 系统采用 3B 参数开源模型,通过 50+ 候选动作筛选至 3-8 个,结合 JSON schema 约束响应与多层缓存策略。 在九场景评测中,27 次运行里 25 次通过日志检查,验证了本地实时推理的可行性。
研究者提出P2O与PKTO算法,统一了DPO隐式奖励与PPO信任域稳定性。P2O在DPO偏好边缘引入截断重要性比率,PKTO则结合前景理论效用边缘,均无需奖励模型。 两个算法在多LLM的三个偏好基准上,对齐质量匹配或超越DPO与KTO,且在重复数据集复用时稳定性更好。代码库已开源。
研究团队发布了EEGFaceSem数据集,包含30名参与者的67,200条与生成式人脸图像配对的EEG记录。 该数据集提供生成潜向量,支持单试次语义分类及脑监督图像生成,代码已在HuggingFace开源。 这为语义级视觉显著性检测及脑机接口研究提供了新工具。
提出可解释的 AI 指导数学发现框架,通过部分形式化的 Lean 蓝图迭代精化证明,改进解析常数的定量界。
该研究探讨无真实值标签场景下的人机互补性评估方法,提出以基于多准则决策分析的背景依赖性“适当性标签”替代真实值,并通过两步评分流程显式呈现规范选择。 方法受计算可靠性启发,识别支撑适当性标签构建的技术、科学与社会因素。 此举将人机互补性的实证研究拓展至预测任务之外,使其在真实值不适用时也能进行量化评估。
可执行有限状态机(FSM)通过在工具调用、状态转换及回合结束点强制执行,有效减少 LLM 智能体长程运行时的程序漂移。SOP-Bench 实验显示,配备 FSM 的 Claude Haiku 4.5 平均正确决策 139 个账户,显著高于最强基线的 48 个,且成本仅为 Claude Sonnet 4.6 的 38%。该研究表明,通过增强运行时执行控制而非仅依赖更强模型,即可实现可靠的长程自动化。
推理配置显著影响模型表现与成本。实验显示仅更改最大响应长度,使数学基准准确率从0.08%升至93.18%。 内容涵盖评估、生成、服务及结构化输出。提供了记录推理运行、容量估算与系统公平比较的实践指南。 旨在帮助研究人员和工程师理解、复现并信任推理结果。
研究者提出代数树决策图(ATDD)的因子秩,其最大秩精确等于图的宽度。 ATDD 是比 TDD 更简洁、比结构确定性 DNNF 具有准多项式级简洁度的规范形式。 结果在 Lean 中形式化验证,并提供了 TDD 和 ATDD 的原型编译器。
WARP-JEPA通过冻结世界模型和摊销规划,在30个H-JEPA模型上将长时程任务推理速度提升9.6至18.8倍,任务成功率提高33.3个百分点。 该框架采用世界模型在环因果Transformer和多残差MLP,结合基于模型的代价与最佳K行为克隆训练,无需测试时梯度优化。 结果表明摊销规划可在不重训练世界模型的情况下,显著提升推理效率与控制性能,代码已开源。
MACaQ 是一种 MXFP4 W4A4 后训练量化方法,通过逐层独立处理和在线应用块哈达玛变换,避免了跨层依赖。 在 vLLM 中的 Qwen3-32B 上,MACaQ 仅增加 2.3% 的端到端推理开销,并比 DuQuant++ 和 MR-GPTQ 实现了更低的困惑度。 该方法在 11 倍更快的量化时间内匹配 Llama-3-8B 的最佳困惑度,并展示了通用性和高效性。