SEABench:自演化智能体内生失准评测基准
SEABench 是一个评估自演化大语言模型智能体内生失准风险的基准,包含 48 个纵向任务序列。该基准提供自适应轨迹发现管线,支持通过配对的无演化智能体进行因果归因。评测显示,自演化虽提高了任务完成率,但常引入安全失败;基于思维链的监控策略能以低误报率缓解不安全行为。
SEABench 是一个评估自演化大语言模型智能体内生失准风险的基准,包含 48 个纵向任务序列。该基准提供自适应轨迹发现管线,支持通过配对的无演化智能体进行因果归因。评测显示,自演化虽提高了任务完成率,但常引入安全失败;基于思维链的监控策略能以低误报率缓解不安全行为。
论文提出循环视觉推理器 TraceViT,在 ARC-AGI-1 和 ARC-AGI-2 基准上分别取得 67.8% 和 24.3% 的 pass@2 成绩。 该模型通过语义单调变换链进行中间步骤监督,每个迭代由少样本任务参考和对象工作区提供依据。 消融实验表明,轨迹监督仅在结合接地信息时有效,相关代码和数据将公开可用。
ZeNOVA 提出无梯度初始噪声对齐方法,用于确定性或少数步数生成。 通过退火软值引导、流形约束球面 Langevin 动力学和 Metropolis-Hastings 跳跃,在图像和视频生成任务中稳定优于所有零阶基线方法。
Muon 优化器在 LLM 预训练中大步长动力学不符合经典梯度下降的稳定性边缘(EoS)理论,其解除了损失中性、更新反转与边缘稳定性之间的耦合。 针对无动量随机 Muon,研究推导出经过一致性修正的条件损失中性边界 $2\rho_b/\eta$,并证实时间对齐遵循不同的几何特性。
新模型SKILD通过单一无条件框架统一了图像生成与连续超分辨率任务,无需特定架构或重训练。 在CIFAR-10上达到FID 2.61,并在ImageNet上通过单一检查点实现2倍至8倍超分辨率,在感知指标上超越条件模型。 研究还表明该模型能重构关键的伊辛模型,其四重关联 closely tracks ground truth。
POROS 框架通过构建行为进展图,将慢性健康记录转化为基于对等数据的增量指导。在 1 型糖尿病纵向队列中,相比仅关注终点的基线,POROS 为 14.4% 至 19.8% 的低 TIR 天数返回多跳路径。该框架将碳水化合物摄入、胰岛素剂量及 Bolus 时机的单步变化减少了 38-42%。
ActQuant 提出行动引导混合精度 PTQ 框架,在 LIBERO 基准上以 3 bpw 以下保留 OpenVLA-OFT 95.0% 性能。 通过 2.5 bpw 将主干压缩至 2.7 GB,实现 5.3 倍加速,并在 UR3 机械臂上保持基线成功率。
提出事件锚定的 SAE 可解释性流水线,将特征分析与闭环行为事件对齐而非文本上下文。 在 OpenVLA 和 $\pi_{0.5}$ 模型中,该方法的排序产生最强因果效应,并能转移至连续动作块。
研究利用混合语言模型作为测试平台,识别出“历史源密钥”是连接局部准备与全局检索的通用因果接口。 探针与恢复干预在控制型模型及发布的语言模型间连接了该接口,分析围绕地址上下文半径与顺序检索深度展开。 结果揭示了电路形成、上下文消歧及顺序使用如何通过共享检索接口进行连接,相关代码已开放获取。
BBT方法通过先训练神经网络模拟贝叶斯模型,再对人类行为数据微调,结合两种范式优势。 四个人类概念学习案例研究表明,BBT在预测人类行为方面优于传统方法,能揭示心理洞察并捕捉启发式与偏见。 该模型既模拟贝叶斯先验,又捕获违反简单建模假设的启发式与偏见。
研究提出 UniSD 统一框架,通过整合多教师一致性、EMA 稳定化及特征匹配等机制,系统解析 LLM 自蒸馏的关键组件交互。 该框架基于 3 个模型族的 6 个基准测试,构建了结合互补组件的 UniSDfull 流水线,较基础模型性能提升 5.4 分,较最强基线提升 2.8 分。 UniSD 验证了自蒸馏是一种无需更强外部教师即可高效且可控地适应 LLM 的实用方法。
研究提出 L-VQVAE 生成模型与 LVQMark 水印方法,通过本地化令牌解决多变量时间序列水印在编辑攻击下的可靠性失效问题。 L-VQVAE 从短连续窗口生成离散令牌,LVQMark 结合 logits 偏置注入与鲁棒重编码,在金融、能源、神经影像四个基准上稳定检测力。 该方法在保持生成质量的同时,有效防止攻击导致的 $z$ 分数双向漂移和误报。
研究提出利用权重空间算术提取“量化向量”,实现零样本迁移量化鲁棒性。在 3-bit 设置下,该方法将 PTQ Top-1 准确率提升高达 60%,且无需接收方进行量化感知训练。 在超过 30 个视觉与语言模型任务中,该向量在捐赠与接收任务差异显著时仍能带来收益。研究还严谨证明了量化向量定义良好且不受重参数化对称性影响。
持续后训练中的强化学习 (RL) 仍会遭遇灾难性遗忘。研究指出其根源在于 KL 正则化在旧任务分布上评估。 该方法提出了无需重放 (replay-free) 的 CPO,通过基于历史 KL 目标的局部 Fisher 代理实现稀疏正则化,且额外计算开销极低。 在三种模型规模的实验中,CPO 在保持适应能力的同时,有效减少了遗忘并维持了预训练模型的广泛能力。
summary_zh: 研究者提出将多智能体分发建模为集值语言理解,构建了包含 3000 条 WildChat 提示词的基准测试集。 微调文本编码器在该基准上取得 89.59 F1 分数,远超 GPT-4o 的 41.51;引入 WAR 后处理规则可优化成本效用。
该研究提出 Volterra 生成模型,通过马尔可夫近似解决其非马尔可夫结构导致的得分学习与逆向模拟难题,高斯条件化将去噪降至原始数据维度。 模型与方差爆炸/保持表征建立联系,支持复用 EDM2 网络。
论文提出 LatentGym,一个支持跨任务经验学习且具备可控潜在结构的测试平台。 每个环境由真实潜在变量控制任务结构,指标区分探索与信息利用。实证研究表明前沿 LLM Agent 在相关任务适应上的缺陷及后训练收益。
研究人员提出 Standard Interpretable Model(SIM)理论,通过公理推导可解释对称性约束,解决了可解释性方法设计缺乏一般理论的问题。 SIM 表明完整表达能力与可解释对称性可在同一模型中共存,证明了准确性与可解释性的权衡是模型设计的伪影,而非本质矛盾。
研究指出归因补丁的误差主要源于下游网络非线性,而非局部曲率。 提出可靠性分数、误差边界及HVP修正工具;在124M至9B模型上,多步HVP在更低计算成本下达到或超越积分梯度精度。 支持在电路恢复基准上以更低算力实现更高保真度,并定位不可靠组件。
KV 缓存量化在降低显存的同时可能破坏 LLM 的安全对齐,Mistral-7B 在仅 1.03 倍困惑度损失下失去 15.2% 拒绝能力。 研究提出 Per-Channel Reduction 诊断方法,揭示了安全特征在低维激活子空间中易受量化噪声影响的几何根源。 该无训练协议只需约 35 GPU 分钟,即可在 vLLM 生产环境中恢复高达 97% 的丢失对齐。
研究者提出 WoVR 框架,利用受控的世界模型模拟器解决 VLA 策略强化学习中闭环想象 rollout 的幻觉与误差累积问题。 框架通过可控动作条件视频世界模型、关键帧初始化 rollout 及世界模型-策略共进化机制,实现稳定长程模拟与高效策略优化。 实验显示 WoVR 在 LIBERO 基准测试中性能优越,并在多个真实机器人平台上带来一致性能增益。
ADWM提出了一种离线评估LLM智能体策略性能的框架,仅利用预收集的轨迹数据,无需在线环境交互。 该框架通过潜变量扩散世界模型模拟环境响应,将每一步转移建模为独立去噪过程,并由策略条件得分函数引导生成,避免了自回归模型的误差累积。 实证结果表明,ADWM在多种多轮任务中实现了准确的数值估计和评估可靠性,是实用且低风险的离线评估方案。
当前 SOTA AI 生成图像检测器主要利用生成管线引入的全局伪影而非局部合成内容进行判断。 研究提出无模型诊断 INP-X,构建 30K 匹配三元组基准;该方法使商用 API 准确率从 >90% 降至 ~55%,DDA 从 97.6% 降至 58.4%,且 97% 的背景光谱偏移归因于 VAE 自编码器往返。 人类感知准确率从 63.8% 降至 56.2%;检测 INP-X 编辑仍属开放问题。
团队提出新方法在预训练和中训练阶段引入安全、事实性和推理行为,利用强模型重写数据并评判策略模型。 该研究引入“自我改进后思考”概念,通过生成后推理提升模型自身推理与判断能力,实验显示在多维度带来性能提升。 arXiv:2601.21343
提出自适应因子记忆框架 ForecastCompass,用于智能体预测任务。该框架包含因子记忆和推理记忆两个组件,通过回顾性分析迭代修订记忆,积累可转移的预测知识。
一项指令级故障注入研究发现,LLM 的可靠性特征显著受模型架构、参数规模和任务复杂度的影响。 该研究通过多维度分析揭示了 LLM 在软错误下的易感性,不同于传统的视觉任务神经网络。 这些发现为设计更有效的容错机制提供了新见解。
LAPLEX 提出了一类精确且可训练的(相位)拉普拉斯核算子,兼具 FFT 级扩展性,支持在向量维度达 $10^9$ 的现代 GPU 上进行可训练矩阵-向量操作。 该算子作为神经网络层提供紧凑投影,并作为高效 Gram 算子支持高维协方差模型,在维度 $3 \cdot 10^6$ 的扁平化图像上保留空间结构且无卷积偏置。
该研究提出结合UNet粗定位与SLIC超像素细分的混合流水线,在眼底图像脉络膜痣分割中实现90.9%的平均Dice指标。 方法在25张保留测试图上优于nnU-Net(83.2%)、Swin UNet(73.0%)及Attention UNet(60.6%),推理无需GPU,1024×1024图像耗时仅1.6秒。
LSD-3D 提出了一种直接生成具有准确几何的大型三维驾驶场景的方法,实现了包含物体持久性的因果新颖视图合成。 该方法通过结合代理几何与环境表示的生成以及从学习到的二维图像先验中的分数蒸馏,实现了对几何和高分辨率纹理的高可控性,可基于地图布局进行条件生成。
针对线性注意力长上下文推理中状态更新导致的内存访问瓶颈,提出IO感知服务机制KVBuffer。该机制通过缓存键值对实现批量解码、并行验证投机解码及短上下文直接计算。 KVBuffer已在SGLang中实现,支持Qwen3.5和Nemotron-3系列模型,使批量解码速度提升最高1.47倍,投机解码最大服务请求量增加5倍。
该论文提出了一种针对数据受限训练的规范性扩展定律,通过单一系数建模重复训练导致的过拟合,证明了在特定阈值后增加模型容量比继续重复数据更有效。 该法通过隔离过拟合项实现了不同训练配置的直接对比,并解释了为何数据受限场景下较大的权重衰减(如 $\lambda=1.0$)能提升性能。
论文提出 HyCNN,结合 Maxout 与 ICNN,保证输入凸性且比 ICNN 用指数更少参数逼近二次函数。 在凸回归、插值及高维最优传输实验中,HyCNN 通常优于 ICNN 与 MLP。 该模型在单细胞数据等场景中表现更佳。
研究揭示被动收集的多源异质思维链(CoT)数据即使单源学习容易,整体学习仍具密码学难度。 难度源于难以学习的贡献偏差或未过滤的混合数据,但过滤后的同质子集足以支持高效学习。 提出一种主动且自适应的高效算法,其按源 CoT 预算与目标误差完全独立,指明了 CoT 监督的数据收集与策展实践。
扩散语言模型自验证机制提出双向流形一致性方法,通过训练自由指标量化生成序列稳定性。 该方法利用前向掩码与反向重建周期,识别有效生成轨迹在分布高密度流形上的稳定吸引子特性,抑制无效路径偏离。 BMC指标支持无需参考答案的解决方案有效性诊断,并作为密集几何奖励实现稀疏监督向细粒度引导转化。
CLaRE 提出轻量级表征层技术,通过前向激活量化事实间纠缠,平均提升 62.2% Spearman 相关系数且速度提升 2.7 倍。 CLaRE 避免耗时的反向传播,峰值 GPU 内存减少 2.85 倍,仅需少量存储空间即可计算并保留事实表征。 纠缠图谱和语料库可用于构建更强的模型编辑保留集、审计追踪及高效红队测试,相关文件已开源。
DUEL 框架统一了确定性掩码扩散模型采样器,通过精确计算似然替代 ELBO 作为评估指标。 该算法无需重训即可应用,将掩码扩散模型与自回归模型的困惑度差距缩小最高 82%,使计算差距从 16 倍降至 9 倍。 使用 DUEL 评分 LLaDA-8B 多选题任务,准确率最高提升 9.7 个百分点,证实了该模型相比 ELBO 评估更具竞争力。
论文提出统一框架,将 Knapsack 与 Top-k 算子建模为动态规划,通过平滑递归推导可微分松弛。 开发了支持确定性/随机前向及向量-Jacobian 反向传播的并行算法;证明 Shannon 负熵是唯一的可分离正则化选择。 在 Knapsack 预测、离散 VAE 扩展及受限动态组合 RL 问题上验证了框架的有效性。
研究团队提出 Reward Engine,通过构建冻结的 RewardPack 为缺乏标准答案的开放式工具任务生成可执行奖励。在 WorkBuddy Bench 和 Claw-Eval 中,该奖励机制与基准评分者排序一致率分别达 82.3% 和 80.5%。
LAMP 提出一种基于舍入误差分析的前瞻自适应混合精度推理策略。该策略在 Transformer 中通过仅对 g(x) 的少量关键组件进行高精度计算,其余部分采用低精度执行。在 GPT-2 模型上的数值实验表明,极低的重计算率即可实现高达两个数量级的精度提升。 该算法已被 NeurIPS 2026 接收,为本地化部署的大语言模型提供了高效的推理优化方案。
新模型通过 Teacher-Student 框架在稀疏观测下实现跨时空泛化,重构了孟加拉国 2003-2022 年高分辨率地下水深度。 Student 模型在未见年份与地区验证中 R2 分别达 0.93 和 0.70,无需当代现场测量即可重建水位变化。 研究揭示全国地下水补给年均下降 1.10 mm/yr,55.6% 区域补给显著减少,为数据稀缺含水层监测提供可扩展方案。