跳到正文
11月6日周五
  1. arXiv · AI40

    SEABench:自演化智能体内生失准评测基准

    SEABench 是一个评估自演化大语言模型智能体内生失准风险的基准,包含 48 个纵向任务序列。该基准提供自适应轨迹发现管线,支持通过配对的无演化智能体进行因果归因。评测显示,自演化虽提高了任务完成率,但常引入安全失败;基于思维链的监控策略能以低误报率缓解不安全行为。

  2. arXiv · AI20

    TraceViT: 基于轨迹监督的视觉抽象推理模型

    论文提出循环视觉推理器 TraceViT,在 ARC-AGI-1 和 ARC-AGI-2 基准上分别取得 67.8% 和 24.3% 的 pass@2 成绩。 该模型通过语义单调变换链进行中间步骤监督,每个迭代由少样本任务参考和对象工作区提供依据。 消融实验表明,轨迹监督仅在结合接地信息时有效,相关代码和数据将公开可用。

  3. arXiv · ML23

    研究揭示 Muon 优化器打破大语言模型预训练中稳定性边缘的耦合机制

    Muon 优化器在 LLM 预训练中大步长动力学不符合经典梯度下降的稳定性边缘(EoS)理论,其解除了损失中性、更新反转与边缘稳定性之间的耦合。 针对无动量随机 Muon,研究推导出经过一致性修正的条件损失中性边界 $2\rho_b/\eta$,并证实时间对齐遵循不同的几何特性。

  4. arXiv · AI27

    SKILD:统一图像生成与连续超分辨率的尺度不变扩散模型

    新模型SKILD通过单一无条件框架统一了图像生成与连续超分辨率任务,无需特定架构或重训练。 在CIFAR-10上达到FID 2.61,并在ImageNet上通过单一检查点实现2倍至8倍超分辨率,在感知指标上超越条件模型。 研究还表明该模型能重构关键的伊辛模型,其四重关联 closely tracks ground truth。

  5. arXiv · ML21

    The Token Before the Value Is the Key:利用混合语言模型揭示 Induction 电路中的历史源密钥机制

    研究利用混合语言模型作为测试平台,识别出“历史源密钥”是连接局部准备与全局检索的通用因果接口。 探针与恢复干预在控制型模型及发布的语言模型间连接了该接口,分析围绕地址上下文半径与顺序检索深度展开。 结果揭示了电路形成、上下文消歧及顺序使用如何通过共享检索接口进行连接,相关代码已开放获取。

  6. arXiv · ML23

    混合贝叶斯-连接主义模型如何实现更准确的行为预测

    BBT方法通过先训练神经网络模拟贝叶斯模型,再对人类行为数据微调,结合两种范式优势。 四个人类概念学习案例研究表明,BBT在预测人类行为方面优于传统方法,能揭示心理洞察并捕捉启发式与偏见。 该模型既模拟贝叶斯先验,又捕获违反简单建模假设的启发式与偏见。

  7. arXiv · AI28

    UniSD:面向大语言模型的统一自蒸馏框架

    研究提出 UniSD 统一框架,通过整合多教师一致性、EMA 稳定化及特征匹配等机制,系统解析 LLM 自蒸馏的关键组件交互。 该框架基于 3 个模型族的 6 个基准测试,构建了结合互补组件的 UniSDfull 流水线,较基础模型性能提升 5.4 分,较最强基线提升 2.8 分。 UniSD 验证了自蒸馏是一种无需更强外部教师即可高效且可控地适应 LLM 的实用方法。

  8. arXiv · ML24

    L-VQVAE 与 LVQMark:面向多变量时间序列鲁棒水印的本地化令牌生成模型

    研究提出 L-VQVAE 生成模型与 LVQMark 水印方法,通过本地化令牌解决多变量时间序列水印在编辑攻击下的可靠性失效问题。 L-VQVAE 从短连续窗口生成离散令牌,LVQMark 结合 logits 偏置注入与鲁棒重编码,在金融、能源、神经影像四个基准上稳定检测力。 该方法在保持生成质量的同时,有效防止攻击导致的 $z$ 分数双向漂移和误报。

  9. arXiv · AI35

    权重空间算术实现零样本量化

    研究提出利用权重空间算术提取“量化向量”,实现零样本迁移量化鲁棒性。在 3-bit 设置下,该方法将 PTQ Top-1 准确率提升高达 60%,且无需接收方进行量化感知训练。 在超过 30 个视觉与语言模型任务中,该向量在捐赠与接收任务差异显著时仍能带来收益。研究还严谨证明了量化向量定义良好且不受重参数化对称性影响。

  10. arXiv · ML27

    RL 会遗忘:迈向持续策略优化 (CPO)

    持续后训练中的强化学习 (RL) 仍会遭遇灾难性遗忘。研究指出其根源在于 KL 正则化在旧任务分布上评估。 该方法提出了无需重放 (replay-free) 的 CPO,通过基于历史 KL 目标的局部 Fisher 代理实现稀疏正则化,且额外计算开销极低。 在三种模型规模的实验中,CPO 在保持适应能力的同时,有效减少了遗忘并维持了预训练模型的广泛能力。

  11. arXiv · ML41

    KV 缓存量化下的对齐崩塌:诊断与缓解

    KV 缓存量化在降低显存的同时可能破坏 LLM 的安全对齐,Mistral-7B 在仅 1.03 倍困惑度损失下失去 15.2% 拒绝能力。 研究提出 Per-Channel Reduction 诊断方法,揭示了安全特征在低维激活子空间中易受量化噪声影响的几何根源。 该无训练协议只需约 35 GPU 分钟,即可在 vLLM 生产环境中恢复高达 97% 的丢失对齐。

  12. arXiv · AI41

    WoVR: 世界模型作为后训练 VLA 策略强化学习的可靠模拟器

    研究者提出 WoVR 框架,利用受控的世界模型模拟器解决 VLA 策略强化学习中闭环想象 rollout 的幻觉与误差累积问题。 框架通过可控动作条件视频世界模型、关键帧初始化 rollout 及世界模型-策略共进化机制,实现稳定长程模拟与高效策略优化。 实验显示 WoVR 在 LIBERO 基准测试中性能优越,并在多个真实机器人平台上带来一致性能增益。

  13. arXiv · ML31

    ADWM:基于自回归扩散世界模型的LLM智能体离线评估框架

    ADWM提出了一种离线评估LLM智能体策略性能的框架,仅利用预收集的轨迹数据,无需在线环境交互。 该框架通过潜变量扩散世界模型模拟环境响应,将每一步转移建模为独立去噪过程,并由策略条件得分函数引导生成,避免了自回归模型的误差累积。 实证结果表明,ADWM在多种多轮任务中实现了准确的数值估计和评估可靠性,是实用且低风险的离线评估方案。

  14. arXiv · AI28

    AI-Generated Image Detectors Exploit Global Artifacts: Evidence from Inpainting Exchange

    当前 SOTA AI 生成图像检测器主要利用生成管线引入的全局伪影而非局部合成内容进行判断。 研究提出无模型诊断 INP-X,构建 30K 匹配三元组基准;该方法使商用 API 准确率从 >90% 降至 ~55%,DDA 从 97.6% 降至 58.4%,且 97% 的背景光谱偏移归因于 VAE 自编码器往返。 人类感知准确率从 63.8% 降至 56.2%;检测 INP-X 编辑仍属开放问题。

  15. arXiv · ML29

    LAPLEX:可学习拉普拉斯核的FFT

    LAPLEX 提出了一类精确且可训练的(相位)拉普拉斯核算子,兼具 FFT 级扩展性,支持在向量维度达 $10^9$ 的现代 GPU 上进行可训练矩阵-向量操作。 该算子作为神经网络层提供紧凑投影,并作为高效 Gram 算子支持高维协方差模型,在维度 $3 \cdot 10^6$ 的扁平化图像上保留空间结构且无卷积偏置。

  16. arXiv · AI28

    LSD-3D:基于几何约束的大规模三维驾驶场景生成

    LSD-3D 提出了一种直接生成具有准确几何的大型三维驾驶场景的方法,实现了包含物体持久性的因果新颖视图合成。 该方法通过结合代理几何与环境表示的生成以及从学习到的二维图像先验中的分数蒸馏,实现了对几何和高分辨率纹理的高可控性,可基于地图布局进行条件生成。

  17. arXiv · ML30

    KVBuffer:线性注意力IO感知服务机制

    针对线性注意力长上下文推理中状态更新导致的内存访问瓶颈,提出IO感知服务机制KVBuffer。该机制通过缓存键值对实现批量解码、并行验证投机解码及短上下文直接计算。 KVBuffer已在SGLang中实现,支持Qwen3.5和Nemotron-3系列模型,使批量解码速度提升最高1.47倍,投机解码最大服务请求量增加5倍。

  18. arXiv · ML25

    数据受限训练下的规范性扩展定律:单参数模型揭示计算与数据的最优分配

    该论文提出了一种针对数据受限训练的规范性扩展定律,通过单一系数建模重复训练导致的过拟合,证明了在特定阈值后增加模型容量比继续重复数据更有效。 该法通过隔离过拟合项实现了不同训练配置的直接对比,并解释了为何数据受限场景下较大的权重衰减(如 $\lambda=1.0$)能提升性能。

  19. arXiv · ML35

    多源思维链异质性如何影响高效可学习性

    研究揭示被动收集的多源异质思维链(CoT)数据即使单源学习容易,整体学习仍具密码学难度。 难度源于难以学习的贡献偏差或未过滤的混合数据,但过滤后的同质子集足以支持高效学习。 提出一种主动且自适应的高效算法,其按源 CoT 预算与目标误差完全独立,指明了 CoT 监督的数据收集与策展实践。

  20. arXiv · ML28

    扩散语言模型推理一致性:双向流形一致性自验证方法

    扩散语言模型自验证机制提出双向流形一致性方法,通过训练自由指标量化生成序列稳定性。 该方法利用前向掩码与反向重建周期,识别有效生成轨迹在分布高密度流形上的稳定吸引子特性,抑制无效路径偏离。 BMC指标支持无需参考答案的解决方案有效性诊断,并作为密集几何奖励实现稀疏监督向细粒度引导转化。

  21. arXiv · ML30

    CLaRE 量化表征纠缠以预测 LLM 编辑涟漪效应

    CLaRE 提出轻量级表征层技术,通过前向激活量化事实间纠缠,平均提升 62.2% Spearman 相关系数且速度提升 2.7 倍。 CLaRE 避免耗时的反向传播,峰值 GPU 内存减少 2.85 倍,仅需少量存储空间即可计算并保留事实表征。 纠缠图谱和语料库可用于构建更强的模型编辑保留集、审计追踪及高效红队测试,相关文件已开源。

  22. arXiv · ML40

    DUEL:精确似然重塑掩码扩散模型缩放定律及后续影响

    DUEL 框架统一了确定性掩码扩散模型采样器,通过精确计算似然替代 ELBO 作为评估指标。 该算法无需重训即可应用,将掩码扩散模型与自回归模型的困惑度差距缩小最高 82%,使计算差距从 16 倍降至 9 倍。 使用 DUEL 评分 LLaDA-8B 多选题任务,准确率最高提升 9.7 个百分点,证实了该模型相比 ELBO 评估更具竞争力。

  23. arXiv · ML23

    基于动态规划的可微分 Knapsack 与 Top-k 算子

    论文提出统一框架,将 Knapsack 与 Top-k 算子建模为动态规划,通过平滑递归推导可微分松弛。 开发了支持确定性/随机前向及向量-Jacobian 反向传播的并行算法;证明 Shannon 负熵是唯一的可分离正则化选择。 在 Knapsack 预测、离散 VAE 扩展及受限动态组合 RL 问题上验证了框架的有效性。

  24. arXiv · ML25

    LAMP:大语言模型的前瞻混合精度推理

    LAMP 提出一种基于舍入误差分析的前瞻自适应混合精度推理策略。该策略在 Transformer 中通过仅对 g(x) 的少量关键组件进行高精度计算,其余部分采用低精度执行。在 GPT-2 模型上的数值实验表明,极低的重计算率即可实现高达两个数量级的精度提升。 该算法已被 NeurIPS 2026 接收,为本地化部署的大语言模型提供了高效的推理优化方案。

  25. arXiv · ML23

    基于 Teacher-Student 框架的孟加拉国地下水水位与补给下降研究

    新模型通过 Teacher-Student 框架在稀疏观测下实现跨时空泛化,重构了孟加拉国 2003-2022 年高分辨率地下水深度。 Student 模型在未见年份与地区验证中 R2 分别达 0.93 和 0.70,无需当代现场测量即可重建水位变化。 研究揭示全国地下水补给年均下降 1.10 mm/yr,55.6% 区域补给显著减少,为数据稀缺含水层监测提供可扩展方案。