跳到正文
11月6日周五
  1. arXiv · ML41

    KV 缓存量化下的对齐崩塌:诊断与缓解

    KV 缓存量化在降低显存的同时可能破坏 LLM 的安全对齐,Mistral-7B 在仅 1.03 倍困惑度损失下失去 15.2% 拒绝能力。 研究提出 Per-Channel Reduction 诊断方法,揭示了安全特征在低维激活子空间中易受量化噪声影响的几何根源。 该无训练协议只需约 35 GPU 分钟,即可在 vLLM 生产环境中恢复高达 97% 的丢失对齐。

  2. arXiv · AI41

    WoVR: 世界模型作为后训练 VLA 策略强化学习的可靠模拟器

    研究者提出 WoVR 框架,利用受控的世界模型模拟器解决 VLA 策略强化学习中闭环想象 rollout 的幻觉与误差累积问题。 框架通过可控动作条件视频世界模型、关键帧初始化 rollout 及世界模型-策略共进化机制,实现稳定长程模拟与高效策略优化。 实验显示 WoVR 在 LIBERO 基准测试中性能优越,并在多个真实机器人平台上带来一致性能增益。

  3. arXiv · ML31

    ADWM:基于自回归扩散世界模型的LLM智能体离线评估框架

    ADWM提出了一种离线评估LLM智能体策略性能的框架,仅利用预收集的轨迹数据,无需在线环境交互。 该框架通过潜变量扩散世界模型模拟环境响应,将每一步转移建模为独立去噪过程,并由策略条件得分函数引导生成,避免了自回归模型的误差累积。 实证结果表明,ADWM在多种多轮任务中实现了准确的数值估计和评估可靠性,是实用且低风险的离线评估方案。

  4. arXiv · AI28

    AI-Generated Image Detectors Exploit Global Artifacts: Evidence from Inpainting Exchange

    当前 SOTA AI 生成图像检测器主要利用生成管线引入的全局伪影而非局部合成内容进行判断。 研究提出无模型诊断 INP-X,构建 30K 匹配三元组基准;该方法使商用 API 准确率从 >90% 降至 ~55%,DDA 从 97.6% 降至 58.4%,且 97% 的背景光谱偏移归因于 VAE 自编码器往返。 人类感知准确率从 63.8% 降至 56.2%;检测 INP-X 编辑仍属开放问题。

  5. arXiv · ML29

    LAPLEX:可学习拉普拉斯核的FFT

    LAPLEX 提出了一类精确且可训练的(相位)拉普拉斯核算子,兼具 FFT 级扩展性,支持在向量维度达 $10^9$ 的现代 GPU 上进行可训练矩阵-向量操作。 该算子作为神经网络层提供紧凑投影,并作为高效 Gram 算子支持高维协方差模型,在维度 $3 \cdot 10^6$ 的扁平化图像上保留空间结构且无卷积偏置。

  6. arXiv · AI28

    LSD-3D:基于几何约束的大规模三维驾驶场景生成

    LSD-3D 提出了一种直接生成具有准确几何的大型三维驾驶场景的方法,实现了包含物体持久性的因果新颖视图合成。 该方法通过结合代理几何与环境表示的生成以及从学习到的二维图像先验中的分数蒸馏,实现了对几何和高分辨率纹理的高可控性,可基于地图布局进行条件生成。

  7. arXiv · ML30

    KVBuffer:线性注意力IO感知服务机制

    针对线性注意力长上下文推理中状态更新导致的内存访问瓶颈,提出IO感知服务机制KVBuffer。该机制通过缓存键值对实现批量解码、并行验证投机解码及短上下文直接计算。 KVBuffer已在SGLang中实现,支持Qwen3.5和Nemotron-3系列模型,使批量解码速度提升最高1.47倍,投机解码最大服务请求量增加5倍。

  8. arXiv · ML25

    数据受限训练下的规范性扩展定律:单参数模型揭示计算与数据的最优分配

    该论文提出了一种针对数据受限训练的规范性扩展定律,通过单一系数建模重复训练导致的过拟合,证明了在特定阈值后增加模型容量比继续重复数据更有效。 该法通过隔离过拟合项实现了不同训练配置的直接对比,并解释了为何数据受限场景下较大的权重衰减(如 $\lambda=1.0$)能提升性能。

  9. arXiv · ML35

    多源思维链异质性如何影响高效可学习性

    研究揭示被动收集的多源异质思维链(CoT)数据即使单源学习容易,整体学习仍具密码学难度。 难度源于难以学习的贡献偏差或未过滤的混合数据,但过滤后的同质子集足以支持高效学习。 提出一种主动且自适应的高效算法,其按源 CoT 预算与目标误差完全独立,指明了 CoT 监督的数据收集与策展实践。

  10. arXiv · ML28

    扩散语言模型推理一致性:双向流形一致性自验证方法

    扩散语言模型自验证机制提出双向流形一致性方法,通过训练自由指标量化生成序列稳定性。 该方法利用前向掩码与反向重建周期,识别有效生成轨迹在分布高密度流形上的稳定吸引子特性,抑制无效路径偏离。 BMC指标支持无需参考答案的解决方案有效性诊断,并作为密集几何奖励实现稀疏监督向细粒度引导转化。

  11. arXiv · ML30

    CLaRE 量化表征纠缠以预测 LLM 编辑涟漪效应

    CLaRE 提出轻量级表征层技术,通过前向激活量化事实间纠缠,平均提升 62.2% Spearman 相关系数且速度提升 2.7 倍。 CLaRE 避免耗时的反向传播,峰值 GPU 内存减少 2.85 倍,仅需少量存储空间即可计算并保留事实表征。 纠缠图谱和语料库可用于构建更强的模型编辑保留集、审计追踪及高效红队测试,相关文件已开源。

  12. arXiv · ML40

    DUEL:精确似然重塑掩码扩散模型缩放定律及后续影响

    DUEL 框架统一了确定性掩码扩散模型采样器,通过精确计算似然替代 ELBO 作为评估指标。 该算法无需重训即可应用,将掩码扩散模型与自回归模型的困惑度差距缩小最高 82%,使计算差距从 16 倍降至 9 倍。 使用 DUEL 评分 LLaDA-8B 多选题任务,准确率最高提升 9.7 个百分点,证实了该模型相比 ELBO 评估更具竞争力。

  13. arXiv · ML23

    基于动态规划的可微分 Knapsack 与 Top-k 算子

    论文提出统一框架,将 Knapsack 与 Top-k 算子建模为动态规划,通过平滑递归推导可微分松弛。 开发了支持确定性/随机前向及向量-Jacobian 反向传播的并行算法;证明 Shannon 负熵是唯一的可分离正则化选择。 在 Knapsack 预测、离散 VAE 扩展及受限动态组合 RL 问题上验证了框架的有效性。

  14. arXiv · ML25

    LAMP:大语言模型的前瞻混合精度推理

    LAMP 提出一种基于舍入误差分析的前瞻自适应混合精度推理策略。该策略在 Transformer 中通过仅对 g(x) 的少量关键组件进行高精度计算,其余部分采用低精度执行。在 GPT-2 模型上的数值实验表明,极低的重计算率即可实现高达两个数量级的精度提升。 该算法已被 NeurIPS 2026 接收,为本地化部署的大语言模型提供了高效的推理优化方案。

  15. arXiv · ML23

    基于 Teacher-Student 框架的孟加拉国地下水水位与补给下降研究

    新模型通过 Teacher-Student 框架在稀疏观测下实现跨时空泛化,重构了孟加拉国 2003-2022 年高分辨率地下水深度。 Student 模型在未见年份与地区验证中 R2 分别达 0.93 和 0.70,无需当代现场测量即可重建水位变化。 研究揭示全国地下水补给年均下降 1.10 mm/yr,55.6% 区域补给显著减少,为数据稀缺含水层监测提供可扩展方案。

  16. arXiv · ML40

    Social Humanoid:社会响应式人机互动

    Social Humanoid是一个分层系统,能让29自由度Unitree G1机器人根据人类伙伴动作生成并执行全身运动。 该系统通过共享令牌化表示进行序列建模,预测被遮挡的伙伴动作;利用两阶段自适应重定向方法,在五个动作捕捉数据集上生成了260小时的人-形机器人交互基准。 结果在模拟和真实世界中展示了协调的人机行为。

  17. arXiv · AI31

    StreamMemBench 流式评测 Agent 记忆的未来导向辅助能力

    StreamMemBench 是一个流式基准,基于 EgoLife 自我中心视频流构建两步任务序列,评测 Agent 记忆将观察转化为未来辅助的能力。 该基准通过四项指标诊断证据回忆、初始证据使用、反馈整合及后续复用情况,实验显示八种记忆系统在两项骨干上常无法可靠利用本地反馈。 研究已被 EMNLP 2026 Findings 接收,基准公开可用。

  18. arXiv · AI25

    TSQAgent:基于专用智能体推理对时间序列数据质量进行评级

    针对LLM在时间序列数据质量评估中维度识别困难和纯文本推理的局限,研究者提出TSQAgent智能体推理框架。 该框架包含Perceiver(感知器)、Inspector(检查员)和Adjudicator(裁决者)三个协作角色,并配备外部分析工具以支持量化比较。 在TSQBench及11个真实数据集上的实验表明,TSQAgent显著提升了LLM的质量理解能力、量化比较精度以及下游任务的数据效率。

  19. arXiv · AI29

    VisAnomReasoner:基于参数高效视觉语言模型的时间序列异常检测

    VisAnomReasoner 在 VisAnomBench 基准测试中,精确率与 F1 分数较基线分别提升 21.23 和 23.87 个百分点。 该模型通过微调构建,在 TSB-AD-U 交叉泛化实验中,精确率与 F1 分数也分别提升 9.57 和 13.39 个百分点。 该研究已被 NeurIPS 2026 接收,解决了异常检测缺乏自然语言推理依据的问题。

  20. arXiv · AI43

    LinAlg-Bench:揭示 LLM 数学推理结构性故障模式的前瞻性基准

    LinAlg-Bench 发布,评估 10 个前沿 LLM 在 3x3 至 5x5 线性代数计算上的表现,发现模型在 4x4 规模存在行为阈值。 基准包含 660 道 SymPy 验证题目及 6,600 条模型输出,通过自动化流程将 1,156 个错误归类为十种主要标签。 研究表明,模型故障非随机而是受算法类型与维度约束,且 4x4 以上主要失败模式转为“计算放弃”与“幻觉编造”,而非执行错误。

  21. arXiv · ML22

    KeHoSu: Keyed Homoglyph Substitution for Authenticated Text Provenance over Copy-Paste Channels

    KeHoSu 提出基于同形异码字符的文本溯源方法,利用Unicode码点在复制粘贴渠道中传递标识信息。 该方法将同形字符变体编码为平台、用户及认证标签位,对句序重排具有不变性。 实验显示,在18个平台上,约两句话长度的LLM生成文本即可实现多数片段正确归因。

  22. arXiv · ML31

    代码正确性信号在分布偏移下的生存能力:隐藏状态与因果预测器

    在 Qwen3-Coder-30B 上,因果定位法在语言分布偏移中使判决正确性预测保持 0.09 AUROC 领先于输出置信度。 该优势显著优于最佳非因果预测器 0.04 AUROC,但在 gpt-oss-20b 或基准测试偏移中未能一致泛化。 对于程序正确性,预测器主要通过识别模型易失败的问题在基准间成功迁移。

  23. arXiv · AI26

    ASTRA-bench:评估具备个人用户上下文的工具使用智能体推理与行动规划

    研究团队推出基准测试 ASTRA-bench,集成时变个人上下文、交互式工具箱及复杂用户意图,包含 4 个角色生成的 2413 个场景。 评估显示 Claude-4.5-Opus 和 DeepSeek-V3.2 等高复杂度场景下性能显著下降,论证生成为主要瓶颈。 该基准公开完整执行环境与评估脚本,旨在为开发真正具备上下文感知能力的 AI 助手提供诊断平台。

  24. arXiv · AI28

    Agentic Evolution 是 LLM 进化的路径

    文章提出 LLM 静态训练无法适应动态部署环境,主张 Agentic Evolution 作为适应路径,提出 A-Evolve 框架及 evolution-scaling 假设。 A-Evolve 将部署时优化视为针对持久系统状态的目标导向过程,adaptation 能力随 evolution 计算量扩展。 代码已公开,为实现开放式持续适应提供可扩展方案。

  25. arXiv · AI36

    Dreamer:深度循环注意力混合框架通过跨深度注意力实现潜在推理

    研究人员提出Dreamer框架,结合序列、深度及稀疏专家注意力,解决深度循环模型在恒定隐藏尺寸下的潜在推理瓶颈。 该模型在语言推理基准测试中,相比同等FLOP、参数和内存配置的SOTA模型,训练所需token减少2至8倍,性能超过2倍规模模型,且专家选择多样性高出2至11倍。

  26. arXiv · AI45

    ARMs:基于插件式攻击的自适应多模态模型红队智能体

    论文提出 ARMs,一种利用推理增强多步编排的自适应红队智能体,旨在系统性评估视觉语言模型(VLMs)的安全漏洞。 该系统集成了 17 种红队算法并设计了 11 种多模态攻击策略,通过 epsilon-greedy 探索算法平衡攻击多样性与有效性。 实验显示 ARMs 攻击成功率平均高出基线 52.1%,在 Claude-4-Sonnet 上超过 90%。