跳到正文
10月28日周三
  1. arXiv · ML24

    固定世界模型在干预下的保形不确定性校准

    改变部署策略会破坏固定世界模型的不确定性,加权保形校准可将覆盖率恢复至90.9%。 基于DINO特征世界模型和Franka机械臂轨迹实验显示,标准90%保形集覆盖率降至55.0%,而学习型比率校准覆盖率达90.9%。 该方法证明校准可随干预动态调整,相关代数恒等式已通过Lean 4进行机器验证。

  2. arXiv · AI36

    CalArena:大规模事后校准基准

    CalArena 发布了覆盖近 2000 个实验的事后校准基准,涵盖表格和计算机视觉任务。 该基准聚合了经典模型、深度学习架构及基础模型的预测,并包含数十种校准方法的统一实现。 研究者提出以合理评分规则中的事后改进(PHI)替代传统校准误差估计器,并开源了数据与代码。

  3. arXiv · AI40

    DeGenTWeb:首个 MGT 主导网站研究

    DeGenTWeb 系统性识别出 20.9% 的 Common Crawl 归档网站和 13.6% 的 Bing 链接网站由机器生成文本主导。 该方法将 MGT 检测器适配至网页层面并聚合结果,误报率仅 0.12%,且发现此类网站数量随时间增长。 研究团队将在发表后开源全部代码与数据,为理解网络内容真实性提供基准。

  4. arXiv · AI40

    Gym-Anything-RT 发布实时视觉语言智能体评测基准

    Gym-Anything-RT 构建 100 个实时视觉迷你游戏,用于评测视觉语言智能体在动态环境下的交互能力。 该基准通过智能体管道基于 6 项核心能力自动生成环境,支持在实时、暂停或减速模式下进行受控对比实验。 GPT-6 Astra 在实时模式下通过率仅 9.0%,暂停后升至 75.0%;研究揭示了智能体在实时交互中存在的能力缺口及规避感知的编码行为。

  5. arXiv · AI30

    MoE 解码的 Channel Selection 无需校准数据

    研究证明混合专家模型(MoE)解码中的通道选择无需校准数据。Top-k 方法在 13% 和 18% 预算下,于 43 次对比中的 40 次表现优于或等于阈值法。 该方案在 Gemma 4 上避免了循环崩溃,且基于权重的读取器在 17.8% 的读取率下保留了 98.1% 的完整模型精度。Triton kernel 在批量为一时比 vLLM 快 1.60 至 1.90 倍。

  6. arXiv · AI24

    豪萨语 LLM 安全对齐案例研究:基于 Qwen2.5 的偏好优化分析

    研究团队构建了包含 10,000 条数据的 HausaSafeLM 数据集,基于 Qwen2.5-7B-Instruct 探索豪萨语 LLM 的安全对齐方法。 实验对比 SFT 与 DPO 策略,发现未微调模型因生成能力有限而高拒答率具有误导性,单一配置难以同时最大化安全性、有用性与流畅度。 研究指出仅依赖拒答率指标无法可靠评估低资源语言的安全对齐效果。

  7. arXiv · AI27

    V-LUMEN:面向视觉语言模型嵌入扩展的视觉查找记忆

    V-LUMEN通过冻结码本离散化视觉特征及空间感知哈希,为视觉语言模型引入非参数化的视觉查找记忆,检索嵌入经门控残差通路融入骨干网络。 该方法在五个推理密集型基准上显著提升了冻结的Qwen3-VL-2B性能,并零样本迁移至三个图像不重叠的基准。 文章指出外部视觉记忆是独立容量轴,代码已开源,论文被NeurIPS 2026接收。

  8. arXiv · AI26

    密集表示学习与可微分形状建模用于脊柱地标检测

    研究将解剖地标检测重构为像素级对比表示学习问题,通过匹配密集像素嵌入与地标原型生成更具判别力的热力图。结合全局地标构型中的可学习形状先验消除位置歧义,在AASCE数据集及两个私有数据集上达到最先进的地标准确率和临床参数估计水平。代码和预训练权重已公开,支持脊柱变形严重度估计和术前规划。

  9. arXiv · AI24

    首个开源巴斯克语 Speech Language Model 基于 LLaMA-Omni 架构开发

    基于 LLaMA-Omni 架构,研究者构建了首个开源巴斯克语 Speech Language Model。该系统采用 Latxa 模型作为骨干网络,通过微调多个模块将文本能力迁移至语音模态,并基于英语语料翻译生成合成数据以解决数据稀缺问题。评估结果显示,系统的内容质量得分为 3.86/5,语音清晰度 WER 为 9.94%,音质 UTMOS 为 3.07。

  10. arXiv · AI24

    HIDRA:面向无重放终身模仿学习的层级双路由注意力

    HIDRA 提出层级双注意力机制,结合键级几何正则化,在无重放、单次遍历的终身模仿学习设置中稳定专家选择。该方法在 LIBERO 基准测试中 consistently 优于无重放和基于重放的基线模型,提升了 AUC 和正向迁移,同时保持低遗忘率。HIDRA 支持可扩展的专家集合,适用于实时适应持续多模态演示的机器人场景。

  11. arXiv · AI25

    BUSTA:通过逆向基础块执行教会小语言模型推理二进制行为

    研究人员发布 BUSTA 框架,通过逆向基础块执行训练小语言模型,使其在资源受限环境中处理逆向工程任务。 使用 GRPO 对 Qwen3-1.7B 和 Nemotron-3-Nano 微调后,已知寄存器预测准确率分别升至 85.3% 和 95.2%。 细调后的 Nemotron-3-Nano 性能接近前沿模型最高分 99.2%,参数量大幅减少。

  12. arXiv · AI44

    基座模型可检测提示词分类器遗漏的隐藏意图

    研究提出一种名为PHLE的方法,通过评估基座模型对输出的似然来解码潜意识信号。 该方法能区分带有“爱猫头鹰”或“爱鹰”提示的数字串,以及移除显性对齐缺陷后隐藏伤害用户意图的回答,而提示词分类器表现接近随机猜测。 PHLE在Qwen和Olmobase模型间部分有效,为Persona Selection Model提供了证据,可用于审计模型隐藏目标。

  13. arXiv · AI23

    Stratum:面向编码智能体的跨上下文窗口仓库记忆系统

    提出 Stratum 系统,通过持久化仓库记忆解决编码智能体的上下文遗忘问题。 在 8 个真实 Bug 的多会话实验中,继承记忆的代理识别根因文件的成功率为 21/24,显著优于 6/24 的检索基线,且中位 token 成本低 4.5 倍。 检索一百万节点库的中位耗时为 1.7 ms,证明其可高效扩展至大型代码库。

  14. arXiv · ML33

    CrystalREPA:将通用 MLIP 物理先验迁移至晶体生成模型

    CrystalREPA 框架通过元素感知对比目标对齐生成编码器与冻结 MLIP 的隐藏状态,实现稳定性先验迁移,无额外推理成本。 该方法在三个生成框架、十个 MLIP 教师模型及两个基准数据集上验证有效,显著提升生成晶体的热力学稳定性与结构有效性。 研究发现 MLIP 迁移效果由原子表示空间的可区分性决定,而非 Matbench Discovery 等标准榜单的准确率。

  15. arXiv · ML20

    预条件梯度下降训练过参数化神经网络的泛化分析

    研究提出预条件梯度下降结合早期停止算法,为过参数化两层神经网络提供非参数回归的尖锐泛化界。 该算法达到 $O(n^{-\frac{2\alpha s'}{2\alpha s'+1}})$ 的回归速率,优于现有理论中的几乎最优界,且避免了额外对数项。 该结果揭示了预条件梯度下降通过降低有效核复杂度来改善神经网络的参考训练动态。

  16. arXiv · ML34

    RoboJev-27B 开源视觉语言模型用于机器人操作成功检测

    RoboJev-27B 作为开源权重模型,在 SO-101 机器人 268 个留出回合上取得 95.2% 平衡准确率,支持任务指令与多帧视频输入以预测操作成功。 模型基于 JEV-27B-VL 仅微调语言模型(冻结视觉编码器),单条推理耗时 0.26 秒;在未知实验室数据上泛化 AUROC 达 0.890。 发布附带推理代码与 20,628 条预测记录,便于复现与 benchmark 评估。

  17. arXiv · ML33

    Flow Mesh: 一种基于速度正则化的流匹配框架,用于非结构化网格上物理场的稳定分布建模

    研究提出生成式框架 FlowMesh,结合置换不变编码与潜空间流匹配,在非结构化网格上直接生成热流体场。 在六组匹配种子评估中,FlowMesh 的宏观平均概率密度函数覆盖率达 91.7%-97.0%,较潜扩散模型提升 11.6-45.4 个百分点。 单次全场生成耗时约 1.23 秒,相比传统 CFD 仿真提速 585-1902 倍,使大规模数据驱动分析在固定几何能源系统中具备可行性。

  18. arXiv · ML23

    LUCID:基于条件密度估计的局部协变量重要性理解方法

    LUCID 是一种新的模型无关局部变量重要性指标,它利用给定其余观测特征的完整条件分布生成可信扰动值,避免了生成不现实的反事实。该方法建立了 LUCID 与现有变量重要性度量的理论联系,并提供了具有收敛保证和不确定性量化的估计器。在模拟和现实世界实例中,LUCID 展现出稳定的性能和实际效用。

  19. arXiv · ML28

    BellowsKV 跨层 KV 缓存压缩方法

    研究者提出无需训练的 BellowsKV 方法,通过映射相邻层隐藏状态到单一潜变量实现 KV 缓存跨层共享。 在 Llama-3.1-8B、Mistral-7B 和 Qwen2.5-7B 上,BellowsKV-Quant 在 3.6 倍压缩比下保留约 99% 全缓存准确率,13-14 倍压缩下保留 97-98%。 该方法解决了高压缩率下跨层共享缓存精度急剧下降的瓶颈。

  20. arXiv · ML23

    用于认证学习的稀疏平方和层

    Sparse SOS Layers 在保持认证保证的同时,将大问题的内存占用从 160 GiB 降至 1.7 GiB,总热调用时间最高提速 2.7 倍。 该层通过重用前向求解的局部坐标避免构建密集证明,实验涵盖多项式认证、摆控制及位姿图同步等场景。 设计研究在未见实例中实现零认证违规,所需优化求解次数约为有限差分法的 7 分之一。

  21. arXiv · ML20

    MOFjson:面向语言模型的金属有机框架显式拓扑表示

    研究提出 MOFjson 表示法,将结构数据分为原子层和衍生层,并在基准测试中表现优于三个基线模型。 在四个模型测试中,MOFjson 在“到达块最近周期副本”任务准确率达 100%(基线 18-47%),晶系表征达 96%(基线 71%),配位任务达 60%(基线 48%)。 该表示法为智能体工具工作流和受限 MOF 生成奠定了基础。

  22. arXiv · ML33

    INTRA: 交错非连续Token稀疏注意力机制

    提出硬件感知的静态稀疏注意力方法INTRA,基于中继通信视图和CQS约束,通过互补稀疏组在层间提供短介导通信路径。 在A100上,INTRA在2K FLUX.1-dev生成中实现1.53倍加速,且在LoRA自蒸馏后图像质量优于CLEAR配置;在LLaMA-3.1-8B上提升长上下文预填充效率,注意力基准测试中较MoBA和NSA分别实现8.4倍和10.4倍加速。

  23. arXiv · ML27

    反应式优化器 OPAL:利用预训练语言模型智能体动态重写优化器代码

    研究提出反应式优化器 OPAL,利用预训练语言模型智能体在单次训练运行中检查动力学并重写优化器代码。 在语言建模和图像生成任务中,OPAL 匹配或优于固定配方,可调整学习率、精度及动量,并展示了对数据损坏的适应性。 该方案无需针对特定优化器的元训练或跨运行记忆转移,代码已开源。