SpatialCLI:通过调用空间工具提升视觉语言模型的空间推理能力
研究人员提出 SpatialCLI 框架,通过调用空间工具显著提升视觉语言模型的空间推理表现。在 MindCube 测试中,该框架将 Qwen3-VL-8B-Instruct 的准确率从 29.3% 提升至 84.6%。
研究人员提出 SpatialCLI 框架,通过调用空间工具显著提升视觉语言模型的空间推理表现。在 MindCube 测试中,该框架将 Qwen3-VL-8B-Instruct 的准确率从 29.3% 提升至 84.6%。
VitalAgent 提出了一种基于 ECG/PPG 信号的 mHealth 工具增强型智能体框架,支持反应性问答与主动性监测。 该框架构建了纵向生理记忆,并引入了 VitalBench 基准(含 1,862 个问答对和 90.2 小时连续记录)。 实验显示其反应性评估比基线提升超 25 分,能实现长期生理信号预警,获 NeurIPS 2026 工作坊接收。
提出基于Shapley Interaction Index的可扩展指标 $\mathcal{F}_{syn}$,用于严格隔离VLM中模态间的联合协同。该指标在 $\rho = 0.93$ 保真度下实现高达88倍计算速度提升。
该书旨在为视觉语言模型(Vision-Language Models)提供清晰的心智地图,帮助读者自信阅读新论文并设计系统。 作者指出该领域发展迅速且术语繁多,常让人迷失,因此本书不追求穷尽所有数据集或模型变体,而是侧重构建结构与直觉。
提出包含 4100 多个专家验证实例的 AstroVLBench 基准,评估 6 个前沿视觉语言模型在 5 类天文任务中的表现,发现性能强烈依赖模态,且与通用基准排名不相关。
研究发布包含 1,235 张小票图像的数据集 GPT4o-Receipt,对比 5 个多模态 LLM 与 30 名众包标注者。 人类虽具备最大视觉判别差距,但二分类检测 F1 值低于 Claude Sonnet 4 和 Gemini 2.5 Flash。 研究揭示 LLM 通过验证算术错误而非视觉特征检测 AI 文档,相关框架与结果已公开。
SAYO 是一种视觉推理模型,利用强化学习框架引入区域级视觉注意力奖励,解决多模态大模型视觉焦点薄弱及错误传播问题。 该模型在多个多模态基准测试中,持续提升了多样化推理与感知任务的性能表现。
GPT-6-Astra 作为核心代理在 EBench 基准上控制机器人,对比了直接控制与调用后训练策略两种配置。在直接控制模式下,该模型在短程任务上表现领先且泛化方差最小,但在长程任务及高精度接触操作上弱于后训练策略。
研究提出首个整合 EEG 信号的视觉搜索人类注意力预测方法 EEGazeNet,并发布最大公开多模态数据集 EEGaze 140。 数据集包含 36 名参与者在 140 个自然场景下同步记录的 EEG 与眼动数据,涵盖桌面图标搜索及杂乱车间寻物两类场景。 在综合评估中,EEGazeNet 持续优于所有基线方法及消融条件,验证了 EEG 引导显著性优化在适应用户认知状态方面的有效性。
summary_zh: OmniShowcase 提出自动化数据合成管线和基于几何的条件化方法,解决主体视频中未知表面外观推断难题。 方法利用参考视图重建表面法线贴图作为条件,无需时间对齐。
CounterFlow 提出一种基于条件流匹配的新框架,通过直接引导源图像转向用户指定目标类来生成视觉反事实解释。 利用目标条件向量场,该框架在标准基准上达到 SOTA 性能,兼顾视觉真实感与目标类切换,且计算开销低于传统 GAN 或扩散架构。 直接在原始像素空间工作,CounterFlow 为真实世界部署提供了更具实用性的解决方案。
提出利用LLM和VLM实现开放环境自主机器人与人类目的对齐的多模态框架。 该框架分为语义对齐、任务生成和驱力建模三层,通过双向交互循环将自然语言人类目的转化为机器人任务与驱力。 仿真与实体机器人实验验证了其生成有效任务与行为的能力,支持交互式场景下的有效人机对齐。
该框架结合视觉布局分割、多脚本OCR与智能体RAG管道,专门处理严重退化扫描文档。 在20万页Punjab Vidhan Sabha档案上验证,通过迭代循环规避OCR噪声,检索效果优于标准纯文本基线。
summary_zh: OrthoRF通过在RF特征空间中强制施加正交约束,提升同步模型在无监督对象发现任务中的分组可靠性与解释性。 该模型通过引入内积损失和架构修改实现正交性,在包含重叠物体和噪声的测试中匹配或超越现有模型,并消除对后验聚类的依赖。
SR-BEVS 提出稀疏恢复方法,同时提升干净精度与腐蚀鲁棒性,无需额外数据或架构修改。 在 nuScenes 数据集上,相比 Fast-BEV 基线,腐蚀鲁棒性提升最高 33.8%,干净精度提升 1.8%。 该方法已获 IROS 2026 录用。
GUIFlow 框架提出时间冗余感知增量推理,在离线多图像基准测试中实现最高 3.39 倍几何均值加速。 框架通过位置对齐注入历史 KV 状态、变更信号引导视觉与语言模型选择性更新、早期动作响应作为投机草稿由目标模型验证,实现全流水线增量推理。 该方法无需额外训练、独立草稿模型或修改模型可见输入,在 OSWorld 在线交互中加速最高达 3.49 倍,任务性能与密集基线相当。
提出 LE-GDA 方法,通过无梯度优化组合 CLIP 中间层与最终层表示,提升无训练少样本适应效果。 在 11 个数据集和 4 种 CLIP 骨干网络上,LE-GDA 在所有组合中取得最高平均准确率。 相比 GDA-CLIP 基线,16-shot 平均准确率从 78.01% 提升至 79.54%,1-shot 时仍保持 1.20 个百分点的优势。
针对黑盒点云模型在测试时旋转导致的性能下降,提出无梯度测试时规范化方法 CanDO。 该方法通过前向查询搜索最优输入变换以最大化模型置信度。 在物体部件分割任务中,CanDO 恢复了方位角错位 76% 及任意 SO(3) 旋转 51% 的性能差距。
基准测试 VLA-HWBench 显示,VLA 模型动作生成策略对推理延迟的影响远大于模型参数量。 在 18 个开源 VLA 模型测试中,Jetson 平台上延迟差异达 82 倍,而参数量仅解释 15% 的方差。
Gangqinpu 发布了一个包含 18,786 组乐谱-演奏对、1,007.1 小时源音频的多流派钢琴数据集,具备自动音符级对齐功能。 该数据集覆盖流行、古典、爵士、民谣、摇滚及布鲁斯,通过自动管道生成标签并构建与 ASAP 的联合划分。 下游实验表明其在节拍跟踪任务中取得跨数据集增益,且在转写与表现力渲染任务中提供域内收益。
研究团队提出 Audio-R1,这是一种针对大型音频语言模型的强化学习后训练框架。该框架利用自监督学习作为可验证奖励来源,通过自动判定答案来验证模型响应并计算奖励。 实验表明,Audio-R1 在多种音频基准测试中带来了稳定的性能提升。与监督微调相比,Audio-R1 不仅提高了自监督任务准确率,更显著增强了模型在独立下游任务上的表现及推理轨迹质量。
该 CNN-ViT 模型在内部卒中数据集上取得 95.48% 的 F1 分数,多中心外部验证 F1 分数下降至 58%-62% 区间。 内部高分受硬件噪声干扰,模型缺血性卒中敏感性仅 57%,易误诊为出血性卒中;DenseNet201+ViT 骨干多随机种子方差最低(0.59),稳定性最高。 研究强调未来需结合 3D 体积提取与临床数据的多模态架构,以解决内部验证假象问题。
研究发现医学视觉语言模型在缺乏诊断图像时,其判决的坚定程度与有图像时并无差异。 在 60 道测试题中,对抗性压力导致无图判决翻覆率(98.1%)略高于有图(94.4%),且模型在内容空洞的怀疑下未稳定,平均发生 7.4 次变更。 表明用户无法通过认知信号区分基于证据的诊断与虚构结论,模型即使识别缺失证据也无法在压力下维持弃权。
提出无需训练的推理加速框架 TRIAGE,在保持任务成功率的同时显著降低预填充延迟。 通过令牌级诊断发现,缓存复用与剪枝策略的有效性取决于令牌漂移值;复用高漂移令牌会导致最高 4.4 倍的动作误差,而 TRIAGE 据此动态分配固定重算预算。
MulFCoder 提出框架条件化多智能体方法,将多框架前端代码生成限制在可判定的规则空间。 该方法通过 Grounder、Planner、Writer 和 Judger 四个智能体协同工作,显著提高了编译成功率并减少了特定框架的错误。 论文已被 ICML 2026 接收。 ```
研究人员将Text-to-LoRA(T2L)扩展至大型音频语言模型(LALM),提出上下文适配器生成(ICAG)方法,生成指令条件LoRA适配器以增强组合泛化。 在SIFT-50M上监督微调后,T2L-ICAG在两个代表性LALM骨干上持续优于静态LoRA和全局嵌入基线,且在结构化域外任务上增益更大。 该方法表明从指令生成任务特定适配器是提升LALM组合泛化的有效方向。
summary_zh: EEGBiFormer 是一种混合 CNN-Transformer 模型,实现了基于 16 通道 EEG 信号的实时注意力二分类,系统延迟低于 100 ms。
RoboReason 提出基于双目和手腕相机图像的空间时序排序任务,以评估视觉语言模型(VLM)在机器人下游任务中的推理能力。 实验表明当前 SOTA VLM 在排序任务上表现不佳;采用自主数据生成管线,结合监督微调(SFT)与强化学习(RL),可显著提升模型在时空排序及机器人下游任务中的推理性能。 该方法有助于克服真实世界评估成本高的难题,推动 VLM 在机器人操作管线中的实际应用。
论文提出 POD-RoPE,将 token 观测足迹表示为相机中心、方向与时间的分布,支持 Q/K 匹配与 V/O 变换。 在 RoboTwin 2.0 中集成 POD-RoPE 使 Fast-WAM 平均成功率从 91.83% 提升至 92.88%,两台真实机器人任务成功率从 32.5% 升至 52.5%。
E3Stereo通过学习几何边缘结合骨干视差与图像细节,在Scene Flow数据集上使RAFT-Stereo、IGEV和MonSter的深度边界端点误差(EPE)降低9.5%至14.3%。 模型在微调后于ETH3D、KITTI 2012和KITTI 2015数据集的十项指标上均超越基线IGEV,并同步降低整体视差绝对误差。
DROA-CLIPSeg 框架通过微调 CLIPSeg 视觉语言主干解决低光条件下路面细裂缝分割难题。 该模型仅训练 1.93M 参数(占全模型 1.3%),注入 QKV 低秩适应与领域残差正交适配器模块,提升裂缝拓扑保留能力。 在两个数据集上超越 13 个基线,零样本泛化至 MVTec AD,论文已被 BMVC 2026 接收。
研究提出 WorldFailBench 基准,用于评估世界模型能否忠实模拟机器人策略的失败原因、阶段及边界。 该基准涵盖 LIBERO 和 RoboTwin 仿真环境及 G1 人形机器人的操作任务,包含三项评估任务。 实验测试了七种世界模型,发现其在理解策略失败方面存在显著差距,为提升策略评估可靠性提供了指导。
开源库 vlmprobe 整合了 lens 读出、注意力归因及稀疏自编码器分析,提供统一模型接口以解释视觉语言模型内部表征。 框架包含共享适配器与评估流水线,支持跨架构对比。研究发现不同分析目标下,局部归因估计可能与实际干预效果不一致。 该库为比较解释方法结论及测试模型行为假设提供了可重用基础。
研究团队提出 ProtoEEG,一种基于可学习视觉码本重构 EEG-图像对齐的框架,在 THINGS-EEG2 200-way 检索中达到 64.0% Top-1 准确率。
提出的无训练检测器 CANARY 通过计算 PCA 残差上的每类 kNN 距离并与最大 Softmax 概率(MSP)融合,有效捕获图像分类器中 MSP 存在结构性盲点的高置信度静默错误。
MARC 提出一种基于可执行运动学图的机制感知反思修正方法,用于铰接物体代码生成。在 20 个物体的测试集中,MARC 结合 Kimi-K3 模型达到 67.8% 的有效运动覆盖率和 60.0% 的整体成功率,优于六个基线模型。
DRA-SAM 在 RIS-LAD 和 UAVid-RIS 基准测试中实现最先进性能,在七个测试指标中的六个上领先。 该框架通过轻量级 EvidenceScorer 和无需训练的参考分歧 LOOK 策略,选择局部区域进行重新推理。 针对占图像面积不足 1% 的空中目标,该方法展现了尤为显著的分割精度增益。
Aerial-R1 是首个通过强化学习机制增强空中视觉推理与分割能力的 MLLM 框架。该模型借鉴 DeepSeek-R1,引入 H-GAWR 策略以适配非自回归掩码生成,并建立显式拒绝机制以抑制模型幻觉。在 VSAI-Ref 基准测试中,Aerial-R1 的分割精度显著超越 SFT 基线,有效缓解了低信息场景下的严重幻觉。
研究人员发布 NPC-RubricBench,这是首个感知阶段的基准,用于评估大语言模型在鼻咽癌全病程中的多阶段临床推理能力,该基准基于405名患者的941个患者-阶段单元构建。 评测显示,30个大语言模型在诊断阶段的高性能未能转化为下游护理优势,且医疗适配模型的遗漏率高于通用模型。 该研究指出,静态诊断基准不足以保证临床可靠性,凸显了多阶段医疗AI中阶段自适应保障机制的重要性。
提出SAP-ViT模型,通过聚合最后一层补丁嵌入替代CLS token进行预测,实现分类结果可分解为补丁级贡献。 采用稀疏正则化增强权重分布简洁性,并引入输入空间反向映射机制定位关键输入补丁。在多个医学图像分类数据集上验证,该模型在保持高分类性能的同时提供一致且可解释的补丁级解释。