Dr. No:视觉-语言模型中用于拒绝回答的特征引导方法
Dr. No 提出一种特征引导方法,通过调节稀疏自编码器(SAE)特征在推理时控制模型拒绝回答,无需重新训练基础模型。 该方法在 LLaVA-1.6 Mistral 7B 及 Qwen3.5-2B 上测试,在 UNK-VQA、MM-UPD 和 AbstentionBench 基准中实现正确答案与拒绝回答的更佳平衡,效果优于事后拒绝基线。
Dr. No 提出一种特征引导方法,通过调节稀疏自编码器(SAE)特征在推理时控制模型拒绝回答,无需重新训练基础模型。 该方法在 LLaVA-1.6 Mistral 7B 及 Qwen3.5-2B 上测试,在 UNK-VQA、MM-UPD 和 AbstentionBench 基准中实现正确答案与拒绝回答的更佳平衡,效果优于事后拒绝基线。
该研究提出将自动杂音表征作为五级患者分类任务,使用CirCor DigiScope数据集735名患者进行多点听诊。 三种策略中,晚期融合策略表现最佳,未加权平均敏感度达85.56%–93.81%。结果表明,多点杂音表征在融合型和联合学习架构中均可行,为结构化杂音报告提供了路径。
一项被 CoRL 2026 收录为 Spotlight 的研究提出贝叶斯框架,将机器人交互中的自然语言意图消歧视为针对信号时序逻辑(STL)任务规范的主动学习问题。
CleanVideo 框架通过低维子空间干预和三模态门控机制,在保持视觉保真度和时间连贯性的同时,有效擦除视频生成模型中的目标概念。 该框架联合处理时空视觉特征、时间步信号和文本语义,决定何时、何地及是否进行干预,并在可明确定义自然替代概念时引导被擦除内容。在三个视频扩散模型上的实验显示,其在帧级和概念恢复攻击评估中优于现有基线。
研究采用扩散模型在位置和分量速度表征下生成无条件眼动轨迹,基于28名参与者的8秒视觉搜索轨迹进行评估。 模型在8个位置衍生特征上的平均Jensen-Shannon散度分别为0.016(位置模型)和0.037(速度模型)。速度阈值显著影响扫视计数结果,评估方法对结论有重要影响。 结果为无条件眼动生成提供定量参考,并揭示评估选择如何影响生成眼动结论。
提出 CLAP 方法,通过在动作序列前添加自然语言描述,以最小架构变更将 VLM 适配为 VLA。 2B 模型在 LIBERO 基准上达 90.8%,较 VLA-0 提升 14.9 分,真实 UR5e 机器人成功率从 15% 提升至 60%。 已开源 0.8B、2B 及 4B 多尺度模型,便于分析 VLM 能力迁移。
研究通过12名远程家庭成员和2名老年人的访谈及一个双人体三月份部署案例,发现每日AI生成的多模态传感器数据摘要虽维持超90%参与度,但双方在使用中展现出围绕自主权、隐私与信任的动态张力。 该系统采用研究式设计方法迭代优化,揭示出传感器限制及既有沟通错位如何影响家庭护理动态,为未来AI中介分享系统的设计提供了现实约束考量。
引入 EHR-ReasonCon 基准与 EHR-INSPECTOR 框架,解决电子健康记录中临床笔记与结构化表格的一致性问题。 EHR-ReasonCon 基于 MIMIC-III 构建,包含 8,042 个临床实体专家标注;EHR-INSPECTOR 利用 LLM 提取锚点实体,在多种模型后端中实现最先进性能。
summary_zh: 提出物理锚定隐式时间尺度 Mamba(PALM),通过将状态矩阵与步长锚定于物理单位解决记忆时间尺度错位问题。 在 fMRI 数据中 PALM 比 Mamba2 表征相似度高 11%,在 Weather-5K 预测中平均误差低于最佳基线 15.2%。
提出基于信息论的关键帧采样框架,最大化查询条件下帧与答案的条件互信息。 使用 Qwen2.5-VL-7B 模型在 32 帧预算下,较均匀采样在 LVBench 提升 10.1 分,VideoMME 长视频子集提升 4.4 分。 方法在同等帧预算下优于现有采样策略,被 WACV 2027 接收。
研究提出三层诊断框架,在9000个样本中发现28.1%的视觉谄媚现象,即模型在图片缺失时仍输出错误答案。 该现象具有模型特异性,Qwen3-VL在空白输入下拒绝率达93-98%,而Pixtral-12B作答率高达72%;随着模型规模扩大,视觉谄媚比例显著上升。 盲评实验证实,80%的谄媚回复中无文本迹象表明图片缺失,揭示了模型感知与回答之间的信念分裂。
研究探测了 Meta 6 亿参数 NLLB-200 模型在 135 种语言中的编码器几何结构。 方差分析显示语言偏移解释了裸词 45.7% 的方差,概念分离在第 10 层达到峰值。 发布了交互式工具包 InterpretCognates 以支持可复现的研究。
arXiv论文提出LLM创意多样性受限的两个机制:知识聚合而非分区,以及类似人类的思维固化。实验表明,基于普通个体的角色修正能改善知识分区但加剧固化,结合链式推理(CoT)提示可缓解此问题,该组合策略产生的创意多样性甚至超过人类。
VidVec 结合中间层嵌入与校准 MLLM 头部实现零样本视频-文本检索,无需训练即可获得强劲性能。 该方法采用基于文本的轻量化优化策略,利用稠密视频描述作为视频语义的文本替代,无需配对的视觉数据。 实验表明,这种仅基于文本的优化效果优于使用配对视频-文本监督的方法,且在常见基准测试中达到了当前最佳水平。
TFusionOcc 提出基于 Student's t 分布 T-primitives 的多传感器融合框架,在 nuScenes 上展现出强占用预测性能。 该框架引入 plain T-primitive、T-Superquadric 及含逆变形的可变形 T-Superquadric,结合 TMM 统一概率建模,有效融合相机与 LiDAR 数据。
本文提出一种语义与策略双驱动的混合决策框架,结合 Large Multimodal Models(LMMs)进行语义理解与认知表征,并融合深度强化学习实现实时策略优化,从而突破仅在具身智能驾驶中依赖 LMMs 的局限,支持持续学习与联合决策。
AbBiBench 提出以抗体-抗原复合物为评价单元的基准,整合 216,560 项实验测量,涵盖 13 种抗体和 9 种抗原,用于评估 20 种计算方法的结合亲和力预测能力。
研究发现,在Upworthy标题测试中,通用读者基线优于固定十人设面板,GPT-4.1预期首选命中率从面板的42.0%提升至基线的61.7%。 实验基于190个探索性样本包,Gemini 3.1 Flash-Lite与GPT-4.1的完整包覆盖数均为188,完整数据已开放复现。
SkillLens 引入可视化技能卡片(VSC)框架,支持无检索部署的 GUI 代理动作预测。 在 119 个未见任务上,使用全卡片教师训练的模型步成功率比纯文本教师平均高 5.04 个百分点。 独立运行控制显示,全卡片正确动作数为 18.75%,显著优于纯文本卡片的 6.25%。
研究揭示 Audio-Visual Large Language Models (AVLLMs) 内部信号流向,发现其遵循 VLMs 建立的序列信息流路径,或针对多交错音频-视觉项目切换至并行流。
MM-OptBench发布了一个包含780个求解器验证实例的多模态优化建模基准,涵盖6个优化族和26个子类,用于评估模型根据文本和视觉输入构建数学公式及求解器代码的能力。
研究表明,Claude Opus 5.5 在盲审模式下成功识别并修复了 16 个含缺陷临床网络中的 16 个,仅通过中位数 3 个参数修改实现修复。 该模型在 18 个缺陷网络中准确指出了 16 个错误规则,所有发现均通过约 42 万次请求测试验证,证明小网络中权重空间编程可定位阈值偏移等缺陷。
研究发布 MedPhysBench 基准,涵盖 1,200 道医学物理计算题与错误检测任务,用于评估大模型在放疗、影像等领域的准确率。在计算任务中,12 个模型得分介于 33.3% 至 100.0%,其中表现最佳的四个模型准确率达 99.3%-100.0%。五个模型能检测出 96.7% 以上的植入错误,误报率不超 4%,而 Claude Opus 5.5 在特定错误检测中接受率达 6/20。
研究表明,语言子空间干预无法彻底移除激活中的语言信息,且最能提升 MGSM 准确率的干预会导致回答语言保真度下降。 实验基于 Qwen2.5-7B,仅有一种干预将联合准确率提升 1.60 分;仅修改提示词也能复现增益但严重损害语言保真度。 作者主张因果干预评估需超越准确率指标,以充分考量语言替代权衡。
DeepMem 提出因果多尺度架构,将语义压缩与字节精确保留分离,在 FineWeb-Edu 等数据集上表现优于同等规模的字节级 Transformer。 该架构通过可逆子带变换构建层级序列,瓶颈细化计算量较全分辨率推理降低约 7,600 倍。 DeepMem 在代码建模、多选题推理及字节级损坏鲁棒性方面保持竞争力,并在 PIQA 任务中提升准确率。
RFWorld 提出一种免展开(rollout-free)世界模型用于端到端轨迹评估,在 NAVSIM 和 Bench2Drive 上取得 SOTA 性能。 通过构建共享场景记忆,利用轻量级训练时时间读出与语义监督进行塑造;推理时候选轨迹通过稀疏空间读出直接查询记忆评分,计算成本降低约规划时程乘以候选轨迹数倍。 该方法避免了递归展开误差,学习了对规划更友好的世界表示,显著提升了推理效率。
VIGOR 是一种无需训练、即插即用的推理策略,通过重排掩码位置缓解多模态离散扩散语言模型幻觉。 该策略在去噪步骤中比较原始视觉与视觉消融路径下的置信度,优先支持视觉证据更强的位置。在 LLaDA-V 和 Lumina-DiMOO 模型上,VIGOR 一致减少幻觉并提升多模态推理性能。
提出通过 3D 几何抽象将机器人常规空间推理从图像转移至文本和符号,以提升多步操作完成率。 接口利用校准 RGB-D 生成带类型和证据的符号引用,并在动作后返回紧凑文本检查点,减少了重复多模态查询。 研究结果被 CoRL 2026 会议接受,证实了显式几何状态是机器人智能体策略的有效基础。
Mobile AI 2026 挑战要求在移动端 GPU 上从 RAW 数据重建 RGB 图像。参赛模型需在骁龙 8 Elite Gen 5 和天玑 9500 芯片上运行,基于 FujiFilm UltraISP 数据集进行训练。 头部方案在 Adreno 和 Mali GPU 上重建 500 万像素图像耗时均低于 100 毫秒,实现了高性能计算摄影算法在资源受限移动硬件上的有效部署。
VisSearch-Bench 发布 204 个人工编写任务,涵盖 7 大领域,旨在评估多模态智能体在视觉密集任务中的视觉上下文管理能力。 该基准测试了 16 种多模态模型,要求结合物体外观、局部细节、空间关系与外部信息,最佳系统仅完全解决 26.47% 的任务。 现有系统难以将视觉证据与搜索结果有效关联,凸显了长时程视觉搜索在完整回答生成方面的挑战。
论文提出 Cycle WAM,统一框架处理视频与动作的因果关系,实现前向和逆向动力学建模。 采用双向转换和可微循环重建目标,在 LIBERO-Pro 上达到同等方法 SOTA,显著改进 DROID 上的 DreamZero 表现。 与 UWM 对比展示了更优的逆向动力学能力和前向预测中的视觉细节。
DenseTwins 是一种多模态自监督框架,通过解耦密集特征空间为共享和模态特定组件,学习密集表示。 该框架结合密集跨模态对应关系与冗余减少目标,联合优化模态内和跨模态目标,在多个多模态基准测试中达到最先进或具有竞争力的性能。 代码已开源,适用于机器人和自动驾驶等领域的计算机视觉应用。
CLARA 框架通过主动提问获取用户偏好,将模糊指令转化为结构化描述。 该框架基于扩散模型生成场景渲染图供用户确认,实验表明其结果比现有 LVLM 系统更准确一致。
研究团队推出 Therapy-FIS,这是首个公开的标准化心理治疗促进性人际技能(FIS)评估数据集。 该数据集包含 890 条治疗师视频和 8 条模拟患者视频,并基于此构建了 DyadicFIS 基线模型。 DyadicFIS 在两项下游任务中分别取得 0.2807 和 0.3299 的宏 CCC 分数,提供了可复现的自动化评估资源。
BtsPruner 提出免训练的视觉 token 剪枝框架,在 LLaVA-1.5-7B 中仅保留 5.6% 的 token 即维持 91.6% 性能。 该方法通过识别角色转换点并递归检索局部细节,在 LLaVA-NeXT-7B 高分辨率场景下实现 5.95 倍 CUDA 延迟加速。 该框架在 LLaVA、Qwen-VL 等 5 类模型实验中展现了激进的 token 压缩能力与高性能保持。
FlowTranslator 提出了一种免训练的图像内机器翻译框架,利用 OCR 和 LLM 生成提示词注入 T2I 扩散模型。 该框架引入区域耦合释放与耦合扩展两种轨迹控制机制,在 EasyOCR 协议下取得 20.6 的 PRIM BLEU 和 57.2 的 COMET 分数,优于 UniTranslator 基线。 结果表明,基于流式的编辑技术可成为图像内机器翻译任务中强大的免训练基线。
在 VinDr-Mammo 数据集的受控研究中,训练 18 个检测器得出:分辨率从 512x416 提升至 1600x1280 时,中位 mAP50 从 0.626 升至 0.660。
研究显示,在 3D ResNet-18、ResNet-50 和 ViT 架构中引入前列腺分区掩膜等解剖学指导,普遍提升了 PI-RADS 评分预测和具有临床意义的前列腺癌检测性能。
针对现有科学3D数据评估缺乏跨学科对比的问题,团队发布ScienceVision跨领域基准测试。该基准包含来自生物学、化学、医学影像等五个领域的250个专家级视觉问答任务。 在测试中,原生3D工件工作流比渲染2D图像工作流的平均分平均高出17.2个百分点,但所有模型的平均最佳得分仅为0.53,显示科学3D理解仍是挑战。
预训练视觉特征比原始像素能更好地预测 BOLD 反应,且在长时程递归预测中优势更显著。 研究在 HCP 电影 fMRI(154 名被试)、BOLD Moments(10 名)和 Algonauts 2025(4 名)数据集上验证,测量 BOLD 历史带来显著增益,但随预测时程延长而减弱。 该发现支持将刺激表征与下游复杂度分开评估,并将历史条件线性预测作为诊断基准。