AerialVP:通过增强任务提示指导视觉语言模型的无人机图像感知
研究提出 AerialVP,一种无需训练的代理框架,通过动态增强任务提示而非微调参数来改进 VLM 的无人机图像目标识别与定位。 该框架利用 LLM 协调提示分析、视觉信息提取和融合模块,引入图像语义、空间位置和物体关系线索,并构建了统一基准 AerialSense 用于系统评估。 实验表明 AerialVP 在多个无人机视觉任务上取得一致提升,性能媲美基于 LoRA 的指令微调方法。
研究提出 AerialVP,一种无需训练的代理框架,通过动态增强任务提示而非微调参数来改进 VLM 的无人机图像目标识别与定位。 该框架利用 LLM 协调提示分析、视觉信息提取和融合模块,引入图像语义、空间位置和物体关系线索,并构建了统一基准 AerialSense 用于系统评估。 实验表明 AerialVP 在多个无人机视觉任务上取得一致提升,性能媲美基于 LoRA 的指令微调方法。
FACE 提出跨视图融合模块与少样本适配器,实现跨被试 EEG 情绪识别,通过动态融合全局脑连接与局部模式提供互补情感信息。 在三个公开基准上验证,通过元学习增强适配器结构以快速适配未见被试并减少灾难性过拟合。 该方法有效应对被试间差异及少样本下的过拟合挑战。
论文提出结合结构化电子健康记录时间戳与叙事事件 UID 的流水线,通过联合修订恢复临床时间线。在 40 份出院摘要上评估 6 个开源模型,该方法在相同主干下比 LLM-Timeline 和 TKW2 恢复更多事件。
论文提出UMER框架,通过成对感知判别推理统一多模态嵌入与排序功能。 基于Qwen2-VL-2B/7B模型,在MMEB-V2基准上得分65.5/70.6,超越最强基线1.4/2.0分。 支持从高效嵌入检索到成对感知的灵活预算调整推理。
PAL-Bench 发布,包含 50 个合成用户和 36,659 条照片记录,用于测试基于证据的画像重建。该基准通过隐私保护审计验证了数据结构的真实性,但在解决身份解析与证据引用方面仍有挑战。
summary_zh: AURA 2.0 是一款流式视频大语言模型,通过模型主动对话、流感知工具调用和交互式视觉定位技术,提升了视频交互体验。 在公共流式基准测试中,该模型在开源流式模型中表现领先,并开放了模型权重和推理代码。
该框架结合 Isaac Sim 虚拟温室与四足移动机械臂,支持环境调控与植物干预。 使用冻结的 DINOv2 和 BERT 编码器,全模型在温度、湿度和土壤水分预测上分别达到 0.249℃、2.030 个百分点和 0.997 个百分点的 MAE。 导航轨迹误差为 5.22-17.32 mm,32/40 个机械臂目标通过几何验收,但未在真实温室验证。
三元组增量训练框架通过非侵入式方法,在保留通用 VLM 开放世界能力的同时注入 3D 几何感知,无需修改架构。 框架利用 (图像, 深度, QA 对) 三元组进行三流训练:主 VLM 流适配驾驶任务,辅助深度流隐式想象 3D 几何,冻结孪生 VLM 流通过 logit 级 KL 蒸馏防止语义漂移;部署时丢弃深度流,实现零推理开销。
提出 MusicRWKV 框架,基于 RWKV 架构联合建模波形、频谱图和元数据,解决长时音乐建模中 Transformer 架构的高计算内存开销。 引入可逆压缩模块降低序列长度并保留重构能力,采用基于 FiLM 的条件策略实现模态感知表示学习,避免昂贵的交叉注意力操作。 实验评估显示该架构在多种音乐信息检索(MIR)基准上有效,Soft ROSA 作为可微检索机制提升了验证性能。
研究者提出“过度实现”概念,指出文生图模型常违背提示词逻辑生成目标物体。该现象在否定、想象等四种情境下发生,且常规指标如 CLIPScore 未予惩罚。 研究构建 OverReal 基准,包含 698 条提示词与 2841 张人工标注图像。
PhysCapBench 是一个统一评估视频物理字幕的基准,涵盖第三人称、第一人称及手持机械臂三大场景。它包含 1,500 条人工验证的视频序列,并从七个物理维度进行准确率与覆盖率评估。在下游任务中,物理字幕使视频重建的 LPIPS 降低 8.6-30.9%,并显著提升了操作策略的成功率。该基准为训练数据优化提供了跨领域的评估基础。
ReliaGuard 提出了一种重构感知水印框架,用于生成图像的来源归属与盲编辑定位。该框架通过变分自编码器重构优化密钥特征响应,结合局部图像上下文进行编辑掩码预测。
该 arXiv 论文提出假设,后颞语言区(PTLRs)中合适组织的皮层锥体柱群可构成 neuromorphic 机械实现的 Transformer 注意力头的生物构型。 分析表明,皮层锥体柱间的信号传递与调制机制可支持注意力头的功能架构,无需复现标准数学实例化。 是否真实存在该功能架构仍为未解的经验性问题。
Iris-Z 是一个通用图像生成器,结合外观与几何生成,单一骨干网络同时处理深度估计、生成和渲染任务。在足够规模下,它超越了现有深度基准的专用模型 SOTA,同时保留原始生成能力。 该模型无需专用层,统一处理单目几何任务,打破了专用架构长期主导该领域的局面。 作者发布两个模型供社区使用,验证了“苦涩教训”在视觉智能领域的适用性。
DuoJEPA 通过 LeJEPA 自监督目标训练双编码器,并添加单 Transformer 层将嵌入翻译至目标空间,实现跨模态检索与分类。 CheXpert Plus 数据集上零样本 AUC 达 86.6,跨模态检索得分 78.5;Sentinel 数据集中,从 4000 个候选中检索配对图像成功率为 77-79%。
研究团队提出 RUMI 手持接口,专为匹配 Robotiq 2F-85 机器人夹爪设计,支持接触前输入与接触后力测量。 通过 VR 头显提供实时 AR 运动学可行性反馈,并引入触觉反馈机制支持力感知遥操作。 用户研究显示,结合实时可视化与姿态初始化后,关节限位违规集数从 16/50 降至 3/50。
VibePrevisBench 是首个评估 4D 场景重建的基准,包含 242 个任务,通过 Rule-based Scene Check 和 VLM-based Screen Check 两个维度对 Agent 进行评分。
研究人员开展 4 项患者来源类器官(PDO)药物筛选研究,生成多组学、药物特征及疗效反应数据。 研究在 3 种构建场景下对公开模型进行重训练与评估,涵盖仅用细胞系、混合数据及预训练微调。 评估了不同实验室和检测技术下药物筛选存活数据的一致性。
研究提出 PriorSplit 方法,用于解决视觉语言模型在缺失关键帧时依赖存储顺序的问题,在 Qwen3-VL-4B 等五个模型上验证有效。 PriorSplit 利用模型外部的顺序计数,当关键帧缺失或顺序异常时辅助作答,性能优于其他内部化方法。 该方法在保持 OPSD 训练成本的同时,显著提升了模型在合成技能及烹饪、第一视角等真实任务中的鲁棒性。
针对现有基准无法区分理解失败与记忆缺失的问题,MemInStream 提出用于评估流式视频记忆能力的基准。 该基准通过证据控制协议关联时间定位证据区间,确保问题需依赖历史记忆而非近期观察或语言先验才能解决。 其涵盖事件检索、状态跟踪、多证据整合及上下文记忆四大类别,提供系统化的记忆评估方案。
研究人员提出 MAGIC 方法,通过计算注意力权重的基尼系数检测多模态大模型临床幻觉。该方法量化视觉与文本 token 的注意力集中度,在两个医疗模型和三种影像模态上测试,性能优于现有基线。
研究提出 TRACE 框架,用于审计 8 个大型音频语言模型在 3,456 个混合样本中的证据一致性。 结果显示 6.3% 的正确答案未通过排序审计,且随目标信噪比下降,该失败比例从 4.9% 升至 8.4%。 该审计揭示了准确率无法证明模型能区分声音存在与否的底层逻辑冲突。
该研究提出无训练框架解决个性化图像分割中相似实例混淆问题,指出现有方法在单实例基准上的高分是伪影,而在真实多实例场景中点提示方法因召回瓶颈而失效。 系统通过类无关检测器生成提议,利用 BLIP-2 特征匹配及新提出的 Top-K Sinkhorn 算法筛选,最后由 SAM 细化,以低于 100 倍的成本恢复鲁棒性。
针对SDR转HDR的盲逆问题,提出将视频反向色调映射重构为后验推理,通过潜在亮度监督纠正生成先验导致的亮度偏差。 使用视频扩散隐空间固定仿射功能量读取对数亮度,配合非对称损失选择后验分位数,并在显式色调算子族下合成训练SDR,使亮度误差更平缓且平均更小,在三项基准测试中取得最佳感知质量。
利用 V-JEPA 视频预训练特征进行有监督多视角重建,在 CO3D 168 个五视角窗口中,空间相机配置使绝对轨迹误差降低 29.3%。 联合相对目标将相似度对齐 Chamfer 距离从 0.6447 优化至 0.5573,但原始 Chamfer 距离增加。 结果揭示了表示适配、对齐形状与原始重建的差异,建议独立评估组件后再归因性能提升。
研究提出 CFGComposer,一种联合训练的动作扩散模型,通过估计 Copula 分数 $s_I$ 校正音频与文本模态间的交互偏差。模型在 BEAT 数据集上实现最佳语义保真度(FID 27.18),盲测胜率 76-83%。该成果在 Unitree G1 人形机器人上验证了直接 Sim-to-Real 迁移能力。
提出统一框架,将视觉基础模型与脑活动连接,支持多视角神经分析。 该框架使用稀疏可解释的视觉原型表征替代黑盒特征,通过线性读出将原型与体素响应关联,实现模型透明化。 该设计揭示了视觉概念对神经反应的驱动作用及皮层组织规律,确立了原型表征在研究人类视觉表征中的统一可解释基础。
论文提出提示驱动的自蒸馏(HISD),利用外部模型生成的分割提示证据进行 token 级信用分配,以解决视觉相似对象中识别目标的问题。 HISD 通过提示条件化的指数移动平均教师模型计算证据比率,仅调整正组相对优势的大小,学生模型在推理时既不需要提示也不需要教师模型。
提出轻量级提示空间优化框架,针对 12 种语言、7 个语系进行自然性、文化适配及难度增强,提升多语言 LLM 性能。 在相同数据条件下,该方法在 Global-MMLU 上准确率提升 4.7%,Flores 上提升 2.4%,mArenaHard 胜率提升 35.3%,并获人工偏好验证。
研究显示,当预测错误且存在正确视图时,熵识别有效视图的能力仅略优于随机,仅恢复约 1/20 的 Oracle 精度。 分析表明熵衡量置信度而非类别偏好;利用裁剪保留比例排序,在 15 个基准中的 14 个上优于熵方法。 该研究被 NeurIPS 2026 Workshops 接收,揭示了测试时适应中未被利用的信号。
研究首次系统调查多模态大语言模型中显著的文本主导现象,提出模态主导指数和注意力效率指数两项评估指标。 分析发现严重 token 冗余导致的注意力稀释是核心原因,应用 token 压缩方法使 LLaVA-7B 的 MDI 从 10.23 降至 0.86,实现模型注意力重新平衡。
提出 ViSeLA 框架及首个大规模行人多语言预训练数据集 MultiPedes,包含 1000 万个图像文本对。 ViSeLA 结合语义感知的 MoE 模块与视觉接地跨模态对齐模块,避免英语中心偏差。 该方法在多个数据集上验证了有效性,论文已被 ACM MM 2026 接收。
ESGPred提出结合领域特定语言建模与图学习的模块化ESG评分预测框架。 在5,266份2020-2023年上市公司可持续发展报告数据集上评估,以LSEG Data & Analytics评级为基准,结果显示加入图关系学习可提升预测性能。 该框架能预测ESG总体评级及环境、社会、治理各分项,为投资决策与合规评估提供数据驱动支持。
研究揭示视觉内容重采样可致文本指令语义漂移,在四个闭源视觉语言模型上,SISS框架第三轮攻击成功率达58.75%。 下游Web智能体行为妥协率约4%,ScaleGuard检测器将非自适应攻击成功率从61.4%降至24.3%。
该方法使用预训练多模态表示,结合参考偏差、残差衰减率和雅可比谱描述符,作为独立筛查的候选代理生物标志物。 实验在五个队列的四个数据集上进行,展示了参考信息量与融合收益之间的区别及上下文依赖性效用。
基于 ASL-Citizen 训练的手势编码器在冻结状态下,对六种低资源手语检索的首次准确率达 36.4%-80.7%。 消融实验表明,采用 per-pair InfoNCE 目标并屏蔽身体与手部间的注意力,可将准确率提升最高 5.1 个百分点。
研究团队发布 Lara Mini Base,这是基于 6T tokens 和 44 种语言训练的开源多模态 MoE 模型,总参数量 7.2B 且激活参数 0.6B。该模型在标准英语、多语言、数学及代码基准测试中,以少于主流模型 4 至 6 倍的训练数据量取得最高平均分。其 128k 上下文支持及单 GPU 无量化 1.8 倍推理速度优势,证明了 MoE 架构有效缓解了多语言训练中的容量竞争问题。
MuSeToM 发布包含 2415 个实例的人机验证文本基准,用于评估大语言模型在理论推理中的认知信念修正能力。该基准改编自 BigToM 和 OpenToM,涵盖六种感官类别的文本线索,测试模型判断信念是否应修正及推断更新后状态的能力。 系统评估显示,模型常能检测到信念可能改变,但难以识别更新后的信念,且频繁基于感知显著但认知不足的线索进行过度更新。
研究团队发布 EvenVLM,首个针对西伯利亚濒危语言 Even(约 6,800 人使用)的文本与多模态数据集,包含 50,521 条结构化语料及 107,543 个合成训练样本。
研究者提出双向生成框架 IsharaBART,通过 BART 条件语言建模解决孟加拉语手语低资源双向翻译难题。 基于 BART 架构构建紧凑去噪 Seq2Seq 模型,经 1,000 条并行数据与 4,831 条扩充数据微调,BLEU-4 达 51.7。 该框架参数量不足基线模型 10%,性能超多数多语言模型,预训练可加速收敛并提升精度。