跳到正文
11月13日周五
  1. arXiv · AI31

    AerialVP:通过增强任务提示指导视觉语言模型的无人机图像感知

    研究提出 AerialVP,一种无需训练的代理框架,通过动态增强任务提示而非微调参数来改进 VLM 的无人机图像目标识别与定位。 该框架利用 LLM 协调提示分析、视觉信息提取和融合模块,引入图像语义、空间位置和物体关系线索,并构建了统一基准 AerialSense 用于系统评估。 实验表明 AerialVP 在多个无人机视觉任务上取得一致提升,性能媲美基于 LoRA 的指令微调方法。

  2. arXiv · AI21

    FACE:用于跨被试 EEG 情绪识别的少样本跨视图融合适配器

    FACE 提出跨视图融合模块与少样本适配器,实现跨被试 EEG 情绪识别,通过动态融合全局脑连接与局部模式提供互补情感信息。 在三个公开基准上验证,通过元学习增强适配器结构以快速适配未见被试并减少灾难性过拟合。 该方法有效应对被试间差异及少样本下的过拟合挑战。

  3. arXiv · AI23

    AgriSense:虚拟温室中的视觉-语言决策支持与机器人干预框架

    该框架结合 Isaac Sim 虚拟温室与四足移动机械臂,支持环境调控与植物干预。 使用冻结的 DINOv2 和 BERT 编码器,全模型在温度、湿度和土壤水分预测上分别达到 0.249℃、2.030 个百分点和 0.997 个百分点的 MAE。 导航轨迹误差为 5.22-17.32 mm,32/40 个机械臂目标通过几何验收,但未在真实温室验证。

  4. arXiv · AI34

    三元组增量训练框架:将通用 VLM 转化为多功能驾驶 VLM

    三元组增量训练框架通过非侵入式方法,在保留通用 VLM 开放世界能力的同时注入 3D 几何感知,无需修改架构。 框架利用 (图像, 深度, QA 对) 三元组进行三流训练:主 VLM 流适配驾驶任务,辅助深度流隐式想象 3D 几何,冻结孪生 VLM 流通过 logit 级 KL 蒸馏防止语义漂移;部署时丢弃深度流,实现零推理开销。

  5. arXiv · AI23

    MusicRWKV:基于 RWKV 的多模态音乐表示学习框架

    提出 MusicRWKV 框架,基于 RWKV 架构联合建模波形、频谱图和元数据,解决长时音乐建模中 Transformer 架构的高计算内存开销。 引入可逆压缩模块降低序列长度并保留重构能力,采用基于 FiLM 的条件策略实现模态感知表示学习,避免昂贵的交叉注意力操作。 实验评估显示该架构在多种音乐信息检索(MIR)基准上有效,Soft ROSA 作为可微检索机制提升了验证性能。

  6. arXiv · AI24

    PhysCapBench: 首个跨领域物理基础视频字幕基准测试

    PhysCapBench 是一个统一评估视频物理字幕的基准,涵盖第三人称、第一人称及手持机械臂三大场景。它包含 1,500 条人工验证的视频序列,并从七个物理维度进行准确率与覆盖率评估。在下游任务中,物理字幕使视频重建的 LPIPS 降低 8.6-30.9%,并显著提升了操作策略的成功率。该基准为训练数据优化提供了跨领域的评估基础。

  7. arXiv · AI20

    研究探索脑内皮层锥体柱作为 Transformer 注意力头生物构型的可行性

    该 arXiv 论文提出假设,后颞语言区(PTLRs)中合适组织的皮层锥体柱群可构成 neuromorphic 机械实现的 Transformer 注意力头的生物构型。 分析表明,皮层锥体柱间的信号传递与调制机制可支持注意力头的功能架构,无需复现标准数学实例化。 是否真实存在该功能架构仍为未解的经验性问题。

  8. arXiv · AI33

    Iris-Z:单一生成模型在几何任务上超越专用模型

    Iris-Z 是一个通用图像生成器,结合外观与几何生成,单一骨干网络同时处理深度估计、生成和渲染任务。在足够规模下,它超越了现有深度基准的专用模型 SOTA,同时保留原始生成能力。 该模型无需专用层,统一处理单目几何任务,打破了专用架构长期主导该领域的局面。 作者发布两个模型供社区使用,验证了“苦涩教训”在视觉智能领域的适用性。

  9. arXiv · AI24

    RUMI:匹配 Robotiq 2F-85 的 AR 力反馈通用操作接口

    研究团队提出 RUMI 手持接口,专为匹配 Robotiq 2F-85 机器人夹爪设计,支持接触前输入与接触后力测量。 通过 VR 头显提供实时 AR 运动学可行性反馈,并引入触觉反馈机制支持力感知遥操作。 用户研究显示,结合实时可视化与姿态初始化后,关节限位违规集数从 16/50 降至 3/50。

  10. arXiv · AI33

    PriorSplit: 基于 on-policy self-distillation 的自我进化 VLM 智能体外部记忆方法

    研究提出 PriorSplit 方法,用于解决视觉语言模型在缺失关键帧时依赖存储顺序的问题,在 Qwen3-VL-4B 等五个模型上验证有效。 PriorSplit 利用模型外部的顺序计数,当关键帧缺失或顺序异常时辅助作答,性能优于其他内部化方法。 该方法在保持 OPSD 训练成本的同时,显著提升了模型在合成技能及烹饪、第一视角等真实任务中的鲁棒性。

  11. arXiv · AI24

    MemInStream:重新审视流式视频记忆评估

    针对现有基准无法区分理解失败与记忆缺失的问题,MemInStream 提出用于评估流式视频记忆能力的基准。 该基准通过证据控制协议关联时间定位证据区间,确保问题需依赖历史记忆而非近期观察或语言先验才能解决。 其涵盖事件检索、状态跟踪、多证据整合及上下文记忆四大类别,提供系统化的记忆评估方案。

  12. arXiv · AI23

    TRACE:大型音频语言模型源级反事实审计框架

    研究提出 TRACE 框架,用于审计 8 个大型音频语言模型在 3,456 个混合样本中的证据一致性。 结果显示 6.3% 的正确答案未通过排序审计,且随目标信噪比下降,该失败比例从 4.9% 升至 8.4%。 该审计揭示了准确率无法证明模型能区分声音存在与否的底层逻辑冲突。

  13. arXiv · AI34

    Where Is My Mug? 无训练个性化图像分割框架

    该研究提出无训练框架解决个性化图像分割中相似实例混淆问题,指出现有方法在单实例基准上的高分是伪影,而在真实多实例场景中点提示方法因召回瓶颈而失效。 系统通过类无关检测器生成提议,利用 BLIP-2 特征匹配及新提出的 Top-K Sinkhorn 算法筛选,最后由 SAM 细化,以低于 100 倍的成本恢复鲁棒性。

  14. arXiv · AI23

    视频反向色调映射新框架:基于潜在亮度监督的盲后验推理

    针对SDR转HDR的盲逆问题,提出将视频反向色调映射重构为后验推理,通过潜在亮度监督纠正生成先验导致的亮度偏差。 使用视频扩散隐空间固定仿射功能量读取对数亮度,配合非对称损失选择后验分位数,并在显式色调算子族下合成训练SDR,使亮度误差更平缓且平均更小,在三项基准测试中取得最佳感知质量。

  15. arXiv · AI37

    基于 V-JEPA 特征的多视角三维重建研究

    利用 V-JEPA 视频预训练特征进行有监督多视角重建,在 CO3D 168 个五视角窗口中,空间相机配置使绝对轨迹误差降低 29.3%。 联合相对目标将相似度对齐 Chamfer 距离从 0.6447 优化至 0.5573,但原始 Chamfer 距离增加。 结果揭示了表示适配、对齐形状与原始重建的差异,建议独立评估组件后再归因性能提升。

  16. arXiv · AI23

    视觉大脑探针:统一框架连接视觉基础模型与脑活动

    提出统一框架,将视觉基础模型与脑活动连接,支持多视角神经分析。 该框架使用稀疏可解释的视觉原型表征替代黑盒特征,通过线性读出将原型与体素响应关联,实现模型透明化。 该设计揭示了视觉概念对神经反应的驱动作用及皮层组织规律,确立了原型表征在研究人类视觉表征中的统一可解释基础。

  17. arXiv · AI24

    提示驱动的自蒸馏用于推理分割

    论文提出提示驱动的自蒸馏(HISD),利用外部模型生成的分割提示证据进行 token 级信用分配,以解决视觉相似对象中识别目标的问题。 HISD 通过提示条件化的指数移动平均教师模型计算证据比率,仅调整正组相对优势的大小,学生模型在推理时既不需要提示也不需要教师模型。

  18. arXiv · AI28

    基于熵的视图选择在视觉-语言模型测试时适应中的局限性审计

    研究显示,当预测错误且存在正确视图时,熵识别有效视图的能力仅略优于随机,仅恢复约 1/20 的 Oracle 精度。 分析表明熵衡量置信度而非类别偏好;利用裁剪保留比例排序,在 15 个基准中的 14 个上优于熵方法。 该研究被 NeurIPS 2026 Workshops 接收,揭示了测试时适应中未被利用的信号。

  19. arXiv · AI28

    ESGPred:结合领域特定语言建模与图学习的模块化ESG预测框架

    ESGPred提出结合领域特定语言建模与图学习的模块化ESG评分预测框架。 在5,266份2020-2023年上市公司可持续发展报告数据集上评估,以LSEG Data & Analytics评级为基准,结果显示加入图关系学习可提升预测性能。 该框架能预测ESG总体评级及环境、社会、治理各分项,为投资决策与合规评估提供数据驱动支持。

  20. arXiv · AI22

    低资源词典场景下的手语检索研究

    基于 ASL-Citizen 训练的手势编码器在冻结状态下,对六种低资源手语检索的首次准确率达 36.4%-80.7%。 消融实验表明,采用 per-pair InfoNCE 目标并屏蔽身体与手部间的注意力,可将准确率提升最高 5.1 个百分点。

  21. arXiv · NLP58

    Lara Mini Base 发布:语言多样性作为资源而非权衡

    研究团队发布 Lara Mini Base,这是基于 6T tokens 和 44 种语言训练的开源多模态 MoE 模型,总参数量 7.2B 且激活参数 0.6B。该模型在标准英语、多语言、数学及代码基准测试中,以少于主流模型 4 至 6 倍的训练数据量取得最高平均分。其 128k 上下文支持及单 GPU 无量化 1.8 倍推理速度优势,证明了 MoE 架构有效缓解了多语言训练中的容量竞争问题。

  22. arXiv · NLP21

    MuSeToM:基于六种感官文本线索的信念修正多感官评估基准

    MuSeToM 发布包含 2415 个实例的人机验证文本基准,用于评估大语言模型在理论推理中的认知信念修正能力。该基准改编自 BigToM 和 OpenToM,涵盖六种感官类别的文本线索,测试模型判断信念是否应修正及推断更新后状态的能力。 系统评估显示,模型常能检测到信念可能改变,但难以识别更新后的信念,且频繁基于感知显著但认知不足的线索进行过度更新。

  23. arXiv · NLP25

    IsharaBART:一种基于 BART 的孟加拉语手语翻译高效双向框架

    研究者提出双向生成框架 IsharaBART,通过 BART 条件语言建模解决孟加拉语手语低资源双向翻译难题。 基于 BART 架构构建紧凑去噪 Seq2Seq 模型,经 1,000 条并行数据与 4,831 条扩充数据微调,BLEU-4 达 51.7。 该框架参数量不足基线模型 10%,性能超多数多语言模型,预训练可加速收敛并提升精度。