跳到正文
11月5日周四
  1. arXiv · AI24

    MonoLaDN:通过语言引导去噪的单目 3D 目标检测方法

    MonoLaDN 提出一种语言引导去噪框架,将 VLM 的几何推理能力转移至单目 3D 检测器,保持部署模型纯视觉特性。 训练时使用冻结 VLM 生成遮挡、深度等结构化推理并注入噪声,检测器通过重构干净推理内化几何先验;在 KITTI 3D 和 nuScenes 数据集上性能优于 SOTA 且具备良好泛化能力。

  2. arXiv · AI23

    多模态大推理模型中的推理感知跨模态关联遗忘

    针对多模态大推理模型中视觉输入可能泄露敏感信息的问题,研究提出 Visual-Keyed Counterfactual Rebinding (VKCR) 框架。该参数高效框架通过定位紧凑的参数子空间并反事实重绑定,在特定视觉上下文抑制目标行为,同时保留允许场景下的知识访问。实验表明 VKCR 显著降低了图像条件的目标泄露与幻觉重关联,且有效保留了非敏感视觉推理能力。

  3. arXiv · AI26

    Qwen3-8B 通过纯文本训练与 NER 方法实现零样本视频时间定位

    纯文本训练的 Qwen3-8B 在视频时间定位任务上实现零样本性能,Charades-STA 达成 14.45 mtIoU,QV-Highlights 达成 20.72 mtIoU。 采用 LoRA 适配 134K 样本语料,引入 NER 技术映射最近实体嵌入,解决视频帧与文本间的模态差距。 结果优于现有四种基线,部分实现从文本到视频的跨模态迁移,推动无配对标注的多模态模型训练。

  4. arXiv · AI21

    TouchéWorld 技术报告:在生成式世界中实现统一相机与手部在线探索

    TouchéWorld 将手势驱动交互整合进相机控制的视频世界模型,支持基于相机和手部动作的在线生成。 该框架通过异构第一视角视频构建联合训练数据,利用参数高效适配结合空间手部骨架与数值运动特征,并引入 TouchéBench 评估协调性与物体响应。 该系统确立了在生成式世界中进行连续探索与手部交互的研究框架。

  5. arXiv · AI21

    密集乳腺中显著性图是否失效?一项机会归一化且考虑混杂因素的乳腺摄影解释公平性审计

    针对 1,345 例恶性 CBIS-DDSM 视图的审计显示,在密集乳腺中显著性图定位癌灶效果更差。未调整的显著性差距较大,例如 Grad-CAM 在密集乳腺中的峰值命中率仅 44%,而非密集乳腺为 58%。病例混合因素解释了差距的一半以上。 研究者建议按分类器报告调整前后的密度差距,并引入显著性图和病灶依赖性作为对照。

  6. arXiv · AI31

    DualControlNet 通过联合合成土地利用地图与卫星影像推进城市规划生成式 AI

    DualControlNet 是首个联合生成高分辨率土地利用地图与卫星影像的生成式模型。该模型在奥兰多和芝加哥的 40,000 多个配对地块上训练,支持基于文本提示的多维控制。 相比单模态基线,土地利用多样性一致性提升 62.8%,建筑覆盖率一致性提升 16.3%,跨模态空间一致性翻倍以上,视觉质量提升三倍。实验证明其可通过“高密度开发”等提示词支持可持续发展规划。

  7. arXiv · AI26

    GREP:基于原则的生成房间评估方法

    针对LLM生成房间评估局限,提出GREP方法,实现87%与人类偏好一致性,显著优于基线。 采用三层评估哲学:基础物理有效性、视觉连贯性和人类使用逻辑。 评估智能体自主识别问题并生成报告,实验显示报告能提升场景质量,而仅打分或无反馈基线质量略有下降。

  8. arXiv · AI26

    Bio-VQA:评估视觉语言模型在生物学视觉理解中的边界

    研究发布Bio-VQA,包含来自11个数据集的186万道问题和21.7万张图片,涵盖分类学、空间等四个维度,用于测试视觉语言模型在生物学领域的表现。 评估显示,表现最佳的模型在处理2至10个个体的计数任务时准确率为41.7%,其在分类学任务上的准确率从门级别的0.72降至学名级别的0.12,且增加参数量主要改善粗粒度的分类能力。

  9. arXiv · AI30

    LaSFM:保持拉普拉斯约束的频谱图生成流匹配方法

    研究提出 LaSFM(拉普拉斯约束 Stiefel 流匹配),解决现有模型未强制拉普拉斯零空间约束的问题。该方法在生成过程中同时保持特征向量正交归一性、正特征值及零空间条件,并扩展至属性引导生成。实验表明 LaSFM 在频谱及图级别指标上性能更优,且与目标属性对齐更好。

  10. arXiv · AI26

    CAST-Bench:追踪多镜头音视频生成中每个声音的来源

    CAST-Bench 发布针对多镜头音视频生成的基准测试,包含 900 个提示词和 18 项指标,旨在追踪每个生成声音是否源自正确源、同步及语义准确。 该基准测试了 12 个代表性生成器,发现视觉质量接近饱和,但音频语义分数差异显著;多镜头提示词在子集评分规则下得分较低,多人语音及跨镜头事件保持仍为主要挑战。

  11. arXiv · AI22

    AmbiHTMLBench:基于 HTML 的视觉富文档解析基准

    AmbiHTMLBench 发布了针对 HTML 视觉富文档解析的新基准,旨在保留文档的空间结构与视觉层级。 基准包含 1,115 个页面,采用客观与主观双协议评估;在 10 个多模态系统中,最佳客观分数为 0.8092,且主观优胜者不同。 微调的小参数专家模型在文档到 HTML 重建任务中表现良好,该基准可作为构建更智能文档解析系统的诊断测试床。

  12. arXiv · AI23

    CARM: 面向可靠科学超分辨率的共形自适应风险掩码

    CARM 提出一种统计框架,在时序分布偏移下实现自适应空间风险控制,将南海氯-a 超分辨率流中 43.49% 的经验违例率降至 9.38%。 该方法通过异构更新速率专家在线聚合阈值,证明时间平均风险以 O(1/T) 速率收敛至 α=0.10 以下,并在 ERA5 和 OSTIA 数据集上验证了对多个超分辨率骨干模型的一致性提升。

  13. arXiv · AI34

    ModalSearcher:将视觉证据融入自主跨模态深度搜索

    ModalSearcher 通过强化学习在实时 Web 环境中训练,提出自主跨模态搜索能力,平均准确率比 Qwen3-VL-8B 提升 16.2 分。 该 Agent 在五个多模态知识密集型问答基准上表现一致提升,并可处理跨模态多跳任务。 研究为构建能动态切换模态、主动引入视觉证据的智能体提供了可扩展路径。 ```

  14. arXiv · AI27

    RECAP:用于多模态投机解码的上下文感知预测回收与请求本地及持久记忆

    论文提出 RECAP 方法,通过 1/2/3-token 键存储和请求本地/跨请求持久记忆结合上下文感知的熵置信度加权,为多模态模型训练自由地提供投机解码候选。 在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 的 7 个单轮基准上,RECAP 相对自回归解码平均加速 1.66×/1.56×,超过最强无训练基线 Token Recycling 的 1.51×/1.37×;代码已开源。

  15. arXiv · AI28

    视觉语言模型如何基于视觉数据在不确定性下做出决策

    这项研究评估了由视觉语言模型驱动的AI智能体在不确定性下的决策过程,发现 GPT-4o 在感知饼图和条形图的不确定性时准确率最高。 研究发现,当不确定性通过圆形图表、图标数组或文本表示时,自主智能体的决策表现与理性决策理论的对齐程度最好。该研究基于可视化素养和决策理论,分析了不同模型和可视化类型下的感知准确性与决策表现。

  16. arXiv · NLP26

    SLICEChat: 面向全切片病理语言模型的渐进式编码器内Token剪枝

    SLICEChat 通过混合 Mamba-Transformer 编码器实现渐进式 token 剪枝,在 SlideBench VQA 中 TCGA 准确率达 79.84%,BCNB 达 59.09%。模型在 WSI-Bench 各项指标中表现最优,且具备具有竞争力的内存占用与推理延迟。该成果实现了在吉像素级全切片图像上精确且计算高效的多模态推理。

  17. arXiv · NLP23

    ToxiMol 提出首个面向 MLLM 的分子毒性修复基准任务,评估 43 款模型表现

    ToxiMol 构建了覆盖 11 项任务和 660 个毒性分子的数据集,并设计 ToxiEval 自动评估框架,系统测试了 43 款主流 MLLM。 该框架整合毒性终点预测、合成可及性与结构相似度等指标,消融实验表明当前 MLLM 在毒性理解与结构感知编辑上已展现初步能力,但整体仍面临显著挑战。

  18. arXiv · NLP33

    基于成人依恋理论评估 LLM 情感伴侣能力:提出 ECBench 基准测试

    研究者引入成人依恋理论,利用 ECR-R 量表评估了 32 个 LLM 的依恋焦虑与回避倾向,并构建了覆盖四类场景的 ECBench 情感陪伴基准测试。 ECBench 使用 11 项对话质量指标和三种评估方法,在友谊与浪漫关系的多轮交互中测试模型行为及其通过提示词的可塑造性。 该研究为理解和选择用于情感陪伴的 LLM 提供了心理学理论视角及实用工具。

  19. arXiv · NLP35

    MusTBench:评估并改进音乐大语言模型的时序定位能力

    研究团队提出 MusTBench 基准与 MusT 四阶段优化方案,旨在评估和提升音乐音频-语言模型(LALMs)的时序定位能力。 MusTBench 包含基于乐段的数据和五项问答任务,MusT 涵盖音乐编码器适配、LLM 微调及强化学习优化。 现有 LALMs 在精确时序定位上面临挑战,MusT 在不同模型骨干上均一致提升性能。

  20. arXiv · NLP41

    ODE:面向视觉原生多模态深度搜索智能体的在线策略数据演化框架

    ODE框架提出图像库引用协议,使中间视觉证据可被后续工具复用,并通过闭环数据生成器实现SFT和RL数据策展。 该框架支持在线策略数据演化,每轮从被训练策略的rollouts中提炼数据。 在8个多模态深度搜索基准测试中,Qwen3-VL-8B智能体平均准确率从24.9%提升至39.0%,30B模型从30.6%提升至41.5%。

  21. arXiv · NLP40

    MAEP:面向 MoE 多模态大语言模型的模态感知专家剪枝框架

    免训练框架 MAEP 通过模态感知专家剪枝,将约 58 GB 模型的 BF16 专家权重占用减少约 27 GB(约 47% 内存),使其适配单块 40 GB GPU。 该框架引入 Delta-H 输出指标衡量移除专家后的 MoE 输出变化,并利用低注意力视觉 token 作为稳定的剪枝信号。 在多数多模态基准上 MAEP 优于模态无关基线,同时在纯文本任务中保持竞争力。

  22. arXiv · NLP23

    ALTO:涵盖非洲与黎凡特地区的科技助长性别暴力语料库

    研究人员发布 ALTO 语料库,包含 3022 条标注数据,用于检测黎凡特阿拉伯语、非洲法语和斯瓦希里语中的科技助长性别暴力。 现有有害内容检测模型在 ALTO 上召回率低,经微调后性能提升,但斯瓦希里语错误率显著更高。 文章公开了该语料库的标注分类体系、数据集及训练好的模型。

  23. arXiv · NLP38

    CRESiST: 面向同步语音翻译的自增强探索性策略学习

    CRESiST提出基于全模态大语言模型的端到端读写交错框架,通过RNN-T Actor与LLM Critic自增强流水线,在FLEURS等基准上确立同步语音翻译质量-延迟Pareto前沿新SOTA。 该架构支持无限长无分割推理,通过内生语义与延迟奖励将最优策略蒸馏回Actor,显著优于现有级联和静态对齐基线。 论文被NeurIPS 2026接收。

  24. arXiv · NLP21

    GlyphMind 证明熟悉字母而非亲属语言助未见过语言进入共享语义空间

    未见过语言进入共享语义空间依赖熟悉字母而非亲属语言。GlyphMind 作为无分词器视觉 Transformer,在 27 种书写系统上预训练对齐翻译,适配未翻译的 Lao 语时检索英语翻译的频率是基线的 7 倍。 改用熟悉的 Devanagari 书写系统可让 Sanskrit 等无翻译语言进入模型,而非仅靠语言亲属关系。