MonoLaDN:通过语言引导去噪的单目 3D 目标检测方法
MonoLaDN 提出一种语言引导去噪框架,将 VLM 的几何推理能力转移至单目 3D 检测器,保持部署模型纯视觉特性。 训练时使用冻结 VLM 生成遮挡、深度等结构化推理并注入噪声,检测器通过重构干净推理内化几何先验;在 KITTI 3D 和 nuScenes 数据集上性能优于 SOTA 且具备良好泛化能力。
MonoLaDN 提出一种语言引导去噪框架,将 VLM 的几何推理能力转移至单目 3D 检测器,保持部署模型纯视觉特性。 训练时使用冻结 VLM 生成遮挡、深度等结构化推理并注入噪声,检测器通过重构干净推理内化几何先验;在 KITTI 3D 和 nuScenes 数据集上性能优于 SOTA 且具备良好泛化能力。
OccSplat 框架通过遮挡感知高斯致密化,针对缺失几何而非像素补全,提升驾驶场景重建质量。 该框架包含高斯遮挡映射与补全模块,在 nuScenes 基准测试中显著改善遮挡区域的渲染效果。 论文已被 CV4DC, ACCV 2026 接收,实现了无需逐场景优化的前馈推理。
针对多模态大推理模型中视觉输入可能泄露敏感信息的问题,研究提出 Visual-Keyed Counterfactual Rebinding (VKCR) 框架。该参数高效框架通过定位紧凑的参数子空间并反事实重绑定,在特定视觉上下文抑制目标行为,同时保留允许场景下的知识访问。实验表明 VKCR 显著降低了图像条件的目标泄露与幻觉重关联,且有效保留了非敏感视觉推理能力。
纯文本训练的 Qwen3-8B 在视频时间定位任务上实现零样本性能,Charades-STA 达成 14.45 mtIoU,QV-Highlights 达成 20.72 mtIoU。 采用 LoRA 适配 134K 样本语料,引入 NER 技术映射最近实体嵌入,解决视频帧与文本间的模态差距。 结果优于现有四种基线,部分实现从文本到视频的跨模态迁移,推动无配对标注的多模态模型训练。
TouchéWorld 将手势驱动交互整合进相机控制的视频世界模型,支持基于相机和手部动作的在线生成。 该框架通过异构第一视角视频构建联合训练数据,利用参数高效适配结合空间手部骨架与数值运动特征,并引入 TouchéBench 评估协调性与物体响应。 该系统确立了在生成式世界中进行连续探索与手部交互的研究框架。
针对 1,345 例恶性 CBIS-DDSM 视图的审计显示,在密集乳腺中显著性图定位癌灶效果更差。未调整的显著性差距较大,例如 Grad-CAM 在密集乳腺中的峰值命中率仅 44%,而非密集乳腺为 58%。病例混合因素解释了差距的一半以上。 研究者建议按分类器报告调整前后的密度差距,并引入显著性图和病灶依赖性作为对照。
研究构建 9996 个审计对比,发现梯度提升模拟器干预技能为 -0.12,盲测反而提升预测准确性。前沿语言模型技能为 0.20,通过 86% 的对比臂交换验证其真实利用干预信息。基准、代码及每次调用的模型输出已发布,为高风险健康领域的世界模型提供保守评估下限。
summary_zh:
DualControlNet 是首个联合生成高分辨率土地利用地图与卫星影像的生成式模型。该模型在奥兰多和芝加哥的 40,000 多个配对地块上训练,支持基于文本提示的多维控制。 相比单模态基线,土地利用多样性一致性提升 62.8%,建筑覆盖率一致性提升 16.3%,跨模态空间一致性翻倍以上,视觉质量提升三倍。实验证明其可通过“高密度开发”等提示词支持可持续发展规划。
针对LLM生成房间评估局限,提出GREP方法,实现87%与人类偏好一致性,显著优于基线。 采用三层评估哲学:基础物理有效性、视觉连贯性和人类使用逻辑。 评估智能体自主识别问题并生成报告,实验显示报告能提升场景质量,而仅打分或无反馈基线质量略有下降。
SPLIT 方法通过让模型学习基于语义意义的图像块分辨率分配,替代基于像素统计的传统启发式,使 Vision Transformer 在处理任务相关内容时产生更短且匹配度更高的 token 序列。
OdorSpaces 是一款结合视觉与嗅觉信息的具身导航物理仿真平台与基准,已获 CoRL 2026 接收。 该平台扩展 Habitat-Sim,利用 Fire Dynamics Simulator 模拟 3D 气味传输,支持气体泄漏定位等场景。 测试表明,初步的多模态强化学习策略优于多样基准模型,确立研究参考。
研究发现对比视觉-语言模型在左右关系评分上接近随机,归因于嵌入不可达或池化丢弃。 针对两种失败模式,提出零参数查询条件空间矩方法,在11.8万图像索引上显著提升左右成对准确率与召回率。
研究发布Bio-VQA,包含来自11个数据集的186万道问题和21.7万张图片,涵盖分类学、空间等四个维度,用于测试视觉语言模型在生物学领域的表现。 评估显示,表现最佳的模型在处理2至10个个体的计数任务时准确率为41.7%,其在分类学任务上的准确率从门级别的0.72降至学名级别的0.12,且增加参数量主要改善粗粒度的分类能力。
SurgTransfer 提出一种多步动作学习框架,旨在从非标注视频中学习上下文不变的隐式动作,以解决手术领域因依赖真值运动学或专家标注而导致的任务适用性受限问题。
研究提出 LaSFM(拉普拉斯约束 Stiefel 流匹配),解决现有模型未强制拉普拉斯零空间约束的问题。该方法在生成过程中同时保持特征向量正交归一性、正特征值及零空间条件,并扩展至属性引导生成。实验表明 LaSFM 在频谱及图级别指标上性能更优,且与目标属性对齐更好。
CAST-Bench 发布针对多镜头音视频生成的基准测试,包含 900 个提示词和 18 项指标,旨在追踪每个生成声音是否源自正确源、同步及语义准确。 该基准测试了 12 个代表性生成器,发现视觉质量接近饱和,但音频语义分数差异显著;多镜头提示词在子集评分规则下得分较低,多人语音及跨镜头事件保持仍为主要挑战。
提出 Omni-Encoder,通过单个 SigLIP-2 Vision Transformer 在完全共享参数下联合优化图像、视频、音频及视听输入。 在 16 个基准测试中,该框架在全部四个模态上取得具有竞争力的结果,且联合训练优于各模态独立训练。代码和模型将公开发布。
研究者提出免训练 Socket 方法,通过岭回归将 Evo 2 特征映射至冻结 LLM 的基因表征,在 GeneHop 基准上验证有效性。 该方法无需训练连接器或宿主模型,真实 DNA 序列在 Qwen3.5-4B、Qwen3.6-27B、Mistral-7B 和 OLMo-2-7B 上分别比随机序列高出 16.7 至 26.1 分。
AmbiHTMLBench 发布了针对 HTML 视觉富文档解析的新基准,旨在保留文档的空间结构与视觉层级。 基准包含 1,115 个页面,采用客观与主观双协议评估;在 10 个多模态系统中,最佳客观分数为 0.8092,且主观优胜者不同。 微调的小参数专家模型在文档到 HTML 重建任务中表现良好,该基准可作为构建更智能文档解析系统的诊断测试床。
EnzymeRSI 双循环系统通过外层迭代将 ProteinGym 开发集平均 Spearman 相关性提升 0.044,在 CD19 上达到 0.335。 内层循环使 ThermoMPNN 算法 PCC 达 0.849,并在 TadA-Bench 以 1.13 小时耗时实现 0.307 相关性。 三项湿实验验证中,RLuc 候选物活性提升超 2 倍,KOD-E 催化效率提升至亲本 31.1 倍。
CARM 提出一种统计框架,在时序分布偏移下实现自适应空间风险控制,将南海氯-a 超分辨率流中 43.49% 的经验违例率降至 9.38%。 该方法通过异构更新速率专家在线聚合阈值,证明时间平均风险以 O(1/T) 速率收敛至 α=0.10 以下,并在 ERA5 和 OSTIA 数据集上验证了对多个超分辨率骨干模型的一致性提升。
ModalSearcher 通过强化学习在实时 Web 环境中训练,提出自主跨模态搜索能力,平均准确率比 Qwen3-VL-8B 提升 16.2 分。 该 Agent 在五个多模态知识密集型问答基准上表现一致提升,并可处理跨模态多跳任务。 研究为构建能动态切换模态、主动引入视觉证据的智能体提供了可扩展路径。 ```
论文提出 RECAP 方法,通过 1/2/3-token 键存储和请求本地/跨请求持久记忆结合上下文感知的熵置信度加权,为多模态模型训练自由地提供投机解码候选。 在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 的 7 个单轮基准上,RECAP 相对自回归解码平均加速 1.66×/1.56×,超过最强无训练基线 Token Recycling 的 1.51×/1.37×;代码已开源。
针对产检超声生物测量工具的风险控制审计发现,Clopper-Pearson 校准的置信度证书无法防止 271.3 mm 的极端几何误差。 在 HC18 数据集上,该机制导致覆盖率下降 19.0 点。通过限定 55 mm 至 70 mm 的解剖学范围,可将最坏误差降至 11.4 mm,MAE 达 1.91 mm。
论文提出递归自主智能体(RAA)框架,通过目标契约定义局部目标,利用能力契约支持生产单元的选取与组合。 该框架采用递归组织结构,通过通用接口协调设备、生产线和工厂,实现局部决策与全局协同的统一。
这项研究评估了由视觉语言模型驱动的AI智能体在不确定性下的决策过程,发现 GPT-4o 在感知饼图和条形图的不确定性时准确率最高。 研究发现,当不确定性通过圆形图表、图标数组或文本表示时,自主智能体的决策表现与理性决策理论的对齐程度最好。该研究基于可视化素养和决策理论,分析了不同模型和可视化类型下的感知准确性与决策表现。
SLICEChat 通过混合 Mamba-Transformer 编码器实现渐进式 token 剪枝,在 SlideBench VQA 中 TCGA 准确率达 79.84%,BCNB 达 59.09%。模型在 WSI-Bench 各项指标中表现最优,且具备具有竞争力的内存占用与推理延迟。该成果实现了在吉像素级全切片图像上精确且计算高效的多模态推理。
ToxiMol 构建了覆盖 11 项任务和 660 个毒性分子的数据集,并设计 ToxiEval 自动评估框架,系统测试了 43 款主流 MLLM。 该框架整合毒性终点预测、合成可及性与结构相似度等指标,消融实验表明当前 MLLM 在毒性理解与结构感知编辑上已展现初步能力,但整体仍面临显著挑战。
利用免费类型学特征预测跨语言迁移,24语言矩阵上随机森林达到$\rho{=}0.705$和$R^2{=}0.49$。 双盲测试中性能降至$\rho{\approx}0.41$,迁移由类型学和资源偏差项分解,该工具无需训练即可筛选数据。
研究者引入成人依恋理论,利用 ECR-R 量表评估了 32 个 LLM 的依恋焦虑与回避倾向,并构建了覆盖四类场景的 ECBench 情感陪伴基准测试。 ECBench 使用 11 项对话质量指标和三种评估方法,在友谊与浪漫关系的多轮交互中测试模型行为及其通过提示词的可塑造性。 该研究为理解和选择用于情感陪伴的 LLM 提供了心理学理论视角及实用工具。
AURORA-LM 提出连续潜扩散语言模型,通过解耦文本表示构建与分布建模,在 OpenWebText 和 XSum 任务上表现优于现有连续模型。 模型采用 Query-based 编解码器生成前缀对齐的高容量潜序列,结合 Block-causal Diffusion Transformer 进行流匹配生成,并校准噪声分布与自轨迹一致性。
研究团队提出 MusTBench 基准与 MusT 四阶段优化方案,旨在评估和提升音乐音频-语言模型(LALMs)的时序定位能力。 MusTBench 包含基于乐段的数据和五项问答任务,MusT 涵盖音乐编码器适配、LLM 微调及强化学习优化。 现有 LALMs 在精确时序定位上面临挑战,MusT 在不同模型骨干上均一致提升性能。
ODE框架提出图像库引用协议,使中间视觉证据可被后续工具复用,并通过闭环数据生成器实现SFT和RL数据策展。 该框架支持在线策略数据演化,每轮从被训练策略的rollouts中提炼数据。 在8个多模态深度搜索基准测试中,Qwen3-VL-8B智能体平均准确率从24.9%提升至39.0%,30B模型从30.6%提升至41.5%。
TurnWise 框架通过回合级 GRPO 将流式视频理解的训练与决策对齐,优于现有强化学习方法。 该方法利用静默完成前缀评分构建组相对优势,并采用回合平均策略优化以平衡响应与等待决策的权重。
免训练框架 MAEP 通过模态感知专家剪枝,将约 58 GB 模型的 BF16 专家权重占用减少约 27 GB(约 47% 内存),使其适配单块 40 GB GPU。 该框架引入 Delta-H 输出指标衡量移除专家后的 MoE 输出变化,并利用低注意力视觉 token 作为稳定的剪枝信号。 在多数多模态基准上 MAEP 优于模态无关基线,同时在纯文本任务中保持竞争力。
研究人员发布 ALTO 语料库,包含 3022 条标注数据,用于检测黎凡特阿拉伯语、非洲法语和斯瓦希里语中的科技助长性别暴力。 现有有害内容检测模型在 ALTO 上召回率低,经微调后性能提升,但斯瓦希里语错误率显著更高。 文章公开了该语料库的标注分类体系、数据集及训练好的模型。
CRESiST提出基于全模态大语言模型的端到端读写交错框架,通过RNN-T Actor与LLM Critic自增强流水线,在FLEURS等基准上确立同步语音翻译质量-延迟Pareto前沿新SOTA。 该架构支持无限长无分割推理,通过内生语义与延迟奖励将最优策略蒸馏回Actor,显著优于现有级联和静态对齐基线。 论文被NeurIPS 2026接收。
AssameseLM-E2B 是一款 20 亿参数的开源阿萨姆语模型,基于 Gemma-4 架构构建。 采用 Hybrid LoRA 持续预训练和 SFT 微调,词汇扩展使 token 化开销降低近 500%。 在 FLORES-200 上 BPB 达 0.7488,RAG 准确率 96.7%,可在消费级硬件部署。
未见过语言进入共享语义空间依赖熟悉字母而非亲属语言。GlyphMind 作为无分词器视觉 Transformer,在 27 种书写系统上预训练对齐翻译,适配未翻译的 Lao 语时检索英语翻译的频率是基线的 7 倍。 改用熟悉的 Devanagari 书写系统可让 Sanskrit 等无翻译语言进入模型,而非仅靠语言亲属关系。