PERIA:构建用于空间推理的工具体增强视觉智能体
研究提出PERIA,一种针对空间推理任务的工具体增强视觉智能体。在13项基准测试中,PERIA-8B基于Qwen3-8B模型在分布内任务上提升10.0个百分点,分布外任务提升4.4个百分点。其性能可媲美GPT-5等大模型,论文已被NeurIPS 2026接收。
研究提出PERIA,一种针对空间推理任务的工具体增强视觉智能体。在13项基准测试中,PERIA-8B基于Qwen3-8B模型在分布内任务上提升10.0个百分点,分布外任务提升4.4个百分点。其性能可媲美GPT-5等大模型,论文已被NeurIPS 2026接收。
Place-it-R1通过环境感知的MLLM推理实现物理一致的视频物体插入,将推理转化为语义与空间双重引导。引入Spatial Direct Preference Optimization以定位物体区域惩罚物理违规,在多种模式下生成结果优于当前SOTA方法并与商业系统表现相当。
SpatialMem 将 RGB 视频转化为可查询的度量对齐 3D 记忆,无需特殊传感器。 在 VSI-Bench 288 个视频上 RGB 整体得分 37.5,房间尺寸预测达 41.4;OpenEQA 中证据帧检索优于均匀采样;索引成本为每场景 14 KB。 支持空间关系推理与语言引导检索,相关代码与记忆数据集已公开。
该研究提出残差替换模型,通过稀疏自编码器提取视觉 Transformer 各层 6.6K 个特征,系统分析其视觉处理机制。 模型以可解释特征替换原始计算流,生成简洁电路,同时验证了其在消除虚假相关偏差中的应用价值。
研究人员发布了首个大规模多语种音视频开放集深度伪造检测基准 MAVOS-DD。 该数据集包含约 350 小时八种语言的真实与伪造视频,其中 59% 为生成数据,且训练集仅包含部分生成模型与语种以构建开放集场景。 实验表明,当前最先进检测器在开放集设定下无法保持性能水平,数据与代码已公开供非商业使用。
FL-Net 推出支持 50 个并发客户端的联邦学习框架,通过模块化数据协调与容器化工作流,实现了跨研究的和谐数据与流程复用。 该框架在 dAIbetes 和 Microb-AI-ome 欧盟项目中开发,将覆盖 9 个国家的 10 家医院及超过 800,000 名患者。 FL-Net 为可互操作、可复现且保护隐私的多中心临床研究提供了实用基础。
该研究提出SAEParate方法,通过概念感知对比学习和交叉注意力引导的空间聚合,在扩散模型潜在空间中显式分离语义重叠概念,以实现针对特定概念的无参数遗忘。 在UnlearnCanvas基准上,该方法达到了最先进的性能,特别是在联合风格-对象遗忘这一具有挑战性且现有方法存在严重干扰的设置中表现突出。 该方法已被NeurIPS 2026接收。
提出 JusticeAxis 基准,包含 18 国 256 个含音频、图像和文本证据的刑事案件,每个案例配 3 份律师撰写的判决书。 引入 JusticeAgent 插件,通过技能包指导推理,可使冻结的开源权重模型达到商业级表现。
EvoSteer 提出在线自进化图编排范式,通过 AnchorTB 损失函数和验证技能准入机制解决事后进化及信用扩散挑战。 实验在 12 个数据集上验证,该方法在问答、数学推理、代码生成及交互决策任务中显著优于基线。
ManimAgent 是一款自进化多模态智能体,通过双通道情景记忆库在任务间传递反思经验,无需权重更新或人工种子。 记忆库包含存储成功范例的正向通道和存储失败模式的负向通道,由视觉语言模型对渲染关键帧进行评分后生成。 在固定探针评估中,随着记忆库规模增加,盲测 Pass@1 指标上升且所需反思轮数减少。
研究人员发现,通过选择性微调大型多模态模型可以在新技能习得与旧能力保留间取得良好平衡。 具体方法包括仅更新自注意力投影层(SA Proj.,$\Delta$学习+24.9 / $\Delta$遗忘-0.6),或仅更新MLP门控与上升投影(MLP Gate&Up,+30.5 / -2.1)。
Social-HUMINT 提出统一框架,量化 LLM 对社交媒体用户的画像准确性及社会工程攻击 susceptibility,将 SOCMINT 与 Cyber-HUMINT 合并为 38 项能力分类法,专家验证一致性 $\kappa$ 为 0.92。
研究者提出无训练离线指标 $S^2$,用于衡量模型感官表征与物理运动几何的对齐度。该指标与下游机器人任务成功率呈正相关,可在闭环评估前低成本筛选具身模型。$S^2$ 甚至能识别有潜力的 VLM 骨干,为具身模型的成功提供表征层面的解释。
提出 MoG-VLM 框架,利用 Temporal Gradient Magnitude (TGM) 进行内容感知采样,解决密集帧级推理导致的实时部署难题。 在零样本免训练设置下,该模型在 XD-Violence、UCF-Crime、MSAD 和 ShanghaiTech 四个基准上分别取得 91.91%、84.30%、87.88% 和 78.96% 的 AUC-ROC 成绩。
该研究提出 RaSFNet,在 SemanticKITTI 验证集上取得 70.2% mIoU,在 nuScenes 验证集上达到 77.7%。 网络利用 RAGDE 编码 frustum 点分布,结合 STAM 模块捕获扫描区间的长程依赖,并通过 RCPFF 机制维持特征交换的空间对应性。
MQAScore 提出利用大型音频语言模型在 5 个维度验证原子音乐概念,以替代全局相似度评分。 该方法构建了基于 LLM 引导的概念替换验证标签,并提出了敏感性不变比(Sensitivity-Invariance Ratio)以评估评估器的可靠性。 实验表明 MQAScore 相比传统方法,是文本到音乐对齐更可靠且可解释的细粒度补充指标。
该研究首次提出 DRAFT 方法,仅利用 fMRI 信号与相机轨迹重建未见过的 3D 房间布局,不依赖视觉帧。 方法从初级视觉皮层提取布局表示并与相机运动推导的自由空间融合,在10个未见场景(20名参与者)中达到 layout r 0.480。 该方法作为插件可提升7种 fMRI 解码器的性能,无需重新训练,将其 layout r 从 0.171–0.429 提升至 0.487–0.493。
针对现有医疗视觉语言模型(MedVLMs)在放射学报告中易漏诊误诊的问题,提出Diagnostic Loss(DLoss)方法。DLoss是一种可微分的架构无关目标函数,通过非对称池化机制直接作用于解码器token概率,鼓励支持诊断的概率集中,同时抑制不支持诊断的概率尖峰。
ReDence 开源框架在12类社会工程学诈骗检测中准确率96%,速度比同类智能体模型快4倍以上。 采用本地部署的 Qwen3.5-4B 智能体与 Tev1 决策模型混合架构,生成可审计的结构化证据报告。
GateFormer 在 NREL-TSI 基准测试中,于 +30 分钟预测时点实现 125.01 W/m² 的 RMSE,较 SOTA 基线提升 9.6%。 该模型采用 GHI 条件化的双解码器 ViT 架构,结合轨迹头与增量头,并通过自适应加权机制优化最终时点预测精度。
研究提出一种黑盒视觉语言模型(VLM)测试方法 VLTest,用于发现图文联合失效。 该方法通过编辑 VQGAN 隐代码生成图像变体,并利用改写-扩展-剪枝管道生成文本变体,确保每个联合失效具备四个匹配单元。 在 3 项任务和 8 个 VLM 的测试中,模型识别器对候选项的确认率为 81.7%,相比 SINVAD 和 TextFooler 找到多 1.8 至 2.5 倍的已确认失效。
自监督视觉预训练框架 VANE 基于嵌入空间的下一帧预测实现视觉世界建模,在 EPIC-KITCHENS-100 动作预测任务中 mean-class recall@5 比 V-JEPA 2.1 高 7.1 个点。
SplatLab是一个针对3D Gaussian Splatting的自主科研系统,可端到端复现基线、提出扩展、训练消融并撰写论文,所有结果均绑定至已记录的训练运行。
SciFusion 提出多模态 3D 科学图像生成框架,采用潜在扩散骨干与组合条件方案,在 15 种成像模态上实现零样本合成未见组合。 框架引入 MRI 傅里叶频谱、CT Radon 投影及电子显微镜多切片衍射的物理一致性目标,提升生成保真度与跨域泛化能力。 该框架为新兴模态提供了可扩展的统一生成方案,无需针对特定目标组合进行训练。
独眼 3D 手部重建模型 EgoHand 实现 SOTA 性能,推理延迟约 9.69 ms,优于 HOT3D 等基准中的竞争模型。 模型以 1400 万图像构建训练语料,采用 SOMA-Hand 参数化表示与 Transformer 编码器,并整合相机线索及辅助 2D 分支。 EgoHand 模型与源代码已开源,允许免费商用,盲测结果也优于 Apple EgoDex 等基线。
MPIDetector 利用 LLM 推理与 In-Context Learning 检测多模态提示注入,无需微调。 在文本任务上准确率最高 90.91% 且召回率 100%,视觉任务准确率最高 99.28% 且精确率 100%。 该论文被 IEEE TPS 2026 接收。
研究提出 CRANE 框架,作为首个模型无关的事后多模态反事实生成方法,通过检索目标类别真实训练样本作为候选解释。 在 4 个异构数据集和 3 种融合策略测试中,多模态共识检索(MC-R)策略在 3 个数据集上取得最优或并列最优结果,解释均基于联合训练分布。
TTR-Compressor 将序列压缩重构为测试时回归问题,通过闭式解计算系数作为压缩表示,替代传统池化与投影方法。 在块级稀疏注意力中,该方法显著提升 RULER 基准测试性能;在多模态视觉 token 合并中,以 55.6% 更少的视觉 token 数量达到与标准 MLP merger 相当的效果。
研究者通过控制变量实验揭示了扩散语言模型中学习式解掩码(unmasking)策略的关键设计维度,重点考察了教师标签、策略输入、策略容量及所需函数评估次数(NFE)减少量。
DuoCook 基准基于 Unreal Engine 构建,包含 5 类共 20 张地图,由单一视觉语言模型控制双玩家完成烹饪任务。 测试 4 种 VLM,最强模型 gpt-6-astra 平均订单完成率 26.2%;添加笔记本记忆对 Claude/Qwen 有正向影响,对 GPT/Gemini 有负向影响。
研究提出Piano2Pop任务,利用预训练flow-matching模型将钢琴MIDI转化为器乐流行制作。 方法使用无对齐监督的伪监督策略,在476对真实钢琴与流行曲目测试中,成对监督方法在Fréchet Audio Distance等指标上表现最优。 该研究展示了任务特定建模在音乐生成中的重要作用,相关论文已投稿至ICASSP2027。
PhysTrace 提出了一种无需训练的框架,通过对齐 MLLM 生成的历史条件预期与视频窗口,来定位视频生成模型中的物理违反并生成可解释描述。 该框架在 IntPhys2-Timing 数据集上达到了 70.7% 的 Hit Rate,并提出了包含违反区间的 IntPhys2-Timing 数据集。
针对多模态 LLM 长文本生成中 KV cache 一次性预取失效的问题,提出速率控制刷新(RCR)方法。该方法利用漂移决定重选时机,通过每样本控制器调节频率,结合低秩检测器。 RCR 在 6 个模型任务中的 5 个设置下超越 InfiniGen 1.6-3.8 ROUGE-L 分,且 GPU 常驻检测器体积缩小 4 倍,性能接近精确逐步重选。
4 个 System 1 模型在 86 项公开临床任务上零样本评测,覆盖 20 种语言和 179,111 例。 最佳模型平均 AUROC 达 0.94(医学知识)至 0.69(体积影像),文本任务优于 13/26 项已发表结果,单次决策耗时 0.34-0.44 秒。 影像任务 AUROC 显著低于文本任务,且生成式模型速度慢 11-76 倍但平衡准确率略高。
发布包含 1,500 个样本的 PointerBench 基准,用于测试细粒度 GUI 定位能力。 包含 Sheets、Text、Pro 三个子集,评估了通用模型与 39 种专用 GUI 定位配置。Claude Fable 5 在文本定位任务中成功率仅 69.6%,表明前沿模型在细粒度定位上仍有较大提升空间。
研究人员提出 Trion-1,这是首个原生统一的蛋白质多模态扩散语言模型(dLLM),用于生成和理解蛋白质序列与结构。 该模型采用统一的离散 token 空间表示序列、结构和自然语言,并使用 dLLM 骨干网络。在严格同源性控制的测试中,其折叠任务单次样本 TM-score 即高于 0.8,性能媲美使用 200 个样本的现有模型。
通用 AI Agent 无需额外训练即可接管 3D 分割标注工作,在涵盖 CT、MRI 等 14 张图像的基准测试中,Claude Code 和 Codex 仅依据自然语言请求即达到 0.81 和 0.84 的平均 Dice 分数。
模型在信号级问答中取得 88.81% 的 Macro-BA,将字幕事实一致性从 82.06% 提升至 83.46%,验证了问答与字幕监督的互补作用。
Dual Exam 基准测试了多模态智能体与世界模型,在物理、数字等四大领域实现受控评估。 智能体赛道对比10种配置,涵盖15个报告类别;世界模型赛道包含8个场景的400个案例。GPT 6 Astra 在加权智能体指数中以31.3分居首。 结果表明任务表现不均且存在状态保持失败,预测耦合成功的能力尚待验证。
研究识别出长图文本对齐中的“显著性崩溃”失效模式,提出显著性感知微调框架 RoSA。该框架将图文对分解为显著与语境视图,结合对象级视觉显著性估计和 LLM 文本分解,通过辅助目标对齐不同视图。RoSA 在基准测试中显著改善了长文本检索性能,并展示了强健的抗显著性崩溃能力,其辅助目标可即插即用地提升现有微调方法的效果。