AnyMo 结合 Residual FSQ 与掩码建模 Transformer 实现任意模态条件人体运动生成
AnyMo 提出结合 Residual FSQ 运动 tokenizer 与可扩展掩码建模 Transformer 的统一框架,实现任意模态组合下的高保真人体运动生成。 框架基于 OmniHuMo 数据集构建,该数据集包含超 5,000 小时运动数据和 320 万条序列,带有文本、语音、音乐和轨迹等对齐的多模态标注。
AnyMo 提出结合 Residual FSQ 运动 tokenizer 与可扩展掩码建模 Transformer 的统一框架,实现任意模态组合下的高保真人体运动生成。 框架基于 OmniHuMo 数据集构建,该数据集包含超 5,000 小时运动数据和 320 万条序列,带有文本、语音、音乐和轨迹等对齐的多模态标注。
研究者介绍多模态地理空间基础模型 FLORO,旨在从较小但多样的遥感语料库中构建可迁移表示。模型预训练数据包含 Sentinel-1、Sentinel-2、SkySAT、高程和 UAV 数据,并引入 availability-aware 输入机制适配不同传感器配置。
论文提出免训练KV选择方法Focused Forcing,在多个自回归生成范式下实现最高1.48倍端到端加速,同时提升视觉质量与文本对齐效果。 该方法通过结合注意力分数与历史帧多样性分数进行内容感知逐帧选择,并依据估算的头部重要性分配预算。
研究团队提出基于视觉语言模型的粗到细异常奖励模型 CaC。它通过全局时间扫描锚定异常时间窗口,在局部区间内进行细粒度空间定位,并采用结构化时空思维链推理以得出判断。
研究提出UniDG统一缺陷生成模型及包含30万条数据的UDG数据集,用于异常检测中的视觉缺陷生成。 模型采用MM-DiT注意力融合多模态条件,经两阶段训练后,在合成质量及下游异常检测任务中优于现有少样本基线。
RPS-Serve 是一种模态感知调度框架,通过“岩石-鹅卵石-沙子”抽象解决多模态推理中的异构干扰。 该系统利用轻量级聚类将请求分类,并采用基于老化技术的优先级调度,相比分解式系统在平均性能上提高 GPU 利用率 65%,降低 TTFT 高达 9.3 倍。
ClueTracer 是一款无训练、无参数、架构无关的插件,可抑制大型多模态推理模型中的幻觉,并通过追踪问题到视觉线索的传播来定位任务相关区域。 该方法在推理基准上使包括 R1-OneVision、Ocean-R1 和 MM-Eureka 在内的所有推理架构性能提升 1.21 倍,无需额外训练。 该论文已被 EMNLP 2026 接收为 Oral 论文。
MedGemma-4b-it 使用 LoRA 微调后,在 6 种疾病诊断测试中准确率达 80.37%,超过未微调 GPT-4 的 69.56%。该开源模型在癌症和肺炎等高风险任务中表现出更高灵敏度。研究证实领域微调对减少临床幻觉至关重要。
PepEVOLVE 提出位置感知动态框架,同时学习编辑位点与多参数优化策略,以解决多肽先导化合物优化难题。 该框架结合动态掩码预训练与多臂老虎机路由,并在 Rev-binding 基准中超越 PepINVENT,平均优化评分达 0.8,最优候选物评分 0.97。 此方法实现了可复现的线性及大环多肽优化路径,加速了设计周期并提升多目标设计质量。
ADTT 通过显式对齐历史 triplanes 并预测残差变化,在 Occ3D-nus 上实现了 SOTA 预测性能。该方法采用 ego-motion 补偿,使用查询条件 Transformer 仅预测场景变化,从而减少参数并提高 FPS。代码已公开。
研究人员提出Bilevel Representations for Agent Interaction Dynamics(BRAID)模型,这是一种用于生成式多人交互的分层序贯潜在变量模型。 该模型将社会动作生成公式化为元迁移学习问题,通过组级和个体级潜在状态,实现全量、稀疏或部分观测下的连贯生成,并可用于社会预测、追踪及反应生成任务。
研究人员发布开源逐样本指标 MuQ-Eval,基于冻结 MuQ-310M 特征与 MusicEval 数据集训练。 该指标在系统级 SRCC 达 0.957,话轮级 SRCC 为 0.838,且在单张消费级 GPU 上支持实时运行。 LoRA 适配仅需 150 条数据即可实现个性化评估,优于现有开源基准。
Pharos-ESG 是一个统一框架,通过多模态解析、上下文叙事和分层标注将 ESG 报告转化为结构化表示,在实验中持续优于专用文档解析系统和通用多模态模型。 该框架整合基于布局流的阅读顺序建模模块、由目录锚点引导的层级感知分段,以及将视觉元素转化为连贯自然语言的多模态聚合流水线,并输出 ESG、GRI 和情感标签。
Invert4TVG 框架通过引入基于反转的时间视频定位(TVG)辅助目标,增强了模型对视频及查询中动作的理解能力。 该框架包含动词补全、动作识别和视频描述三类反转任务,并利用强化学习集成,在 Charades-STA 数据集上使 3B 模型的 R1@0.7 指标提升了 7.1%。
论文研究了基于多视频流的端到端行李再识别(ReID)管道,旨在解决真实环境中遮挡和杂乱背景导致的性能下降问题。 在真实环境基准数据集上评估了选择和合并不同视角及镜头的策略,以优化再识别性能。 该研究被2026年IEEE基于内容的多媒体索引会议(IEEE CBMI)接收。
WxCrop 是首个通过因果分析结合天气与农业信息可靠预测作物损失的智能体,在佛罗里达州针对飓风、冻害和干热进行了验证。 该模型利用保险记录校准损失模型,飓风指数检测 AUC 达 0.98,历史损失复现误差在 2% 以内,县级排名相关系数为 0.63。 智能体可向政府、农户和科学家提供每个作物组损失占预期季节价值比例的溯源数据,以快速应对农业灾害。
基于冻结特征探针,一项研究发现视觉基础模型中可见场景的强解读数,并不能确保物体持久性或未来特征检索的准确性。 在静态室内环境的流式自我中心观察研究中,四项能力分析显示物体持久性和可操作性依赖于相机位姿的解读数,而特征预测依赖于可见场景的解读数。 这项研究强调,评估空间表征不仅要看可解码的信息,还要看该信息是否能在观察后保持并用于目标导向行为。
在 PhysioNet 2012 和 MIMIC-IV 数据集测试中,该方法显著提升各项指标,其中神经系统功能障碍的 PR-AUC 从 0.461 提升至 0.557。 源代码将在论文被正式接收后公开发布。
针对X射线造影冠状血管分割在外部数据上性能不足的问题,该研究利用ARCADE数据集的nnU-Net预测和减影图像生成伪标签进行自训练。 在XCAD外部数据集上,该方法将宏平均Dice分数提高了2.7分(95% CI 2.3-3.2),而对照组下降0.6分。 结果表明自训练收益取决于生成初始伪标签模型的敏感度,且使用完全标注模型可显著提升无标注数据集性能。
TaskFrame 提出分层规划-控制框架,通过 GRPO 优化任务规划器并连接帧级键鼠控制。 规划器将目标分解为原子指令,其隐藏状态作为目标嵌入复用;因果 Transformer 控制器结合观测预测离散动作与连续相机运动。 实验显示,TaskFrame 在 Minecraft 闭环评估中的战斗成功率优于基线。
EventSeeColor 结合事件重建的灰度图与对齐事件,通过扩散模型实现单色事件数据的彩色重建。 该方法利用灰度语义上下文辅助颜色推理,并通过区域平衡色度监督改善颜色分布与纹理细节。 在两个真实事件数据集的外部方法对比中,EventSeeColor 在结构相似度和感知分数上表现最佳。
研究提出 LoCo,首个模型无关框架,用于定位自回归模型中视觉概念的生成位置与时机。 LoCoBench 数据集涵盖 10 个类别以系统评估概念路由,测试显示定位结果具有可解释性和因果关联。 该方法应用于概念擦除与个性化任务,实现最先进性能并大幅降低计算开销。
研究团队提出 MTG-AD 数据集与 MTG-AD-Eval 评估框架,用于提升视觉媒体对盲人和低视力用户的可访问性。 MTG-AD 包含 36 小时视频及 8000 余条由视障与明眼专家共同标注的描述,MTG-AD-Eval 通过生成音频轨道评估时序适配性。 实验显示,多模态大语言模型虽能减少语音重叠,但在叙事节奏上仍有差距;自动指标与人类评分显著相关,该成果已发表于 NeurIPS 2026。
针对 LiDAR 3D 感知模型在自动驾驶与机器人领域部署前需进行对抗输入压力测试的需求,LiDAR-SHIELD 提出了一个完全 Docker 化的统一评估框架。
研究发现视觉语言模型在 3D 推理中难以一致利用物体属性,新基准 BedBench 显示其在按颜色计数任务上准确率仅 7.2%,而人类达到 93.3%。 针对微调模型 3.0% 至 68.6% 的准确率提升仍伴随内部不一致,探测 Qwen3.5-27B 表明精确计数可恢复但极少被采纳。 文章建议评估 3D 推理需关注精确正确性、一致使用性及图像依赖性,代码和数据集已公开。
研究发现全局匹配导致语义错配,可使新类别准确率被高估达25.63分。 论文提出保留旧类别语义的评估法(SPE),并引入失配缓解优化(MMO)以减少预测误差。 理论证明该方法能收紧虚假增益上界,实证结果验证了其在不同匹配方式下的有效性。
视觉语言模型中,文本人设无法使模型像被描述的群体一样感知,甚至不及简单规则表现。 测试14个模型发现,描述模糊未改变识别结果,而模糊照片会降低识别率,模型能估算模糊影响却无法在回答中体现。
WorldFlow 是一个生成式世界模型,通过统一的 Mixture-of-Transformers (MoT) 骨干联合预测未来视频和基于查询的 3D 轨迹,解决了现有模型 3D 动力学隐式及动作绑定特定机器人配置的问题。
DeCoRL 是一个强化学习框架,将整体一致性分解为对象级一致性,以提升多图合成(MICo)质量。 该方法通过定位参考图像中的对象对应区域,并利用基于 VLM 的奖励模型生成细粒度反馈,以此引导后续训练。 实验在 DeCo-Bench 和 MICo-Bench 上显示,该方法在多图合成一致性方面带来了持续提升。
研究提出加权 t-SNE 方法,通过修改嵌入空间中数据点关系来反映特征评分器赋予的特征重要性,并提议使用轮廓系数对结果进行数值评估。 实验在合成和真实表格数据上测试了包括互信息和神经网络在内的 9 种特征评分器,展示了加权 t-SNE 在比较评分器、选择最优方法以及增强机器学习模型可解释性方面的应用。 加权 t-SNE 能够直观呈现特征重要性及模型对数据的组织方式,从而提升机器学习模型的可解释性。
PACK3D 将局部注意力与压缩远程上下文分离,使用基于真实 token 网格坐标的轴向 RoPE,避免仅依赖序列位置导致的几何信息丢失。在合成任务和 Allen WTC-11 数据上,该方法优于参数匹配的 3D U-Net 基线,且融合 Triton 实现在 65k tokens 下保持窗口注意力延迟。该算子已被 NeurIPS 2026 接收,证明其在大规模训练中的可行性。
该研究通过三项实验(N=395)实证评估了融合人类与机器维度的人工智能人格模型(APM),并开发了专门的人格问卷(APQ)。 研究发现宜人性等人类维度可部分迁移,且特定机器维度影响了用户满意度与社会临场感,而BFI-2量表在该场景下可靠性不足。 该成果为对话智能体的设计提供了经过实证检验的理论框架与测量工具。
summary_zh: 研究团队发布 SpaceAct 基准,通过闭环物理行动评估多模态大语言模型在 3D 空间中的时空推理能力。该基准包含 108 个验证实例和 36 个任务族,去除了特权坐标。
该研究提出结合任务、时间与空间记忆的时空架构,用于 8B 级模型的零样本视觉语言导航。 在 R2R-CE val-unseen 基准中,该系统优于 Qwen3 基线,且移除时间记忆会使平均路径长度从 16.9m 激增至 39.1m。 在 Unitree Go2 机器人实验及 LAW2 评估中,该方法展现了比后训练基线更高的成功率与更好的指令遵循能力。
该手册面向熟悉神经网络训练的新手,系统讲解音乐音频生成方法。 涵盖神经音频编解码、扩散模型及偏好优化,结合实例解析训练目标。 内容关联乐器生成、歌唱编辑等应用场景,并评估数据溯源与法律风险。
The Prestige 提出通过专业魔术表演评测认知视觉推理的视频理解基准,测试模型对意外结果事件的跟踪与解释能力。该基准包含从时序因果理解到对抗性问题鲁棒性的开放问答题,评估显示最强视觉语言模型与人类表现存在显著差距。研究还发现自动化评分与人类评分存在系统性偏差,且模型在多选题正确但独立解释失败的情况下依然存在,凸显了视频理解评测的局限。
研究提出 Jailbreak Connectivity 框架,通过优化连续对抗路径生成多样化越狱图像,在 MM-SafetyBench 上对 Qwen3-VL-8B-Instruct 等模型的平均攻击成功率达 84.01% 至 97.95%。
该基准测试包含345条球弹跳和击球标注,涵盖8段混合视角视频。使用冻结开发集和测试集,评估了监督式检测器、零样本视觉语言模型和RallyArb仲裁层。 监督式检测器在转播视频上表现近乎完美,但在手机和场地级别视频上表现极差,E2E-Spot的弹跳F1仅为0.130。
一项针对自闭症家庭使用智能家居的定性研究发现,技术既可通过环境输出调整提供支持,也可能因感官强度成为障碍。 研究基于 5 名照顾者访谈及小红书、微博帖子,提出“关系适配”和“受监控的独立性”等概念。 研究指出了可调整交互、可读性故障恢复等设计启示,以平衡安全、隐私与控制。
基于 Mamba 架构的九种地震基础模型在 300 万窗口数据集上训练,结果表明改变自监督目标仅重分配下游技能而非提升整体能力。 模型增强掩码压力使少样本 P 波拾取精度提升 6.9 分,但少样本分类准确率下降 9.6 分,未实现通用化。 在少样本场景下优于任务专用基线,但全量数据下表现落后,核心瓶颈在于缺乏跨事件的学习目标。