预测还是惯性?世界模型的预测评分忽视了什么
预训练视频世界模型的预测评分混淆了编码器质量、近未来与近期过去的相似性及预测器贡献。 在27,000次家庭第一人称视频未来检索试验中,V-JEPA 2.1的预测器贡献了+0.291的top-1准确率,而V-JEPA 2仅贡献+0.03至+0.04。 作者建议将预测评分与其持续性基线一同报告,该差距是使数字可解释的必要检查。
预训练视频世界模型的预测评分混淆了编码器质量、近未来与近期过去的相似性及预测器贡献。 在27,000次家庭第一人称视频未来检索试验中,V-JEPA 2.1的预测器贡献了+0.291的top-1准确率,而V-JEPA 2仅贡献+0.03至+0.04。 作者建议将预测评分与其持续性基线一同报告,该差距是使数字可解释的必要检查。
审计显示5个开源医疗VLM在气胸检测上暴露严重缺陷,聚合准确率掩盖了单病种诊断的完全失败。 HuatuoGPT-Vision和Qwen2.5-VL在气胸病例上检测率为零,而MedGemma检测率为38%,该失败在独立数据集上复现且非由提示词或模型规模导致。 需报告各病种的召回率与特异性,以区分模型是否真正识别了特定医疗发现。
Sophon 是一个开源程序化诊断工具,揭示开放权重视觉-语言模型在剥离先验后空间推理准确率骤降至47-52%,远低于前沿模型的77-83%。 研究发现瓶颈在于路由机制而非能力缺失,通过针对中间层工作区的LoRA微调,可使7B级模型达到前沿模型的聚合准确率。
研究指出分词器对比需解耦粒度、词根分配与词级读出。在阿马拉语实体识别中,真实词根分配提升 F1 达 4.9 点,且词根频率结构解释力有限。 小模型中读出选择可致 F1 波动 13.4 点并反转对比符号,而预训练编码器中该影响小于 1 点。建议分解分词器效应并报告读出方式。
研究人员提出 MS-rPPG,一种结合 RGB 与近红外视频的多光谱 rPPG 框架,旨在提升复杂光照和头部运动下的心率估计鲁棒性。 框架采用跨光谱线性调制策略与 MS-Mamba 状态空间模型,捕捉长程时序依赖和跨通道交互。实验在 MS-Drive 和 MR-NIRP Car 数据集上验证了其优于既有方法的心率估计准确性。
研究提出多层组合融合(MCF)框架,利用眼动数据预测人类偏好决策。 该框架通过迭代组合模型并基于认知多样性缩减,显著提升了分类性能。 最优单模型 Pre@k 为 0.90,经 MCF 两层处理后提升至 0.9286。
研究发现,在医疗多选问答中,Qwen2.5-7B和Jais模型的原始概率存在过度自信,单一温度参数可消除82%至93%的期望校准误差。 两个模型在4种设置下精度分别为0.561/0.430(Qwen)和0.369/0.308(Jais);保形预测达到90%覆盖率时,选项集平均包含63%至89%的选项。
该研究提出一种无需分类目标的数据集蒸馏方法,通过在特征提取器的潜空间中“漂移”合成样本,使其既靠近真实数据又相互远离,从而直接近似每类数据分布。 实验表明,该方法生成的漂移数据对真实分布的覆盖度显著优于现有方法,且能作为强大的分类训练样本,并可扩展至图像之外的其他模态。 该方法推动了数据集蒸馏的前沿发展,提供了新颖的合成分数和基于分布的互补评估指标。
提出分解式 JEPA(D-JEPA)框架,将隐空间分解为对齐共享核心与私有模态特征,解决信息不对称导致的语义坍缩。 证明对齐冗余界,显示纯对齐目标会抹除私有结构与协同效应。D-JEPA 在组合推理基准上优于基线,恢复正向多模态协同间隙。 通过信息论审计与因果纤维交换干预,证实恢复的信息在私有特征中因果定位。
DRAMA 通过无训练加速框架,实现多模态扩散大语言模型(dLLM)平均 18.67 倍推理加速。 其基于空间感知视觉token剪枝(SVTP)与充分性引导自适应停止(SGAS),无需架构修改。 该方法已被 NeurIPS 2026 接收。
提出 DR-Diff 框架,通过函数梯度法构建伪目标,高效微调预训练条件扩散模型以解决训练数据中的虚假相关性。 该框架具备伪双重稳健性,能抵御密度比估计误差和基础模型误设;实验显示其在合成数据集上达到从头训练的噪声预测精度,并缓解分类任务中的组间差异。
论文提出一种基于期望覆盖概率的可微分损失函数,仅需样本即可校准条件生成模型,无需密度估计或架构修改。 该方法被证明是严格散度,当且仅当模型等于真实后验时消失;在高维成像逆问题中,其校准性能优于评分规则正则化器,点估计重构质量变化不大。
Curiosity-0826-4B 是新一代生成式医疗事件基础模型,基于 Epic Cosmos 训练。该模型参数量从 1B 升级至 4.3B,上下文窗口从 8K 扩展至 16K,实验室指标预测误差降低 18%-46%。 其儿童队列哮喘诊断 AUROC 达 0.742-0.785,成人死亡率预测 AUROC 0.821-0.942。无需额外训练即可通过零样本策略预测临床事件。
提出 SpaceMCP 框架,利用前馈 3D 重建与开放词汇分割实时构建场景图,通过 MCP 风格的结构化函数调用增强 VLM 的空间推理能力。 无需训练即在 VSI-Bench、MMSI-Bench 和 VSTI-Bench 上取得 SOTA 结果,较基础 VLM 提升 15-22 分。 该范式为克服原生 VLM 空间推理进展缓慢提供了有前景的路径。
研究首次对天文学基础模型 AION-1 进行因果机制可解释性分析,揭示其多模态红移预测优势主要源于编码器前 12 个 block 中的第一个。 研究发现空间延展性通过单个 attention head 线性解码但可分布式恢复;而尘埃消光由单个 head 主导,移除后优势显著丧失。
GLCR 方法在 HeteroSignal-7 基准上取得 96.16% 的路由准确率,超越所有 19 个基线模型。 该方法采用轻量 1D CNN 与梯度提升树的两阶段架构,推理延迟低至 1.43 ms,并将系统 FLOPs 降低 5.9 倍。 代码已公开,为电磁信号处理中的异构专家路由提供了高效且可复现的基线。
研究者评估了 GPT-2 风格 EHR 模型在 MIMIC-IV 训练下的记忆化风险,结果显示队列层面存在微弱记忆化,但在评估攻击下未发现可靠的病人级别数据泄露。
KQML-Liver框架结合量子机器学习与Kolmogorov-Arnold网络,在印度肝病患者数据集上实现82%分类准确率和100%召回率。该模型通过参数化量子电路与可解释的KAN功能映射捕捉非线性关系,有效防止数据泄漏并优于现有基线,为可解释的AI辅助医疗诊断提供新方向。
AROMA 提出冻结 VLM 控制框架,在 Llama-3.2-11B-Vision-Instruct 上,四维因果验证将程序化数据精确计数准确率提升 8.00 pp。 迭代最小努力驱动(MEA)达到 81.25% 的 oracle 目标,优于固定方向的 15.18%;在 7,992 个样本中,仅编辑 63 个输入即取得 65.741% 准确率。
皮肤游戏道具 SkinCast 实现未发售皮肤 180 天销售预测,RMSE 较 Informer 基线降低 20%。 系统采用 Informer、图嵌入及轻量 Transformer 编码,推理 p99 延迟低于 8ms 且吞吐量超 1100 rps。 该框架已投入生产一个完整发布周期,支持多候选皮肤 ROI 排名。
研究团队推出单一编码器基础模型 CARMEN,在 227 万模态小时的十种循环呼吸波形上无监督预训练,覆盖动脉、静脉及呼吸机等信号。 模型支持 10 秒至 5 分钟的任意共记录信号组合,引入 LSCNorm 机制恢复绝对信号水平,使术中低血压检测 AUROC 从 0.780 回升至 0.894。 在 19 项任务中,冻结编码器在 12 项上优于监督模型,并在多数对比中匹敌或超越专用信号基础模型。
Google DeepMind 发布 Gemini 4 Hydrogen,提供 1M token 上下文,定价为 150 美元 / M input token 和 750 美元 / M output token。
Hugging Face 发布 TRELLIS.2 3D 模型微调脚本与容器,支持本地及 HF Jobs 运行。 脚本基于 PEFT 库实施 LoRA 微调,冻结原权重以节省显存,仅针对鞋类几何误差优化。
Google 研究团队发布调查性框架,引入可指导健康年龄(CHA)模型与传感器世界模型(SensorWM)。 该框架基于 228 万人周 Fitbit 数据,模拟 12 周“如果改变习惯”的健康轨迹,并生成经临床验证的个性化指导计划。 框架旨在连接健康追踪与主动改善,帮助逆转心血管、肾脏及代谢疾病风险。
Google DeepMind 发布下一代 DNA 序列模型 AlphaGenome 2,该模型通过条件化架构实现了对数百种人体细胞类型的基因表达预测。AlphaGenome 2 在识别改变基因表达的变异方面性能显著提升,在 TenK10K 数据集上发现的因果变异比例从 16% 提升至 30%。
推荐理由:新架构将基因变异预测从组织平均扩展到单个细胞类型,为定位复杂疾病关键变异提供更高精度工具。
研究对语音转SFT流水线进行因子消融,验证各阶段边际价值。 基于2x2设计生成韩医金融QA数据,微调9个LLM(2.4B-70B)。四项LLM评判显示质量提升,但MCQA增益不显著。正向迁移集中于匹配模型-领域对。 6名专家确认全流程质量更高。Whisper-medium替换验证鲁棒性。开源代码及检查点。
Walrus 是一个基于 Gemma 4 初始化的 8B 统一语音与音频基础模型,支持 ASR、翻译、TTS 等 20 多项任务及 100 种语言。 该模型采用数据为中心的训练策略,通过三阶段课程学习平衡不同任务,预测低比特率离散语音 token 并由轻量解码器转波形。 在多数多语言、多说话人基准上领先同级开源模型及专用模型,性能匹配或超越 4 倍大小的 Qwen3-Omni。
AVCC是一个31小时的单摄像头单麦克风视觉语音对话语料库,用于多方下一位说话人预测(NSP)公开基准。 该语料库包含双人和三人在线对话,带有词级强制对齐转录文本,并新增了一个说话人不相交的七段视频测试划分,包含865个保持静默和865个切换静默事件,以及在相同事件上收集的人类参考基准。
Alania-2 是一款 488M 参数的土耳其语 TTS 系统,支持即时与微调语音克隆。 该模型基于 18,195 小时音频训练,在 Freya-TR-Eval 基准上词错误率为 1.44%,推理首音频延迟降至 32ms。 团队开源了评估框架及三个土耳其语音和文本数据集。
提出基于多LLM基准的IFRS合规验证框架,构建含19,998条监管披露对的基准测试集。 集成分类器在分歧集上达到81.7%加权F1值,超出最强单LLM 10.4个百分点。 数据集、模型检查点及分类器实现将公开发布。
提出 TimeOmni-o1 模型,通过双向耦合预训练时序基础模型(TSFM)与大语言模型(LLM),实现同一架构对时序与文本的读取及生成。该模型利用 TSFM 压缩编码时序供 LLM 结合文本推理,并将 LLM 推理结果反馈给 TSFM 生成条件预测。模型在包含 50 万+ 样本的 12 领域多模态数据集 MMTR 上,优于单独使用的 LLM、TSFM 及其他专用时序模型。
summary_zh: 研究指出,Thyme 和 DeepEyesV2 等多模态智能体在引入工具调用后,并未带来一致的整体性能提升,也未可靠降低生成 Token 成本。
PaGeR 框架通过混合视角与全景图像训练,在单次前向传播中统一预测尺度不变深度、度量深度、表面法线及天空掩码。该策略保持底层预训练 Transformer 架构变更最小化,保留丰富的 3D 先验,实现了几何一致的 360 度场景重建。PaGeR 在室内外环境中表现出 SOTA 性能及优秀的零样本泛化能力,代码与模型已开源。
AnyMo 提出感知几何的设置无关框架,通过物理基础 IMU 模拟生成合成信号,预训练图编码器并与 LLM 对齐,实现野外人体运动建模。 在零样本活动识别、跨模态检索和可穿戴 IMU 运动描述任务中,AnyMo 平均 Accuracy/F1/R@2 提升 11.7%/11.6%/22.6%,零样本 IMU-文本检索 MRR 提升 15.9% 和 28.6%。
研究团队推出 DermaVQA-DAS 数据集及 Dermatology Assessment Schema (DAS) 架构,支持患者自产皮肤病图像的闭式问答与皮损分割,包含 36 个高层级和 27 个细粒度评估问题。
论文提出 Pygmalion Effect in Vision 框架,通过图像到黏土翻译处理反射对象,利用 BRDF 反射分支与黏土引导分支共享几何但独立渲染的设计,在合成及真实数据集上同步提升几何与光度指标。 该框架引入“去光化”归纳偏置,将辐射度转化为中性指导,为反射对象几何学习提供无反射几何辅助,已被 NeurIPS 2026 接收。
提出基于图注意力的去中心化 Actor-Critic(GADC)方法,优化多无人机系统双目标:最大化服务覆盖为主,延长电池寿命为辅。 利用图注意力网络处理有限局部观测以降低环境状态维度,并采用 KL 散度因子平衡覆盖性能与电池寿命的权衡。 在理想设置及 NVIDIA Sionna 实时射线追踪环境中测试,GADC 相比 SOTA 方法表现更优,验证了其可扩展性与效率。
Einstein World Models 提出一种 LLM 推理框架,允许模型在推理过程中调用世界模块生成视觉时间线滚动,以支持超越语言限制的反事实思考。 该框架将视觉输出视为可检验的假设而非直接答案,扩展了 LLM 的工具调用能力至视觉思维实验领域。
适配 DINOv2 基础模型在外部数据集上泛化优于从头训练的 U-Net 和 ResU-Net。 训练分布内任务特定模型边界更精准,基础模型易漏检小病灶,所需适配容量由成像领域决定。 跨站点应用时需适配基础模型,容量应针对目标领域选择。
研究者提出结合学生-教师训练与 EM-DETR 框架,通过整合异构医疗图像数据集构建跨模态病灶检测基础模型,以缓解灾难性遗忘并提升泛化能力。 在胸片(CXR)中,该模型图像级 AUC 超先前 SOTA 1%,mAP50 比单数据集训练 EM-DETR 高 2-3 点,同样领先于乳腺影像组。 此方法为利用异构数据构建可扩展、高鲁棒性的医疗影像基础模型提供路径。