HiLo-RD:用于掩码扩散语言模型的跨预算自蒸馏
提出 HiLo-RD 以改进受限生成预算下的掩码扩散语言模型,通过跨预算自蒸馏解决预算引发的过早承诺问题。 方法将大窗口教师状态与裁剪的小窗口视图配对,匹配已提交位置的隐藏表示,无需外部教师即可指导 token 预测与提交顺序。 在 GSM8K 上准确率提升 9.4 个百分点,平均可读长度缩短约 25%,且在无代码领域训练情况下优势延伸至代码生成。
提出 HiLo-RD 以改进受限生成预算下的掩码扩散语言模型,通过跨预算自蒸馏解决预算引发的过早承诺问题。 方法将大窗口教师状态与裁剪的小窗口视图配对,匹配已提交位置的隐藏表示,无需外部教师即可指导 token 预测与提交顺序。 在 GSM8K 上准确率提升 9.4 个百分点,平均可读长度缩短约 25%,且在无代码领域训练情况下优势延伸至代码生成。
TALOR 是一种轻量级、无反向传播的纠偏模块,用于开集测试时自适应,以源线性头为几何锚点。 该模块将特征分解为主坐标和尾坐标,利用加权岭回归在主要子空间中估计软路由仿射校正,并减去漂移估计。 在 ImageNet-C 基准上,TALOR 比 UniEnt 高出 2.2% H-score,运行速度快 2.5 倍,且仅使用其 12% 的 GPU 内存。
研究者审计了51个涵盖219种语言的多语言基准,指出覆盖广但单薄,36%的语言仅被单一基准评估,且高资源语言评测任务数远超低资源语言。 56%的数据集通过翻译英语构建,导致文化代表性不足,且存在基准污染问题。 作者建议构建原生、文化扎根且抗污染的评价框架,以更好地服务语言社区。
DocXEval 是一个首个针对多模态文档理解场景的可解释性评估框架。该框架系统评估了 13 种 XAI 方法在 3 类任务、8 个数据集及 4 个模型上的表现。 研究涵盖 17 项评估指标,发现 Occlusion 方法在忠实度和可解释性上表现最优。 该工作为多模态文档理解领域的可解释性研究提供了基准与实用指南,代码已公开。
DocSkill 是结合技能编排策略的智能体框架,基于 Qwen3-VL-8B 在 MMHop-DocBench 上准确率 41.0、F1 达 49.2。 利用有界 MCTS 生成轨迹进行 SFT 和 DPO 优化,该基准包含 10 种语言、8 个文档领域的 60K 问答对。 相比最强基线提升 5.5 点准确率和 6.3 点 F1。
EVA-Flow 提出统一框架生成环境感知分子构象,在数据稀缺的晶格等场景中提升最大。 该模型通过预训练与跨环境微调学习共享化学结构,覆盖广泛溶剂化构象。 已被 Transactions on Machine Learning Research (TMLR) 2026 录用。
研究团队提出 MUMINS 扩散框架,通过单次反向扩散过程联合生成基线扫描与随访残差,并同步预测空间不确定性图。 该方法在去噪步骤动态注入基线软锚点以保持解剖细节,利用负对数似然头显式标记易错区域。 无需器官特定启发式,MUMINS 在肺 CT 和脑 MRI 数据集上的表现匹配或优于专用最先进方法。
扩散生成框架成功重构了 NO2、O3 及 PM 等四类污染物分布,在巴黎 9 至 28 个监测站数据中表现优异。 模型利用全场模拟数据训练,通过数据增强方法实现无需重训练即可迁移至真实观测,并生成了逼真的空间图案。
工业级系统TokenMinds扩展PLUM框架,通过生成式序列建模将SID用于用户表示,其双输出设计结合密集嵌入与离散SID用户令牌,保留多项兴趣。 该系统统一长短视频语义,减少上游计算50%与31%,并直接在观看历史中插入文本查询以捕捉意图。 在YouTube线上A/B测试中,SID令牌单独有效,与密集嵌入叠加增益显著,整体表现优于上一代非LLM用户模型。
DifFRACT 扩展了基于 transcoder 的电路追踪方法,将其应用于 MM-DiT 模型,通过训练 timestep-conditioned transcoders 近似 FLUX.1[schnell] 中 MLP 子层行为。
ST-AudioLM 发布针对动态声源的空间时间音频 QA 数据集与模型,在平衡语义保持与定位能力上优于静态及定位基准。 该模型联合学习事件语义与时间解析声源轨迹,并展示在真实录音中的零样本迁移能力。 此项工作入选 EMNLP 2026 主会议,旨在填补音频语言模型在时空推理上的缺口。
研究发现视频世界模型潜空间中的动作相关性主要由时序视频预训练驱动,而非像素重建保真度。 强像素解码质量模型的动作可恢复性可能接近零,而视频预训练的自监督编码器在视觉保真度与动作预测间达成最佳帕累托权衡。 时序预测结构是动作相关视频表征的核心要素,且逆动力学监督可显著提升对视觉损坏的鲁棒性。
提出DRIFT框架,结合基础预测器与基于流匹配的生成细化模块,将全局输出分布建模转化为围绕强先验的局部残差分布建模,以适配视觉语言模型的连续解码任务。 该框架在包括视觉定位和机器人控制在内的感知与规划任务上进行评估,在跨MLLMs、VLAs和WAMs的多种架构中,持续优于基于回归和生成的强基线方案。
研究引入静态规划器-执行器框架PlanAhead,评估4种自然语言规划表示对LLM网页智能体性能的影响。实验在3个难度级别的WebArena任务中,系统测试了包括顺序子目标、叙述、伪代码和检查表在内的4种规划表示。结果显示,规划形式的制定和底层LLM均显著影响网页智能体的稳健性和任务成功率。
AmaraSpatial-10K发布包含10,071个合成3D资产的数据集,经标准化处理支持直接摄取。 该数据集提供度量化.glb文件、凸碰撞包络及多模态元数据,并引入评估套件。 实验显示其CLIP Recall@5较Objaverse提升3.4倍,在Habitat-Sim静态测试中达成99.1%稳定性。
提出 LFPO 框架解决 dLLMs 强化学习难问题,通过离散速度对齐实现稳定低方差更新。 该框架直接优化去噪 logits,从中间状态预测终端解以拉直生成轨迹,减少去噪迭代。 在推理和编码基准测试中,LFPO 准确率持平或超越似然基线并显著加速推理。
summary_zh: SQuID基准包含587张0.3至1.0m分辨率图像及2000个问题,旨在评估VLM在定量空间推理中的表现。 最佳端到端VLM零样本准确率仅28.1%,而QASR基线达42.0%;在参考掩码下其准确率升至82.6%,且微调Qwen2.5-VL-7B可将准确率从16.1%提升至40.7%。
研究提出将世界建模转化为视觉问答问题,通过监督微调训练视觉语言模型预测任务相关的语义信息,而非重建未来像素。该方法在模拟机器人任务中验证,相比传统的基于重建的动作风条件世界模型范式取得了性能提升。
针对MIMO Turbo接收器中导频短或信道模型失配导致的性能退化,研究人员提出EXT-ICLNet,一种基于Transformer的检测器。该模型将导频作为in-context examples,直接逼近符号外发后验分布,无需显式信道估计,且通过log-domain prior skip connection兼容现有Turbo接收器。
SSR策略通过子模覆盖最大化,在百万级数据池中仅用30%(约78万)数据即达全量训练99.1%的性能,且具备跨模型和跨数据池的免训练迁移能力。 该策略利用交互风格(Style)代理结构多样性,并将数据质量分解为能力特定分数(Scores),在LLaVA-1.5和LLaVA-OneVision架构上均表现优越。 SSR是首个在百万级规模验证的数据选择方法,显著降低了多模态模型微调的数据需求。
基于 MedHallu 及 HealthBench 等数据集的研究发现,目前主流的医疗 AI 评分标准方法存在系统性盲区,未能有效捕捉相关幻觉错误。 该研究指出,评分标准在检查明确事实时较为有效,但难以识别计划外或额外的错误。引入检索型事实性检查可修复部分评分标准无法检测的盲区。
提出 CLEAR 框架,用于多模态会话情感识别(ERC),在 IEMOCAP 和 MELD 数据集上取得有竞争力的性能。 该框架通过耦合多模态上下文表征与局部判别线索来改进情绪预测,采用情绪监督视觉语言模型(VLM)的连续内部表征替代生成的情绪标签,并利用样本自适应残差耦合动态整合文本和声学证据。代码已公开。
多模态大模型在视频理解中常因缺乏机制重访视觉证据而导致视觉遗忘。VideoLVR 通过构建局部区域的潜在视觉证据来支持中间推理步骤,并引入视觉 token 预测目标,将视觉重建与文本生成统一在相同的 token 预测框架中。
Gym-Anything-RT 构建 100 个实时视觉迷你游戏,用于评测视觉语言智能体在动态环境下的交互能力。 该基准通过智能体管道基于 6 项核心能力自动生成环境,支持在实时、暂停或减速模式下进行受控对比实验。 GPT-6 Astra 在实时模式下通过率仅 9.0%,暂停后升至 75.0%;研究揭示了智能体在实时交互中存在的能力缺口及规避感知的编码行为。
研究团队提出 PerceptRL 框架,通过感知强化学习和多轮感知 Agentic 强化学习,将稠密图像描述转化为可验证的 QA 奖励,解决多模态大模型在感知层面的瓶颈。
GCSR-OCC 结合几何校准与多模态查询条件语义路由,实现基于单张 RGB 图像的室内占用预测。 该方法包含 EC-G2O 算子和 MM-QGSR 路由机制,通过内核质量归一化和 p-范数聚合抑制尺度膨胀。 无需 3D 语义标注,在 Occ-ScanNet 上取得 63.31% 几何 IoU 和 27.44% 语义 mIoU 的 SOTA 性能。
该三阶段框架通过解剖学匹配生成伪配对,结合对抗扩散模型与3D细化,实现了脊柱MRI到CT的图像转换。 在10,000多张未配对切片上训练,在83个卷上评估,3D椎骨Dice系数从0.666提升至0.739。 该方案有助于减少术前评估的辐射暴露,改善跨切片连贯性,支持术前规划。
LBS模型通过GUI接地轨迹监督初始化结合强化学习,在固定推理设置下优于Qwen3.5-35B-A3B和Qwen3.8-27B基线。 模型在PerceptionBench、HR-Bench和ChartQAPro上展现超越GUI特定模仿的泛化收益,代码与模型已公开。
研究人员提出 EvidenceConnect 数据合成框架,通过 RLVR 训练得出 ZwZ2 模型。 该框架利用单图放大区域生成对比、聚合类问题,并采用独立 VLM 共识与区域消融测试确保数据质量。 ZwZ2 在细粒度感知、空间推理及多模态长上下文理解等任务上均取得提升,增强了可泛化性。
V-LUMEN通过冻结码本离散化视觉特征及空间感知哈希,为视觉语言模型引入非参数化的视觉查找记忆,检索嵌入经门控残差通路融入骨干网络。 该方法在五个推理密集型基准上显著提升了冻结的Qwen3-VL-2B性能,并零样本迁移至三个图像不重叠的基准。 文章指出外部视觉记忆是独立容量轴,代码已开源,论文被NeurIPS 2026接收。
该论文提出 LearnPrunerV2,通过引入可学习模块与影子 token,解决现有 Token 剪枝中判据不可靠及调度僵化的问题,在 LLaVA-v1.5 上剪枝 77.8% 视觉 token 仍保留 99.8% 性能。模型通过 Budget-Deterministic Pruning 建立硬件友好的固定每层预算调度,并在多个基准测试中持续超越先前最先进方法。
PailitaoMMSearch 2.0 已部署于淘宝拍立淘多模态搜索应用,通过数据、意图和场景三维度的规模化扩展,实现了从原始图像和自由指令直接生成商品语义 ID。在线 A/B 测试显示,商品浏览量提升 17.90%,交易额提升 27.04%,GMV 提升 8.94%。
基于 LLaMA-Omni 架构,研究者构建了首个开源巴斯克语 Speech Language Model。该系统采用 Latxa 模型作为骨干网络,通过微调多个模块将文本能力迁移至语音模态,并基于英语语料翻译生成合成数据以解决数据稀缺问题。评估结果显示,系统的内容质量得分为 3.86/5,语音清晰度 WER 为 9.94%,音质 UTMOS 为 3.07。
AdaGround 是一种无需训练的 GUI 定位框架,包含 Token 归一化自适应缩放、验证器闭环优化及组合结构定位三个组件。该框架利用模型对目标大小的估计来设置放大倍率、视野和缩放深度,并通过标记点击的 Yes/No 验证器来决定接受或拒绝每次缩放、在缩放链之间进行选择,以及何时进行弃权。
LOWN 解码法在无需训练的情况下,将 LLaDA-V 的解码计算量降低至平均 35.3%,同时保持 99.6% 的基准测试分数。 该方法通过预测无图像预测与条件预测的一致性,自适应决定每步是否处理图像及解掩码数量,且可与视觉 token 剪枝正交组合。 LOWN 泛化至 LLaDA 系列扩散视觉语言模型,并在 key-value caching 下进一步提升效率,代码已开源。
Tap2Listen提出了一种流式视听目标说话人提取模型,支持即时切换目标说话人。 该模型将计算按模态分离,音频编码器处理混合信号,视觉线索仅作为解码器条件,切换仅需0.12ms重新投影。 在LRS3-2mix测试集上,SI-SNRi从8.85 dB提升至9.68 dB,且可在单CPU核心上实时运行。
提出利用视频基础模型先验的FrameForge,实现统一条件图像生成。 采用Mixture of Temporal Experts (MoTE) 动态选择时间RoPE专家,配合Chain of Temporal Reasoning (CoTR) 通过潜在中间态和推理瓶颈注意力掩码建模条件到目标的转换。
研究团队提出 SOMA 基准,包含 1,632 个经人工验证的问题,用于评估多模态大语言模型(MLLMs)在细粒度人体运动理解上的表现。 评测覆盖 37 个主流闭源、开源及专用 MLLMs。
研究发现,主流视觉语言模型在执行人脸种族与性取向转换任务时,生成的图像在统计上可区分且常强化刻板印象。 这些生成过程中的表征偏差会重现于文本推理与人物特征描述任务,并延伸至犯罪嫌疑人的画像生成。 该研究已被EMNLP 2026主会议接收。
summary_zh: CrossProfile 基准指出,在隐藏特征任务中,基于相关性或罕见性的记忆筛选策略均存在显著缺陷。 相关性筛选会引入干扰项,相比罕见性筛选在经典配置下损失 23 至 31 分;罕见性筛选平均效果等同于随机选择,且决策模型中社会证明效应导致额外误差。