Taming the Entropy Cliff: Variable Codebook Size Quantization for Autoregressive Visual Generation
论文提出 Variable Codebook Size Quantization (VCQ) 方法,将码本大小沿序列从 2 单调增至最大值,解决了自回归视觉生成中的 Entropy Cliff 问题。
论文提出 Variable Codebook Size Quantization (VCQ) 方法,将码本大小沿序列从 2 单调增至最大值,解决了自回归视觉生成中的 Entropy Cliff 问题。
提出 MeanFlow-Transfer (MF-T) 和 Continuous Adversarial MeanFlow (CAMF),将任意参数化的预训练模型压缩为少步 MeanFlow 生成器。
summary_zh: VTAM 提出一种无需触觉或动作预训练的高效视触世界-动作模型,在四个真实机器人任务和八个 UniVTAC 仿真任务中超越所有未使用触觉预训练的基线。
针对扩散多模态大模型(dMLLMs)并行解码中视觉锚点重叠导致的冗余问题,提出无训练时的推理方法视觉冗余受控解码(VRCD)。 VRCD利用token-图像注意力机制优先选择视觉互补的位置,在多个多模态基准测试中降低视觉冗余,相比置信度解码在M^3CoT和MMBench上分别提升准确率18.8%和6.9%。
研究团队提出首个流式视频眼动引导基准 StreamGaze,用于评估多模态大语言模型在时序与主动推理中对人类视线信号的利用能力。 该基准包含过去、现在和主动三类任务,并配套构建了结合凝视轨迹生成时空对齐问答数据的处理流水线。 实验显示当前多模态大语言模型性能与人类存在显著差距,暴露出视线时序推理与意图建模的局限,相关数据与代码已公开。
ChatGPT 能基于卫星图像对贫困等级进行排序,其准确率与使用人类专家特征训练的模型相当,且优于此前报道的专家直接财富分类。 研究采用成对比较方法评估 LLM 在分析人类贫困中的表现,并探讨了公开数据集 DHS 中位置坐标去噪处理对财富指数提取可靠性的影响。 该研究为贫困评估工作流程中整合 LLM 提供了基础,并为成本效益更高的大规模贫困监测开辟了新途径。
RAVEN 利用递归感知预训练策略,在包含超 100 万独立个体的数据集上学习自回归生成临床事件,零-shot 预测性能超越标准下一词元模型并比肩微调表示模型。 该模型在数据受限、算力饱和场景下验证了单纯增大模型尺寸并非最优策略,且能泛化至外部患者队列。
DUEL 框架统一了确定性掩码扩散模型采样器,通过精确计算似然替代 ELBO 作为评估指标。 该算法无需重训即可应用,将掩码扩散模型与自回归模型的困惑度差距缩小最高 82%,使计算差距从 16 倍降至 9 倍。 使用 DUEL 评分 LLaDA-8B 多选题任务,准确率最高提升 9.7 个百分点,证实了该模型相比 ELBO 评估更具竞争力。
CoMPAS3D发布了包含3小时数据的交互式双人萨尔萨舞动作捕捉数据集及评估框架,旨在解决现有运动生成模型缺乏语义有效性评估的问题。 数据涵盖18名不同水平舞者的即兴表演,包含超过2800个专家标注片段,并定义了动作分类、水平估算及跟随者生成三项基准任务。 细调视觉语言模型在该框架下的表现与专家主观判断呈正相关,证实了该客观指标在衡量生成舞蹈质量方面的有效性。
LIFT 是一种轻量级向量干预方法,无需重训骨干即可将基础 LLM 的推理能力迁移至 VLM,在六个推理基准上验证了其有效性。 该方法定义推理向量为推理路径与求解路径答案 token 隐层状态之差,并注入目标 VLM 的语言侧激活,其中 LLM 提取的向量表现优于 VLM 自身。 分析表明该向量影响了中间推理行为而非仅改变最终答案,论文已被 NeurIPS 2026 接收且源码即将发布。
Local-Frame Rotary Attention(LFRA)通过骨干定义的局部坐标系表达残基间位移,并将其直接注入 rotary attention,实现抗体特异性表位预测。该方法在保持连续方向几何的同时,确保了对独立 SE(3) 变换的不变性。代码和数据集已开源。
DiffDiff 提出一种扩散框架,通过嵌入可预测性不对称性实现端到端的时间序列概率预测。 该模型使前向算子具备步依赖性,让噪声中间状态从目标值逐步转移至二阶差分结构,并利用阶段自适应门控平衡条件路径。 在涵盖四个预测时域的七个基准测试中,DiffDiff 的性能优于六个扩散基线模型,提升了分布保真度。
提出物理基可微渲染器 4D Point Splatting,在 HuPR 和 RT-Pose 数据集上实现毫米波雷达场景逆向渲染。 输出原始复数回波,微多普勒相关系数达 0.988;定制 CUDA 核在单张 H100 上 5.7 分钟完成序列拟合。 首次实现数据集规模逆向渲染,可生成合成数据并支持场景编辑以增强数据。
该潜在动力学模型使用心率感知神经 ODE 动态和基于图的网格自编码器,从 cine MRI 重建解剖一致的双心室 3D+t 全周期运动。在 72,386 名 UK Biobank 参与者中,将潜在分数加入风险模型使分层 C-index 从 0.704 提升至 0.785。
Hypnos 多模态睡眠基础模型采用 Next-Token Prediction 训练,利用残差向量量化将信号转为离散 token。 基于超 20,000 份多导睡眠图记录,支持 EEG、ECG 等 8 种传感模态的并行生成与嵌入提取。 在睡眠分期分类中仅需 1/100 标注数据匹配强监督基线,且检测心室颤动的表现超越专用 ECG 基础模型。
VisAnomReasoner 在 VisAnomBench 基准测试中,精确率与 F1 分数较基线分别提升 21.23 和 23.87 个百分点。 该模型通过微调构建,在 TSB-AD-U 交叉泛化实验中,精确率与 F1 分数也分别提升 9.57 和 13.39 个百分点。 该研究已被 NeurIPS 2026 接收,解决了异常检测缺乏自然语言推理依据的问题。
研究提出 EDGAR,一种条件扩散框架,旨在通过修正伪影提升高斯头像质量。 该模型结合 MoE 架构与 Sapiens 模型提取的身份特征,利用一步扩散主干对退化帧进行精修,并构建了含真实与合成样本的 EDGAR-SET 数据集。 实验显示 EDGAR 在感知与重建指标上优于基线,代码已开源并获 ACM TOG 收录。
PlayGen2 提出分离 3D 状态演化与神经渲染的实时交互世界模型,实现低延迟可玩性。 模型在 M4 Pro 芯片 MacBook Pro 上达成约 160ms 后端延迟,支持零样本部署与多人交互。 代码与预训练模型权重已公开,验证了游戏世界模型的可迁移性与扩展性。
研究提出结合 LBP、Gabor 滤波等多种特征提取方案与 SVC、CNN 等算法的 MRI 脑肿瘤检测模型。 在大规模基准数据集上,CNN 准确率最高达 98.9%,SVC 为 96.7%;SHAP 分析确认了关键分类特征的有效性。 结果验证了该方法在自动化高精度肿瘤诊断中的泛化能力。
MIIB 基于 Partial Information Decomposition 提出多模态自监督学习框架,显式编码冗余、独特及协同信息。 采用双路径架构进行模态编码与融合,利用熵目标优化以获取最小充分表示。 实验显示 MIIB 在多样化基准上持续优于最先进的多模态自监督方法,代码已开源。
研究通过专家剪枝发现,英文校准无法有效迁移至立陶宛语。在 25% 剪枝率下,立陶宛语阅读理解的中等降幅达 21.4 分,远高于英文的 1.7 分。 模型在最终层表现出不对称路由:立陶宛语 55-72% 的专家选择集中在 8 个专家上,而英文仅为 19-39%。使用立陶宛语校准可保留 2.5 分更高的英文理解能力,证明压缩模型需按服务语言进行独立校准。
TACT-KV 提出无校准的三轴余弦变换方法,压缩 3D 医疗扫描产生的海量视觉 token KV 缓存,消除结构内存墙。 方法对 KV 缓存执行可分离 3D DCT,通过逆向注水法分配比特预算并量化,6 个医疗 VLM 和 2 个 3D CT 基准中 12 个组合里 11 个取得最低 1-bit 预测翻转率。 在单 GPU 上,相同 HBM 限制下将解码批处理规模提升最高 8 倍。
基于脱水特征编码,训练 GPT-2 风格 Transformers 生成三维流形三角化。最佳模型含 10 个块、宽度 640,以 6.9% 比率生成闭流形脱水特征,其中 82% 为球面。
论文提出 ARMs,一种利用推理增强多步编排的自适应红队智能体,旨在系统性评估视觉语言模型(VLMs)的安全漏洞。 该系统集成了 17 种红队算法并设计了 11 种多模态攻击策略,通过 epsilon-greedy 探索算法平衡攻击多样性与有效性。 实验显示 ARMs 攻击成功率平均高出基线 52.1%,在 Claude-4-Sonnet 上超过 90%。
SOCIA-$\nabla$ 是诊断驱动的多智能体框架,在 LLMob 等基准中实现最强模拟器保真度。 LLM 驱动的智能体迭代生成、执行并修复模拟器代码,通过文本计算图与历史记忆将行为残差转化为局部修复信号。 代码与数据公开,论文被 ACM SIGSPATIAL 2026 会议接收。
通过结合自动逆向合成分析生成训练集,该协议使 NMR 结构解析模型能利用分子前体等化学上下文信息。 模型在包含最多 40 个重原子的分子上,Top-15 准确率最高达 95.4%;即使上下文与目标分子不相关,模型性能也保持稳健。 此方法为提高各类光谱结构解析平台利用上下文数据的效率提供了有效途径。
研究提出自动化方法审计文生图模型,利用美国反歧视法中的代理变量,对比模型输出与美国普查数据。 测试显示 Imagen 4 Fast 存在较高的种族表示偏差和皮肤色调单一问题;Stable Diffusion 3.5 在肤色多样性方面表现最佳。 该方法提供具有法律基础的审计工具,能在不依赖隐式公平定义的情况下揭示模型输出的详细偏见。
THG-Omni 框架结合 Segment Anything Model 3 参与者轨迹与 Qwen3-VL 时序注释,提升视频推理证据可追溯性。 在 NExT-QA 上,使用匹配图准确率达 89.54%,无图输入为 85.10%;紧凑图输入达 78.22%。 该框架通过结构化图增强社交推理与情绪理解能力。
该研究提出生物学启发的患者互斥框架,用于评估合成RNA表达与CNV数据,并应用于DECIDER高级别浆液性卵巢癌队列。 框架通过比较真实训练与留出数据一致性来评估模态保真度及RNA-CNV间一致性,结合训练数据邻近性诊断。 研究基于变分自编码器改造了三种多组学集成架构,该协议为多组学生成器比较提供基准。
提出 InfMasking 框架,通过无限掩码学习模态间协同信息,避免融合模块依赖主导模态或共享信息。 优化闭式变分边界以控制群体矩间隙,在基准测试中提升预测性能、平均 PID 估计值及 InterSHAP 交互归因。 代码已开源,论文已被 IEEE TPAMI 录用。
ReferClaw 提出一种将第一视角流式问答转化为交互过程的智能体框架,通过询问澄清问题来解决用户意图歧义,从而减少意图错位答案。 框架由识别候选解释、请求澄清和基于视觉证据生成答案的协作智能体组成,并采用成本感知策略平衡信息增益与用户努力。 在第一视角问答基准上的评估显示,该框架在答案准确性和联合答案与依据性能上优于现有基线,并具备零样本跨数据集迁移能力。
UniGADD提出一种生成器无关的深度伪造检测方法,在已知生成器上达到SOTA水平,且在未见过的生成器上显著优于现有方法。 该方法采用两阶段优化:第一阶段利用对比损失学习判别性特征嵌入,第二阶段仅对真实样本优化嵌入空间以增强泛化性。
BEEMO 框架利用未配对行为数据辅助神经解码,在灵长类动物非侵入性实验中显著提升新任务迁移性能。 该框架通过交叉注意力层独立扩展行为与神经监督,仅用行为数据预训练即可媲美更大规模神经数据集模型。 代码已公开,为低成本构建跨任务通用神经解码模型提供可行路径。
研究评估了第 1 天多模态 MRI 对急性缺血性卒中 3 个月功能预后的预测价值。FLAIR-临床融合模型表现最佳,交叉验证 AUC 达 0.948 ± 0.061,优于 ADC-临床融合(AUC 0.941 ± 0.094)。
研究提出一种动作条件视觉语言模型(VLM)监测方案,用于识别自动驾驶在语义异常场景中的不当行为。 方案通过比较场景预期动作与实际自车轨迹判定异常,在两阶段协议中于 235 个片段上实现 83.0% 准确率及 0.773 异常召回率。 该方法优于仅基于视频的单阶段基线,为提升复杂场景下的自动驾驶安全监测提供了技术路径。
PSGAgent 提出一种基于思考-行动-观察循环的智能体框架,通过区域放大与视觉高亮工具解决 MLLM 在全全景场景图生成中的静态感知瓶颈。 框架采用两级训练管线,先利用高质量多模态思维链数据集进行冷启动,再结合 GSPO 优化层级奖励机制以自适应使用工具,在 PSG 基准上取得 SOTA 性能。
SD-LoRA提出训练时结构蒸馏框架,通过图教师模型在训练阶段利用token级图推理,将其结构先验隐式蒸馏至轻量级CLIP-LoRA骨干中。 推理时丢弃图教师,仅需单次CLIP-LoRA前向传播及基于缓存的分类器,无额外图计算开销。 在11个少样本基准测试中,SD-LoRA相比强力CLIP-LoRA基线在1/2/4/8/16-shot设置下分别提升2.4/1.8/3.0/2.4/2.0个百分点。
研究人员提出无需训练的GENIQ方法,通过文生图扩散模型生成健康皮肤与病灶图像构建原型,解决概念词注意力在皮肤镜图像中不可靠的问题。 该方法从生成图像中获取的皮肤-病灶方向与真实病灶分离方向对齐度更高,结合无标注图像中的极似皮肤/病灶斑块进行原型精化。 在三个皮肤镜测试集上,GENIQ取得了0.85-0.88的Dice分数,优于零样本及基于词的方法。
NPCBench 提出涵盖 4,777 项任务与 100 名患者诊疗轨迹的临床基准,测试 30 个模型在多模态证据下的联合决策能力。 在 21 个多模态模型中,严格诊疗路径成功率最高仅 23%,显示单点任务高分无法保证整体诊疗正确。 该基准拓展了医学 AI 评估范式,为肿瘤护理中基于证据的时间连贯推理提供测试平台。
研究在5个知识图谱上基准测试了5个大语言模型(GPT-5.1、Gemini 2.0 Pro、Llama 3、Qwen、BioGPT)。通过多层级查询数据集评估了模型在感知图谱和无关图谱条件下的推理深度与事实准确性。