SpeechEQ:评估社交感知语音对话模型情商的研究
SpeechEQ 是一个评估语音语言模型(SLM)社会语言学推理的框架,包含基于 EQ-i 2.0 理论的 2265 段对话数据集及 15 个情商子量表。 该框架采用多轮评估协议计算口语情商(SEQ)分数。实验发现当前多模态模型受限于“模态捷径”、“安全陷阱”和“上下文遗忘”,且端到端架构优于级联系统。
SpeechEQ 是一个评估语音语言模型(SLM)社会语言学推理的框架,包含基于 EQ-i 2.0 理论的 2265 段对话数据集及 15 个情商子量表。 该框架采用多轮评估协议计算口语情商(SEQ)分数。实验发现当前多模态模型受限于“模态捷径”、“安全陷阱”和“上下文遗忘”,且端到端架构优于级联系统。
B[FM]$^2$ 在 9 项标准下游 EEG 分类任务中的 7 项创造新纪录。该模型预训练仅需 36,895 个片段(约 307 小时),预算比现有 EEG 基础模型少约 30 倍。两名持证神经科医生无法将其生成的合成 EEG 与真实脑数据区分开(Cohen's $\kappa = -0.096$)。
提出结合 GAN 姿态正脸化与忆阻器神经形态识别的非正脸识别框架,在两个数据集上识别准确率最高达 96%。 框架整合轻量化生成对抗网络处理非正脸姿态,利用忆阻器系统实现边缘端高效计算,缓解传统 AI 算力瓶颈。 该方法为动态现实环境(如无人机)提供可扩展、高效的资源受限人脸识别方案。
研究引入选择性关联精度指标,评估8个公开视觉-语言模型(VLM)在匹配去标识化胸部X光片与报告中的表现。 在ReXGradient-160K数据集上,MedSigLIP-448在过滤性别、年龄段和投照位后,100次查询预算下精度达67.68%,中位候选报告数为327。 该指标无需重训练即可推理,有助于医院评估应公开哪些属性以降低匹配风险。
两项基于自监督深度学习的盆腔和脑部MRI异常检测框架取得良好性能。盆腔合成异常AUC达0.97(95% CI 0.96-0.99),临床盆腔异常AUC为0.95(95% CI 0.90-1.00),脑部异常AUC为0.81(95% CI 0.74-0.87)。
ReLATE 提出通过模态特定锚点学习相对表示,实现冻结编码器的事后多模态对齐。 该方法在13个通用基准及病理学3个零样本分类任务中,性能匹配或超越现有基线模型。 相比联合预训练,ReLATE 在配对数据稀缺时提供了有效的对齐替代方案。
DiffCap-Bench 发布覆盖十类差异的图像差异描述基准,引入 LLM-as-a-Judge 评估协议以精准捕捉语义一致性并惩罚幻觉。 该基准通过人类验证的差异列表(Difference Lists)对最新多模态大模型进行评估,揭示了专有模型与开源模型间的性能差距及模型扩展的局限性。
研究提出多语 Text-to-SQL 基准 IndicDBBench,旨在评估印度语言族跨语语义解析能力。 该基准包含 20 个数据库、237 张表及 15,612 个任务,覆盖英语及六种印度语言。实验显示,从英语到印度语言的执行准确率下降 9.0 个百分点,证实存在显著的“印度语言差距”。
稀疏监督扩散(SSD)通过简单掩码框架解决扩散模型空间生成不一致问题,被 NeurIPS 2026 接收。 该方法修改数据协方差谱以抑制相关性,在掩码高达 98% 时仍保持竞争性 FID 分数,并避免小数据集训练不稳定。
该研究提出层级感知多模态遗忘基准MedForget与免训练方法CHIP。 CHIP通过选择性移除目标权重子空间并保留共享信息,实现最高遗忘保留差距。 这为在保护隐私的同时维持临床任务效用的医疗AI数据删除提供了有效方案。
ViSSFlow 是一个基于 Flow-Matching 的统一框架,旨在同时解决 Video-to-Sound (V2S) 和 Visual Text-to-Speech (VisualTTS) 任务。
该综述梳理了利用 LLM 和 VLM 进行视频碰撞检测的方法,涵盖融合策略分类、关键数据集及模型架构分析。 文章通过对比性能基准,讨论该交叉领域面临的持续挑战与未来机遇,为智能交通系统中的视频理解研究奠定基础。
该研究提出多尺度注意力机制(MSAM),通过三条不同核大小(1-11)的并行1D卷积自适应聚合特征,并集成至UNet跳跃连接以增强高光谱特征提取。 在多个城市驾驶高光谱数据集上,MSAM基线模型平均mIoU提升2.32%,mF1提升2.88%,且核组合(1;5;11)与(3;7;11)表现尤为突出。 该实证研究推动了高光谱处理在自动驾驶中的应用理解,并为车载自适应多尺度特征提取奠定了基础。
MindEye2通过共享主体模型,仅需1小时fMRI训练数据即可实现高质量视觉感知重建,优于单主体模型。 该模型预训练涵盖7个受试者,并将脑数据线性映射至共享潜在空间,再经非线性映射至CLIP图像空间。最后通过微调Stable Diffusion XL,将CLIP潜在表示转换为像素图像。 此方法支持单次MRI扫描完成高保真重建,实现了对被试间泛化能力的显著提升。
针对视觉语言模型(VLM)在强化学习训练中因忽视视觉证据导致推理不稳定问题,提出“Faithful Warm-Start (FWS)”策略。 该策略通过六个通用 VQA 基准构建 FaithfulQA 数据集,利用 VLM 裁判确保因果一致性,在稀疏奖励 RL 前提供视觉接地预热。 实验证明 FWS 提高了答案准确率,稳定了 RL 训练过程,并显著减少了缺乏视觉支持的推理链条。
MLLM 在视频理解中常误选干扰项而非识别“无正确答案”,该失效在时序推理任务中尤为严重。研究测试了多种模型,发现链式思维提示虽能提升检测率,但表现仍不理想。
研究在 Qwen3 上训练三种 LLM 工作流,发现多智能体 RL 并非总优于单智能体 RL。 具体而言,仅在 Eval-Opt 工作流中,隔离策略(IP)的训练效果超过了单智能体 RL。 共享策略(SP)存在隐式超参数,调整其权重可匹配隔离策略的速度和峰值。
研究者引入对抗共情基准(AEB)与情感一致性分数(ECS),评估基于可验证情感奖励的强化学习(RLVER)模型。 在包含 480 段对话、Qwen2.5 基座模型的 8 项场景中,RLVER-PPO-Think 的隐藏意图检测率提升 53%,FS 分数达 0.979(p<10^-12)。
ReClaim 是基于 MarketScan 数据库 438 亿条索赔记录构建的医疗基础模型,在超过 1000 种疾病的预测中平均 ROC-AUC 达到 0.769。该模型在预测下一年度支出和识别高需求高成本受保人方面均优于梯度提升模型,且其表征作为协变量时能改善随机对照试验基准下的效应估计。
推荐理由:原文给出了438亿条医疗索赔数据训练基础模型的方法,读者可据此理解其在真实世界疾病预测中的表现。
研究提出“类人区域适应性”范式及GG-EZ方法,通过区域数据过滤和模型合并优化模型的区域相关性。 在大型视觉语言模型、文生图扩散模型和视觉语言嵌入模型等3种架构上的实验显示,该方法在东南亚地区文化相关性指标上提升5-15%,同时保持98%以上的全球性能。 该研究为多模态视觉语言模型在多样化地区的适用性建立了基础范式。
研究团队推出 MMCOMET,这是首个整合物理、社会、事件知识与视觉 grounding 的大规模多模态常识知识图谱。 该图谱扩展了 ATOMIC2020,通过混合对齐管道为每个常识三元组关联代表性图像,生成超过 90 万条覆盖 19 种关系类型的多模态数据。 分析表明,多模态 grounding 在推理密集场景下比纯文本或 LLM 生成知识更可靠,但需自适应路由以避免感知主导任务中的噪声干扰。
论文提出解释性 AI(Explanatory AI)作为新兴范式,主张 AI 系统利用生成式和多模态能力作为解释伙伴,直接服务于人类理解而非仅算法透明度。 研究整合认知科学、传播学与教育视角,结合医疗及 AI 专家实证,识别出目的、沟通模式、认识论立场、适应性和认知设计五个维度。 作者据此推导 5 项元需求和 10 项设计原则,并通过 5 个 UI 模型演示其如何支持人类推理与决策。
Pixel 是一个协同设计的全栈机器人系统,用于学习通用移动操作。 该系统结合低成本轮式人形机器人、人体对齐运动学、合顺夹具、多种遥操作及无机器人数据收集接口、统一全身控制器和通用策略学习管线。 其分层学习栈支持语言条件视觉运动控制和长时程任务执行,旨在提供研究机器人硬件、数据、控制与学习协同设计的可扩展基础。
D&A 方法解耦场景动态描述与基于明确标准的评估,解决 VLM 在机器人任务进度估计中的确认偏差。该方法纯基于提示,跨任务泛化能力匹配或超越后训练奖励模型。其提供的细粒度部分进度指标可有效支持下游强化学习。
研究发现,基于模型强化学习智能体在执行量子信息任务时,其内部规划器自发发展出时空特征零结构,能高保真重构闵可夫斯基度规的因果结构。智能体无需直接获取时空度规信息,仅通过最大化局部量子探针与量子场间的量子互信息来学习,其预测与行动揭示了时空几何源自操作性量子经验。
PlantVLM-Edge 提出量化视觉语言框架,实现无云连接的边缘设备作物健康诊断。在 NVIDIA Jetson AGX Orin 上部署,4-bit AWQ 量化保留 98.6% 精度并将 2B 模型内存降低 49%。
提出 CAT-CKD 方法,结合对比适配器训练与共识知识蒸馏,实现无源数据的多源领域自适应皮肤癌诊断。 在五个公开皮肤病变数据集上,平均 AUROC 达 86.1%,仅需 4.3M 可训练参数。 解决了隐私法规限制下源数据不可访问及灾难性遗忘问题,代码已公开。
MIRA 提出一种无需人工标注的训练框架,通过在训练过程中注入经过筛选的欺骗性视觉上下文,解决了现有强化学习框架中感知与推理脱节导致幻觉累积的问题。该框架包含基于组的反思触发机制,帮助模型自主检测并纠正视觉线索与逻辑约束间的矛盾。实验显示 MIRA 在域内推理基准上平均提升 7%,已在 NeurIPS 2026 被接收。
summary_zh: VideoEditor-MoE 是首个开源的复杂视频编辑混合专家(MoE)框架。基于 5B 编辑模型初始化,该架构扩展至 14B 和 56B 参数,每个 token 激活约 8B 参数,通过 MoE-Attention 在保持全局交互的同时扩展注意力容量。
MultiMental-IAS 基于 CARLA 构建,收录 23 名被试在 148 个试验中记录的车辆遥测、EEG、PPG 及座舱视频,覆盖六种诱导心理状态。 数据集提供跨被试非IID评估协议,多模态融合在已知驾驶员上 macro-F1 达 0.94,未知驾驶员上由 0.408 提升至 0.485。 该资源为驾驶员监控中的非IID泛化、个性化与联邦学习提供具体测试床。
DINOFAS 提出一种基于 DINOv3 的人脸反欺骗(FAS)框架,采用 LoRA 和风格-内容解耦模块(ASCD)。 在标准 OCIM 协议下,该模型在留出未见领域上的平均 HTER 为 9.09%。 在合成到真实的泛化测试中,DINOFAS 取得了最低的 21.41% 平均 HTER 和最高的 86.14% 平均 AUC。
研究人员提出探针引导梯度增强(PGGB)方法,通过独立评估各模态表示质量来增强较弱模态的梯度,同时保留主导模态强度。 PGGB 在跨 4 个领域、2-4 种模态的 8 个基准测试中表现优于最先进方法,且在低不平衡场景下保持竞争力。 代码已开源可用。
AVID 发布了首个用于听觉诱发视觉心理意象(VMI)解码的训练级 5.0T fMRI 专用资源。 数据集包含 9 名参与者的约 67 小时记录,分为场景级复杂部分与受控简单部分,并提出了标准化评估协议。 AVID 为心理意象专用模型开发和 VMI 解码基准测试提供了数据基础,显著减少了感官污染。
论文提出 Spatial Transfusion,一个统一的 FOA 框架,将预训练空间音频理解模型扩展至生成与编辑。模型保持骨干网络冻结,引入基于模态的 LoRA 路由及课程学习策略。实验显示,该模型在保留空间理解能力的同时,其生成与编辑性能优于全量微调。
提出 E$^2$Forecast 模型,在嵌入空间预测地球表面变化,有效规避光谱值预测中的噪声干扰。该 Transformer 模型包含高斯分支和整流流分支,在 Sentinel-1 和 Sentinel-2 基准上将余弦距离减半至 0.10。无监督异常检测任务中 F$_1$ 分数从 41.58 提升至 48.70,代码已公开。
EarthJev 是一款 0.8B 参数模型,通过 Qwen3.5-0.8B 视觉编码器处理 Sentinel-2 多光谱数据,无需生成 token 即可回答遥感问题。 单题推理耗时 19.9 ms,比多模态语言模型快 4.3 至 8.7 倍;在 36,028 道测试题上准确率为 86.0%,校准误差(ECE)为 0.006。
针对具身智能体回答问题时的场景图记忆机制,研究提出图交换测试以诊断模型是否真正依赖图结构。 在包含两至七间房间路径的问答基准中,文本形式记忆比无记忆提升30分,而图编码形式表现不佳;将每个节点分配独立输入token可额外提升8.3分,且通过交换测试验证增益源自图结构。
新基准 ReConSpatial 评估 18 款前沿 LVLM 的多视角 3D 场景重建能力,指出相对结构与度量重建存在一致差距。 GPT-6-Astra 在结构任务得分 81.4%,但度量重建仅 58.7%;9 项原子空间问答任务关联原子能力与重建质量。 实验表明 3D 地图注入可区分场景构建与路径规划,空间微调在通用视觉语言基准上实现广泛迁移。
MUPA²S 结合面部视频和 ECG 信号,通过统一 token 表示和非对称注意力进行自动压力评估。 在 58 人数据集上,面部视频测试准确率为 69.44%,视频-ECG 融合达到 69.58% 且参数量约为特征级融合的一半。 统一输入级集成提供了参数高效的跨模态联合处理机制。
研究提出联邦知识保持学习(FKPL),在 Office-Caltech-10、PACS 和 DomainNet 子集上平均准确率分别为 73.01%、67.00% 和 64.51%。