驾驶视觉-语言-行动模型推理与动作耦合度的反事实测量
研究通过因果干预发现,四个驾驶 VLA 模型的生成推理与其实际驾驶行为弱耦合,限制了系统提供可解释性的能力。 实验扰动模型推理仅导致轨迹小幅变化,且该现象在不同基准和架构中持续存在;移除关键物体后的场景级反事实进一步验证了推理与轨迹的脱节。 这一发现揭示了依赖文本推理实现透明度的驾驶 VLA 模型在部署和公众信任方面存在局限性。
研究通过因果干预发现,四个驾驶 VLA 模型的生成推理与其实际驾驶行为弱耦合,限制了系统提供可解释性的能力。 实验扰动模型推理仅导致轨迹小幅变化,且该现象在不同基准和架构中持续存在;移除关键物体后的场景级反事实进一步验证了推理与轨迹的脱节。 这一发现揭示了依赖文本推理实现透明度的驾驶 VLA 模型在部署和公众信任方面存在局限性。
提出 PopDRP 框架,结合诊断引导的关系精炼与层级选择性状态空间学习,改进脑部疾病诊断。 利用对比亲和力精炼和神经图校正优化群体图关系,并通过选择性金字塔状态空间主干在 ABIDE 和 ADHD-200 数据集上提升准确率和 AUC。
研究提出利用拉曼光谱波数计算Transformer位置编码,将光谱点表示为强度与波数对。在三种细菌及混合样本测试中,该方法在噪声、稀疏采样及部分覆盖下优于索引编码。 该方案在未见过的采样网格上保持性能,且在公开30株细菌基准上复现结果。这种显式物理坐标方法为可变测量条件下的鲁棒光谱分析提供了简单路径。
RiboBridge 提出结构优先框架,分离 RNA 构象生成与蛋白-RNA 组装,利用跨帧相互作用几何实现无预设结合位点设计。 在 124 个蛋白-RNA 复合物基准测试中,该模型取得最高的 fNAT 和 DockQ 分数,以及最低的 interface 和 ligand RMSD 值。 框架通过先验候选结合界面和预训练潜空间 RiboSphere 生成构象,经刚性放置恢复几何一致性。
NEST 是一种无监督框架,在单个嵌入中编码从粗到细的聚类结构,通过联合优化嵌套前缀子空间中的聚类与分离来实现。 在合成层级数据中,NEST 仅凭每层级的聚类数量即可恢复多尺度结构,在视觉、文本和单细胞数据实验中均展示了多尺度组织特性。 该方法将聚类粒度变为表示的内在属性,提供了多尺度结构发现的一体化方法。
新基准 PLE 发布,旨在测试前沿大语言模型在执行物理工程师真实、可计费专业任务时的能力。该基准包含 85 个长程智能体任务,涵盖电气、土木、结构和机械工程领域,通过专家创作与对抗性“创作者-解决者”智能体流水线双路径构建。
该综述从隐私与安全角度,调查了面向6G通信系统的多模态智能与Agentic AI。文章构建了一个跨层级的系统视图,涵盖感知、记忆、工具使用及多智能体编排。 文中分析了威胁模型与攻击面,并对现有攻击进行了结构化分类,提出了包括提示词防御、智能体间信任机制和安全编排在内的缓解策略。 最后,作者总结了构建可信多模态多智能体6G系统的开放研究方向。
针对视觉语言模型(VLM)因误读图表导致推理失败的感知瓶颈,研究者提出最小编辑修正在线策略蒸馏方法。 该方法仅使用参考图表描述和验证过的参考解作为训练信息,教师模型对学生错误 rollout 进行打分,只有教师不喜欢的 token 才贡献到修正损失中;正确 rollout 则接受任务奖励强化学习。
GANet 是一种轻量级分组等价注意力网络,在 PlantVillage 数据集上识别 38 种植物病害,准确率达 99.99%。 该模型参数量仅 0.001M,在 Raspberry Pi 4b 和 Jetson Nano 上分别达到 5 FPS 和 11 FPS,支持边缘部署。
基于高维多模态健康记录的学习表示常用于混杂校正,但其重建目标可能破坏因果识别所需的信息。研究证明,仅依赖协变量的训练目标无法证明表示充分性,在线性结构模型中,表示可能以任意小的重建误差损失导致任意大的偏差。
提出潜层互联协议(LIP),通过训练连接器将专家模型表征直接映射至 LLM 内部状态,消除文本瓶颈。 实验在冻结 Gemma 3 和 Kimi K2.6 模型的基础上验证,证明零样本迁移可行且性能随 LLM 能力增强,无需联合训练。 该协议旨在扩展科学智能体信息获取范围,呼吁开发者优化模型以原生接收专家表征。
研究者开发 AI 代理模型,将基于过程的火灾模拟计算时间从数天缩短至数秒。 该多任务深度学习模型整合地理空间与气象数据,在代表性区域实现 806 倍端到端 CPU 加速,且仅占用原系统 13% 的主存。 框架通过反事实评估验证了分布外泛化能力,支持快速场景分析以指导缓解措施。
研究者发布音频原生闭环评测基准 TORUS,用于评估统一音频模型的自洽性。 该基准包含 1053 道题目,覆盖 21 项任务及 8 种音频领域场景。 最佳统一模型仅能正确回答 52.4% 的自我生成问题,而 gpt-audio 回答率为 53.6%。
研究发现视觉语言模型通过直接路径和文本中介路径两种机制处理视觉任务。 在三项视觉任务中,路径选择依赖于任务类型,且受数据分布和提示词设计影响。 该机制表征揭示了模型内部在干预下的灵活性,统一了先前消融研究结论。
研究人员提出新基准 RiskCueBench,要求模型识别视频中最早的风险信号片段,而非观看包含事故的全程视频。 该基准旨在解决现有数据集提供完整视频序列导致任务难度降低的问题,更真实地反映现实场景。 实验结果显示当前系统在从早期视觉信号预判未来风险事件方面存在显著能力差距,揭示了部署视频风险预测模型的实际挑战。
summary_zh: FormalASR 提出两款 0.6B 和 1.7B 参数的端到端模型,直接实现口语中文转正式文本,无需部署时 LLM 后处理。 模型基于 Qwen3-ASR 微调,在 WenetSpeech-Formal 等数据集上相对字错率降低达 37.4%。
提出PsyCLIENT框架及包含120个中文客户端画像的PsyCLIENT-CP数据集,涵盖60个咨询主题。在24名专业咨询师参与的评估中,其感知真实性和培训效用评分高于对比方法,且对话更常被误判为真人交互。
英语中心大语言模型中数学推理能力的跨语言迁移性高度取决于模型选择、目标语言和训练范式。 更强的英语中心初始化并不必然带来更高的相对迁移效率,即使其多语言推理准确率更高。 研究发现,在英语监督基础上新增一种平行语言能带来显著性能提升,而增加更多语言带来的收益较小但呈一致性增长。
研究利用大语言模型(LLM)的免训练上下文学习(ICL)策略,结合歌词、音频描述及原始音频信号,显著提升了音乐情感预测中“效价”的准确性。 在 MER60 数据集测试中,基于文本的 ICL 在 80 shots 设置下将效价 R² 从 0.110 提升至 0.427,多模态变体仅需 10 shots 即达到 0.346。
针对当前深度研究智能体未评估以视频为中心的研究报告生成的局限,arXiv 论文提出了 OmniDR-Bench 基准。该基准包含 50 个中英文任务、6,414 条原子评估标准,旨在测试视频定位、多模态证据检索及交互式报告生成。 在测试的 18 种智能体配置中,最佳系统得分为 63.3/100。结果指出当前智能体仍存在内容覆盖面不足、跨模态因果逻辑分析及引用准确性欠缺等问题。
研究提出SC-matrix矩阵,区分多语言LLM的鲁棒性与谄媚性。 发现相同谄媚率掩盖不同失败模式,高能力不防谄媚,推理缓解优于指令策略。 证明多语言谄媚是复合故障,需针对性诊断。
研究分析Elon Musk收购Twitter前后约824K条心理健康相关推文,揭示平台治理转变下的自我披露模式演变。使用LIWC和基于LLM的亲密度分类器,发现收购后情感与社会语言减少,第一人称单数代词及未来导向表达增加。除BPD中等亲密度披露相对低亲密度显著下降外,其他病症亲密度变化不显著。
双语语言模型能捕捉人类第二语言(L2)阅读中的跨语言影响。 研究利用12种第一语言(L1)背景读者的眼动数据,证明匹配读者L1背景的双语模型在预测L2阅读时间上优于单语基线。 该预测优势集中在晚期眼动指标,受L1-L2书写系统重叠度调节,并在中级熟练度读者中表现最强。
研究评估四个参数量 8 至 270 亿的开放模型在西班牙 MIR 考试中的表现,三个大模型预计排名在约前 600 至 3000 名之间,可报考 41 至 43 个专业。 模型从不弃权,因为即使最不确定的答案正确率也高于 25% 的盈亏平衡点;医疗微调降低了过度自信但降低准确率且未改善置信度区分力,且 13%-38% 的正确答案基于临床依据不足的原因,移除或替换图像后准确率不变。
研究发现语言模型对不同文字系统的同一实体身份判断存在显著偏差,Qwen2.5-7B 在 Marathi 提示词下 Devanagari 文字的同名准确率从 35.1% 降至 8.5%。
论文提出 CrisiLangs 资源,将英文危机数据集 CrisiText 扩展至意大利语、保加利亚语、德语和希腊语。 该资源包含来自 411 个场景的 1000 个事件及 5000 个事件-预警消息对。基于此微调的多语言模型在 ROUGE-L、BLEU 和 BERTScore 上优于零样本基线。
研究团队构建了基于用户判断的记忆感知奖励模型,偏好预测准确率达 72.8%。 该模型优于现有基线,解决了自动评估器过度偏好记忆条件响应的问题。 数据来自 87 名参与者的 1,000 个配对判断,基于其个人 ChatGPT 查询构建。
自动安全系统基于词汇判定危害,导致非裔美国人英语误报率高出两倍以上,且安全行为在低资源语言中失效。研究归纳七种失败模式,提出评估协议,在11种语言、5个开源系统中测试。 结果显示无系统达到母语者准确性,且系统能力增强反而扩大了最佳与最差服务语言间的差距。
研究团队推出TRIAD基准,用于评估多模态大语言模型在全模态歧义消解上的能力。该基准包含86个场景组中的327个手写查询,覆盖三种模态下的18类歧义。对14个全模态系统的测试表明,模型在组准确率上比人类低20分以上,且常忽视音频线索。该研究将评测焦点从识别转向歧义消解,为衡量相关能力提供了分类体系与诊断协议。
研究揭示大语言模型语义呈现局部各向异性邻域特征。在 Gemma 4、Llama 3.2、Qwen 2.5 和 Pythia 上验证,语义细化导致邻域收缩且存在不变核心。
OlmoEarth v1.3 发布,提供 10 米分辨率的 128 维(或 64 维)全球卫星嵌入及交互探索工具。该模型在 27 项评估中 20 项排名第一,训练算力成本较 v1.2 降低 53%。探索工具允许用户无 GPU、无注册直接基于少量标签训练分类器并导出 GeoTIFF 地图。
推荐理由:OlmoEarth v1.3 发布了地球预计算嵌入和交互工具,展示了其在全球尺度上评估与监测地表变化的具体应用。
Google DeepMind 联合 WRI 等机构发布 ForTy 2020 地图,将全球 10 米分辨率地块细分为六类森林与土地利用类型,并同步推出 2017 至 2025 年年度时序数据。
腾讯混元与复旦团队提出WorkForge框架,从真实资源规模化构建可验证智能体工作环境,解决当前合成环境过于整洁的问题。该框架产出WorkForge-16K数据集,包含1.67万个横跨40个专业领域的工作环境,强制智能体探索分散证据并完成长程任务。
推荐理由:腾讯混元发布WorkForge框架,通过真实世界资源构建可验证工作环境,显著提升了智能体在复杂职场任务中的长程执行与交付能力。
欧洲多家机构部署 NVIDIA Earth-2 开放模型,用于实际天气与气候预测。StormScope EU 模型基于欧洲气象数据训练,利用卫星观测以 10 分钟间隔预测 16 个 Meteosat 频道的云况演变。
研究提出人类中心评估协议,对比8个视觉语言模型与人类在可视化理解任务中的响应模式。 实验显示模型平均表现劣于人类,且错误模式与人类显著不同;尽管总体相关性较弱,该协议旨在筛选能模拟人类认知过程的科学模型。
研究团队推出 VisFacor 基准,评估了 GPT、Gemini、LLaMA 和 Qwen 等 39 款前沿多模态大语言模型。结果表明最佳模型得分仅为 55.9%,且在心理旋转、空间关系推理等基础任务上普遍表现不佳。研究认为当前模型尚未掌握类人的基础视觉认知能力。
基于 Qwen-2.5 模型对比 SFT、DPO、ORPO 和 GRPO 四种对齐方法在药品说明书生成中的效果,部分对齐后的 SLM 在多个基于参考的指标上优于 GPT-5。
团队提出 MedicalBench 基准,结合 MIMIC-IV 出院小结与人工核实的 ICD-10 代码,系统评估大语言模型在隐含医学概念提取及证据定位上的表现。 该基准包含语义易混淆负样本及 LLM 与专家判断不一致的案例,旨在隔离推理难度而非笔记长度等表层混淆因素。 研究揭示当前最先进 LLM 性能仍较有限,为开发可解释且医学忠实的医疗语言模型奠定基础。
提出一种将文本基准转化为受控音频工具调用评估的框架,通过TTS、说话人变化和背景噪声生成配对数据,保留原始标注。 在7个全模态模型评估中,Gemini-3.1-Flash-Live在Confetti得70.4分最高,GPT-Realtime-1.5在When2Call得71.9分最佳,文本转语音性能差距介于1.8至4.8分之间。
CCG Diffusion 是一种免训练的文生图控制方法,利用组合范畴语法(CCG)引导属性绑定、空间关系及数量控制。 该方法通过提示词重写和注意力引导机制,有效解决了介词短语(PP)附着歧义,在 Stable Diffusion 和 Sana 上表现显著优于基线。