Omni-InteractScope:评估连续全模态流中的主动与智能体交互基准
Omni-InteractScope 是包含 1,479 个人工标注交互的基准,覆盖八个任务组,用于测试 Omni-LLM 在连续视听流中的主动响应能力。 在 12 个被评估模型中,准时工具调用率最高仅 40%,且 9 个模型未能完整覆盖 26 个指导序列。 研究揭示了当前模型在及时行动、无查询提醒及全流程覆盖方面的关键局限。
Omni-InteractScope 是包含 1,479 个人工标注交互的基准,覆盖八个任务组,用于测试 Omni-LLM 在连续视听流中的主动响应能力。 在 12 个被评估模型中,准时工具调用率最高仅 40%,且 9 个模型未能完整覆盖 26 个指导序列。 研究揭示了当前模型在及时行动、无查询提醒及全流程覆盖方面的关键局限。
研究基于307名参与者测试四种缺失模态对痴呆预测解释的影响。 5种缺失数据策略将12%至23%的归因分配给未观测模态,提示词中命名缺失模态使确认率从48%升至88%。 方向保真度取决于叙述模型规模而非提示,结构化模板消除了误报缺失的错误。
基于逻辑张量网络的 NeSySpec 审计框架在 107 种飞机类型上验证,其约束判定宏平均 F1 值不低于各对比方法。 该框架诊断出 94.2% 的受损测试记录违反了约束,通过溯因推理在 59.3% 的记录中定位了被修改的字段。
研究团队提出 AgenticCity-Bench,这是一个用于城市智能体任务推理的纵向多模态基准。 基准覆盖六大洲 12 国 16 个城市,包含 2000-2025 年 18 种模态数据,支持跨模态翻译与预测、规划等任务。 该基准统一了多源数据空间与时间索引,推动城市多模态观测向智能体决策理解过渡。
Co-Design Bench 是一款包含 273 项任务的无参考基准,专门评测编码智能体将用户多模态需求转化为应用修改的能力。 该基准设有 ME 和 RE 两条赛道,涵盖 3 个能力维度,并采用 2,331 条隐藏专家验收标准进行“先裁决后反驳”的评分。 在十种模型端点中,最强者平均通过率 69.9%,但仅 26.4% 的任务被完全满足;多变更类型的仓库编辑完成率显著偏低。
研究人员提出一种无需训练的六类晶圆地图缺陷分类框架,在 Mixed-WM38 数据集上达到 93.8% 总体准确率。 该框架利用冻结的大多模态模型,结合连通区域高亮与形态、位置及排除感知提示,在 WM811K 数据集上总体准确率为 81.3%。
EMBER 和 ORBIT 两款模型利用 Counter-Strike 2 高频率遥测数据,在验证集上分别达到 73.5% 和 71.2% 的快速行为反应预测准确率。 模型基于 60-120 毫秒窗口提取数据,训练仅使用触发时刻前信息,且性能优于 62.7% 准确率的 LLM 基线。 该研究旨在从数字交互中识别类似边缘系统的快速驱动行为特征,为未来扩展听觉重建和基础模型奠定基础。
PhysEvolve 通过物理引擎生成可执行世界与反事实任务,无需人工数据训练视觉语言模型进行因果物理推理。 基于 Qwen3-VL-8B-Instruct,在 PhysBench 和 ContPhy 等基准上取得显著提升,如 Throwing 提升 8.8 分,Counterfactual Removal 提升 7.4 分。
研究团队提出 DecoyCount 基准,指出前沿模型在视觉计数上准确率低于 50%,存在 11.8-22.1 个百分点的推理对齐差距。该差距源于模型无法自主选择正确的感知过程,且更强模型或增加思考预算反而可能扩大这一错位。通用推理能力的增强未能有效转化为对齐的视觉推理,人类视觉预期错位仍是性能瓶颈。
一项对 1331 起儿童相关 AI 事故的编码分析显示,儿童伤害主要集中于代表性、尊严及心理类别,且常与部署环境、治理及误用失败相关。分析表明,单个儿童的伤害也常涉及未与系统交互的群体层面伤害。模型层面的评估不足以预测儿童伤害路径,建议采取年龄确认、同意验证、安全 UX 设计等超越内容过滤的缓解措施。
CSI-TextBench构建了大规模数据集,统一3项感知基准,包含285,790个样本、7个任务和2.0 million条CSI-文本训练元组。 该基准测试了来自4个范式族的5种对齐方法,发现对比式CSI-文本对齐在不使用类别标签的情况下可媲美监督分类器,并在140个组合场景上以86.9%的top-1准确率超越了专用分类器集成。
研究团队提出 CogMemory 变分认知记忆框架,用于增强视觉-语言-动作(VLA)模型在长时程机器人操作任务中的表现,有效克服长期记忆建模不足的问题。 框架通过选择性状态空间记忆编码器、多槽位时间抽象和变分信息压缩将多模态轨迹编码为紧凑潜空间记忆,并仅增加 3.45M 参数,兼容早期和中期融合的 VLA 骨干网络。
框架WebViSE自动将网页实现抽象为可重用视觉技能,构建多父DAG结构库。 使用Qwen3.8-Max时,自动演化结构以39.09%的检索成本超过非层级LLM检索基线。 支持即插即用注入任意模型,并可用于开源模型的数据合成管线以内化设计智能。
DynaReason-Pro 框架通过蛋白构象系综(conformational ensembles)联合预测 GO 术语并生成自然语言功能解释。 该模型在基于 PED 数据库的 IDP 基准测试中进行了评估,采用序列和结构簇分离(sequence- and structure-cluster-disjoint)数据划分以防止数据泄漏。
研究人员提出基准评测 InfiniteWorld,通过系统化改变物理参数的模拟视频考察视觉语言模型的物理推理能力。 该基准包含五类任务及匹配输入设置,评估发现模型在地球常规问题中表现良好,但在观测物理规律改变时仍偏好使用熟悉规则,导致识别能力不足。
视觉语言模型在准确恢复局部事实的同时,仍会出现显著的全局决策失效。 以 Gemma-3-27B 为例,其在八项视觉实例中正确恢复了所有隔离项事实,但全局有效性仅为 19.75%。 这表明仅靠事实恢复和解决方案信息表征不足以实现可靠联合决策,需针对性优化证据结合能力。
HFG-MAIRL 框架结合多智能体最大熵逆强化学习与人类反馈,用于建模交互驾驶行为。 该框架通过局部化马尔可夫博弈建模车辆交互,利用有限边缘响应迭代避免联合动作空间指数增长,并采用 Bradley-Terry 似然将驾驶员情绪标签转化为序数偏好约束。 实验基于 AIDE 数据集表明,该方法在决策建模上优于 IRL 基线,并生成可解释的反馈对齐奖励模式。
在视觉候选项基准测试中,基于独立编码的 Iris 模型实现了 78.4% 至 74.8% 的准确率,且对候选项顺序变化具有完全不变性(翻转率为零)。 该系统保持决策模块不变,通过让每个候选项独立读取请求状态,在保持顺序不变性的同时,利用共享状态 pass 和分叉 cache 降低了延迟。在 K=2048 的场景下,重用图像候选项可将推理延迟降低 191 倍。
研究引入 Power-of-Two Leaky Integrate-and-Fire (PoT-LIF) 神经元,通过发出幂级幅值脉冲实现视觉语言动作模型的稀疏计算。 该模型集成至 $\pi_{0.5}$ 的视觉及动作投影层,在 LIBERO 闭环任务中成功率达 97.25%,能效降低 86.95%。 PoT-LIF 无需重构预训练策略,支持在保持性能的同时显著降低部署能耗。
轨迹对抗蒸馏(TAD)将OpenVLA-OFT在ManiSkill PutOnPlateInScene25Main任务上的success_once成功率从26.2%提升至76.6%。 TAD通过比较教师与学生轨迹的判别器提供奖励,无需在线教师查询或环境任务奖励。该方法以白盒在线蒸馏为基准,在5.0个百分点的差距内实现了同等优化效果。
研究发现 LLM 生成文章回流为输入时,完整虚假声明出现率最终轮增加 7.29 个百分点,但明确支持减少 8.33 点。该结论基于 12 个事实目标和 4 个生产模型的受控社区写作过程验证。研究揭示了错误通过信息供给而非立场表达持久化的机制,推动对模型发布物影响的评估。
SMART-Med 提出本地化多智能体医疗推理方法,通过不确定性路由机制决定何时直接作答或启动协作。该方法在四个基准测试中性能具竞争力,推理时间减少 3.8 倍以上,token 使用量降低 72%。经 MedVR-3K 微调后,其在多个数据集上平均表现提升 6.7%。
summary_zh: 研究人员提出FraudSociety,这是首个基于LLM智能体的模拟器,用于联合建模金融欺诈中的信息动态与财务动态。 该模拟器通过动态社会环境和持久财务账本形成反馈闭环,验证显示前10%受害记录占81.1%总损失,且最佳干预策略将重复支付率从49.4%降至10.9%。
该研究提出统一的大模型全阶段训练框架,建立涵盖数据、目标函数、优化策略等六个维度的分析体系。 系统回顾了2017至2026年间的395篇核心参考文献,其中约79%为经过同行评审的A+B级证据,并构建了跨阶段效应概念图。 明确了预训练对后训练的前向约束,以及后训练对数据与预训练的逆向赋能机制,并识别出10个可验证的开放问题。
针对工程规范层级复杂、多模态且密集互引用的特性,提出GEMS-RAG框架以提升大语言模型的联合推理能力。该框架结合层级解析、细粒度视觉实体提取及多模态知识图谱构建,实现基于图的混合检索。在MUTCD评估中,其检索效果与问答性能优于纯文本、多模态及基于图的RAG基线。
研究者发布 Isharah-Selfie,一个包含 8,997 段视频、由 16 名手语者表演的大规模阿拉伯语手语数据集。 该数据集完全通过智能手机前置摄像头在自拍条件下采集,涵盖 1,493 个独立句子,支持连续手语识别和手语翻译任务。 基准测试表明,当前方法在未见句子评估下,针对自拍式单手手语的生成泛化能力仍较弱。
Anthropic 分享了其科学家与六家制药机构及自身团队在药物研发中应用 Claude 的早期结果。 这些合作深入研究了 Claude 支持药物开发各阶段的能力。 文章阐明了该工作与 Anthropic 在生命科学领域宏大愿景的契合点。
Liquid AI 发布新一代开源 Liquid Foundation Model(LFM3),将文本、视觉、音频、omni 和决策任务放入同一 2B 级底座,所有模型都可在单卡上微调并部署到边缘设备。
推荐理由:Liquid AI把六种模态压进2B级开源权重,并用同一底座和单卡微调路径解释它如何落到边缘部署。
Property Finder 发现其 96.8% 的评估标签直接继承自单一模型预测,导致评估基准系统性偏向现有模型。 团队通过 356 张 UAE 图像的人工独立标注建立无偏基准,结合演化提示优化将成本降低 86% 并提升准确率。 该案例展示了避免循环评估陷阱的方法,确保模型对比基于真实正确性而非现有模型行为。
Google DeepMind 发布新一代世界模型 Genie 4,这是首个能实时生成原生音频和交互式对话的世界模型,支持用户通过自然语言实时调整场景。Genie 4 依托 Gemini 模型家族实现物理规律仿真和复杂事件推理,目前作为研究预览版本向可信测试者开放,未来将面向 Project Genie 用户和 Gemini API 合作伙伴推出。
推荐理由:原文展示了Genie 4如何将Gemini的推理能力与实时音视频生成结合,帮助读者理解世界模型在机器人训练和交互体验中的具体落点。
研究人员提出名为 Genotypic Trigger 的后门攻击,通过操纵生成式抗菌肽模型,使特定 HLA 等位基因携带者的预测免疫原性风险较天然肽平均增加 743%。 攻击后的模型保留或提升了抗菌活性和低毒性等核心属性,使其能通过常规安全筛查。 该研究揭示了当前肽生成模型验证流程中忽视药物基因组学盲区的风险。
HealthAgentBench是一套包含75个智能体医疗任务的基准,由研究人员发布。 该基准覆盖9个类别,任务要求智能体在复杂环境中处理原始数据并执行多步操作,如查询大型数据库或解读病理图像。测试显示,Claude Code Opus-5.5以57.3%的成功率领先,各AI智能体在CT和MRI等专业影像模态上的表现普遍较弱。
研究者发布基于 Android Automotive OS 的 Automotive-ENV 基准,包含 420 个任务,用于评估多模态模型在汽车座舱环境中的表现。
多项多模态大语言模型(OpenAI O1、Gemini、Grok、Llama 等)被评估在真实交易文档上识别篡改文本、格式错位及金额不一致,顶级模型在零样本场景下优于传统方法,但在分布外数据表现仍不稳定。模型规模与推理能力与检测准确率相关性有限,任务微调可能更关键。
新框架 VisKG 利用强化学习将视觉内容转换为特定问题的知识图谱,在保留推理所需结构的同时过滤感知噪声。 该框架采用 GDPO 技术进行后训练,相比 GRPO 平均提升准确率 2%,且使用比基于图像描述的输入更少的 token。
论文提出 LLM-Cov 和 IBR 两个指标,用于量化大语言模型(LLM)生成内容在人类响应分布中的覆盖广度。实验表明,在创意构思与叙事任务中,LLM 的平均覆盖率低于同规模人类样本,且模型输出高度集中于人类响应空间中心,而非均匀分布。 该框架通过系统评估 LLM 生成内容的分布边界,为研究者衡量 AI 创作的“文化触角”(cultural reach)提供了可量化的实证方法。
研究团队发布 Pancasila-Dilemmas 数据集,包含源自印尼新闻的 1834 道难题,按宗教、人道等 5 项价值观分类。 经本土人士审阅及 5 名公民作答后,对 50 个闭源与开源 LLM 进行评测,结果显示 PMS 分数均低于 0.5。 该数据集揭示了 LLM 在宗教与团结场景下的显著价值观缺失,目前已公开发布。
ReVision 框架利用学习的选择器移除连续截图中的冗余视觉补丁,在保持空间结构的同时降低 token 成本。 在 OSWorld、WebTailBench 和 AgentNetBench 三个基准测试中,使用 Qwen2.5-VL-7B 处理 5 张历史截图时,平均减少 46% 的 token 使用量,成功率较无丢弃基线提升 3%。
研究利用稀疏自编码器揭示 LLM 情感识别偏好的因果机制,发现惊讶和恐惧依赖高集中度特征,而厌恶性状分布分散且易受愤怒特征压制。 研究执行两项干预实验,通过定向调节弱势因果特征和全局优化转向向量,以缓解特定情感失败并提升整体情感识别性能。
提出 BERAG 框架,利用贝叶斯规则逐 token 更新文档后验概率作为集成权重,以解决传统 RAG 中“迷失在中间”效应及计算成本随上下文长度二次增长的问题。 该框架支持并行内存使用和明确的文档贡献归因,在基于知识的视觉问答及多模态 needle-in-a-haystack 基准测试中显著优于标准 RAG,并能通过文档剪枝实现比标准 RAG 更快的解码速度。