BW-PO 基准测试 VLM 感知隔离:Gemma-4-31B 规划成功率升至 97%
VLM 规划器在遮挡诱导的部分可观测性下性能骤降,新基准 BW-PO 将现有模型成功率降至 1%。 提出 VLM-as-perceiver 范式,将 VLM 角色限定于局部感知,跨视图证据调和与规划交由外部求解器。 该方法使 Gemma-4-31B 成功率达 97%,Qwen3.5-122B-A10B 达 95%,Gemini-3.1-Pro 达 84%。
VLM 规划器在遮挡诱导的部分可观测性下性能骤降,新基准 BW-PO 将现有模型成功率降至 1%。 提出 VLM-as-perceiver 范式,将 VLM 角色限定于局部感知,跨视图证据调和与规划交由外部求解器。 该方法使 Gemma-4-31B 成功率达 97%,Qwen3.5-122B-A10B 达 95%,Gemini-3.1-Pro 达 84%。
基于可言语化工作区的运行时对齐监视器无法捕获模型的角色-填充绑定结构。实验在 Qwen3.6-27B 和 Gemma-3 系列模型上验证,线性探针在工作区读取角色时表现低于随机对照组。 这意味着该监视器会遗漏模型自身所表征的角色分配,且消融实验仅在 Gemma-3-27B-IT 上显示出绑定损伤。
基于 40 亿参数的 OceanGPT-basic-4B-Instruct,通过训练两个 LoRA 适配器构建 MarineSparkLM-4B。 每个适配器更新 3300 万参数(占 0.81%),在单台 NVIDIA DGX Spark 上训练耗时分别为 4 小时 40 分钟和 10 分钟。
在 CosyVoice 2 框架下,少量笑声数据搭配其他非语言声音(如咳嗽)可显著提升生成效果。仅用 200 条笑声样本加 3,200 条咳嗽样本,笑声端到端 F1 从 0.170 升至 0.529,超过 1,600 条纯笑声样本的 0.495。 该研究发现跨 Token 迁移在低资源非语言声音生成中具有互补价值。 这一结论为缓解非语言数据稀缺问题提供了新的技术路径。
研究人员通过结合固定角色说话人归因WER(SA-WER)评分器与回合级起始延迟奖励的强化学习可验证奖励(RLVR)方法,对基于LLM的流式自动语音识别模型进行后训练。
研究比较了 Pipecat、LiveKit 和 GPT-Live 在西班牙语电话货运费率谈判中的表现,GPT-Live 中位响应延迟为 2,444.8 ms,优于 Pipecat 的 2,616.0 ms 和 LiveKit 的 3,090.0 ms。
研究者推导了中心池化概念子可精确分解为平均极滤波器、均值分离更新和协方差形状更新的几何理论。 在五个语言模型的情绪、政治倾向等实验中,双极拟合比单极拟合更一致地提升两极证据强度。 研究发现概念子尺寸与逐层探针性能正相关,双极拟合在放大对立两极目标时表现更优。
SurveyWeave 提出一种智能体架构,将自动综述生成解耦为四个任务,由三个智能体协作完成,并引入 WeaveEval 评估指标。 该框架在全面对比中,比 Codex 高出 8 分,比最强 AutoSurvey 基线高出 6 分。
GPBam 包含 81 个德国公法案例及 200 部法规背诵任务,用于联合评估法律检索与长文本生成。 在无检索条件下,32 个模型得分介于 4.81 至 76.42 分之间;引入检索后,最佳提升幅度为 4.1 分。 该基准已发表于 JURIX 2026 会议,旨在量化法律意见对检索质量的需求。
summary_zh: 针对五个开源模型的研究显示,面对指代不明的问题,模型错误率从39.1%升至52.0%,但仅75.3%的错误答案包含不确定性表达。 在指代缺失时模型寻求澄清的比例为33.7%,专业领域问题失败率更高;性别代词遵循职业刻板印象,用户身份声明使答案长度增加约45%。
研究提出标准激活偏好合成(CAPS)框架,通过双重信号评分和归因过滤器,从显式质量标准中生成可归因的偏好数据。 使用 2 万条通用合成偏好对,CAPS 在 IFEval、IFBench 等基准上超越 3.5 万条人工标注数据;在法律任务中,基于公开法条使 Qwen3-8B/14B 提升 4.9 至 6.6 分。 该方法展示了显著的数据效率和领域迁移能力,并构建了 CAPS-Legal 偏好数据集。
summary_zh: 低资源ASR微调模型whisper-large-v3-turbo在公开榜单上以9.02% WER超越11.93%基线,但在独立构建的FLEURS-TR基准上反而弱于未修改基线,这种现象被称为声学收窄。
ReVision 提出无训练测试时方法,将内在重新审视作为可选动作与搜索、代码执行并行,解决工具增强视觉问答中的答案反转问题。 该方法在六个基准上性能提升1.28%至7.51%,超过Dual-Rollout Combine五项,且推理token使用量与标准工具使用相当。
新工具 Q-Pain++ 通过固定临床内容并独立变异风险因素与剂量选项粒度进行 LLM 阿片类药物处方审计。在原本不变的病例中添加中间剂量选项,显著降低了大多数模型与专家标注剂量的匹配度。 通过检索引入围手术期指南可平均减少这种框架效应,但无法消除它,且单个模型的决策会因检索段落顺序改变而变化。研究代码及相关资源将在 GitHub 开源,14 页论文包含 6 图 6 表。
本研究通过分析Dread论坛67,976篇帖子和305,048条评论,绘制了地下欺诈生态系统的六阶段价值链。 研究揭示了少量"桥梁者"用户维持了生态系统的结构凝聚力,同时发现生成式AI在知识构建阶段饱和但在操作阶段渗透率低。 该网络分析框架为执法部门提供了针对性的高影响干预手段。
EmoTrace 提出一种递归轨迹分解生成方法,解决现有模型在长程对话中情感支持连贯性不足的问题,在标准基准测试中显著提升策略规划与回复生成效果。 该方法将对话轮次建模为包含寻求者状态、支持者策略等因子的结构化增量,通过价值引导与轨迹条件化机制优化生成过程。 多轮对话中的保留结构化轨迹在扩展对话中产生复合收益,为持续性情感对齐提供了稳健机制。
提出FlashREINFORCE框架,实现无评论家单轨迹异步强化学习,解决长程智能体中的组同步与覆盖问题。 在DeepSeek-R1-Distill-Qwen-1.5B上稳定完成6000次更新,在Qwen2.5-Math-1.5B上以半量rollouts超越GRPO基线1.7个百分点,并成功扩展至Qwen3-30B-A3B模型。
提出 Skill Transfer 方法,在固定技能能力上限和模型参数的前提下,通过抽象强/弱轨迹为类型化执行结构并计算图编辑距离(GED)来诊断修复技能,使弱 Agent 能有效执行原本由强模型隐式补全步骤的技能。该方法在三个基准测试和两个模型族上显著提升了未修改技能的通过率,并优于其他技能进化基线,且能正向迁移至强 Agent 及分布外任务。
针对多语言事实核查场景,研究构建包含英语、德语等 190 条声明的数据集,测试模型在证据缺失或误导下的表现。 实验表明,误导性编辑使 Llama 3.1 8B 的英语准确率从 80.00% 跌至 16.84%,且低资源语言性能下降更显著;机器翻译可部分恢复差距,但裁判评分衰减慢于准确率,显示自动评估低估了性能退化。 研究警告不应在嘈杂多语言证据上部署 LLM 事实核查,并开源了数据集与评估代码。
该研究通过配对消融设计,分析了定义、对象等六种数学上下文组件对生成目标对齐猜想的影响。实验涵盖 12 篇论文中的 61 个定理,共生成 793 个猜想,发现各上下文组件具有互补性。 局部数学对象提供了最强的独立信号,而移除结构约束和条件会导致目标对齐程度显著下降。研究结果表明确保相关对象识别与允许声明约束的信息结合是生成目标对齐猜想的关键。
研究人员推出混合领域基准 CondRelBench,包含 3,000 个合成段落、200 篇 PubMed 论文和 695 条 Reddit 帖子,旨在评估大模型对条件受限关系的理解能力。
summary_zh: 该研究提出一种方法,利用公开在线健康论坛构建无偏见、注重隐私的医疗问答数据集,并采用主题引导语义建模(TGSM)实现自动化标注。 基于检索器-读者架构,研究通过微调 BioBERT 等模型提升性能,实验结果证明其显著优于现有基准,为构建高效医疗问答系统提供了可复制框架。
研究显示 LLM 裁判在医学评估中存在自我偏好,8 个模型在 13,760 次判断中均倾向于给自身生成的答案更高排名或分数。在 Real-POCQi 测试中,合并后的 Answer Rank Bias 为 +1.22 位置,揭示生成者身份仅使该偏倚平均减少 0.094 位置。临床 AI 部署应使用多模型裁判小组以增强评估公正性。
SEMPA是一个无需训练的Agentic框架,在MIMIC-IV数据集上药物推荐的F1分数达到0.7295,药物相互作用率降至0.0172。 该框架结合分子感知检索与语义锚点约束,使F1分数比最强监督基线提升57.7%,药物相互作用率降低77.5%。 六类基座模型实验证实增益源自框架本身而非特定模型,已被EMNLP 2026接收。
提出名为 SUM 的语义效用模型,将群体级语义感知与个体级效用决策分离,解决了现有提示词代理中连续特征控制失效及推理成本随代理数量增长的问题。 在 A 股限价订单簿市场实验中,SUM 表现出比基于提示词的代理更稳定的单调行为控制,并显著降低了随种群扩大而产生的重复语言模型推理成本。 闭环模拟复现了市场方向性响应、波动率持续性、差异化投资风格及持续的财富异质性。
研究团队提出首个LLM智能体经济安全评测基准EconSafeBench,包含828个案例和30期动态交互。 该基准覆盖5类经济场景和4类安全违规,匹配评估用户请求、其他参与者压力及自身绩效目标三种压力源。 对8个LLM模型的静态评测显示整体违规率介于8.5%至40.6%之间,证明在部署至高风险经济环境前需强化安全对齐与严格评测。
研究提出 CoT2Graph 框架,将 Chain-of-Thought 表示为有向依赖图并借助图神经网络分析推理质量。 该框架通过归因方法识别结构模式,基于图的信号比树结构方法高 2.5%、比长度基线高 7.8% 地预测答案正确性,并提升 Best-of-N 选择效果。 该工作已被 EMNLP 2026 Findings 接收,论证了从序列级评估转向结构化分析的必要性。
本文提出一种生成-过滤管线,通过前向一致性指标验证错误推理路径能否还原学生的实际错误答案,并利用LLM评估其现实性。 该研究发现,多数大语言模型难以在推理过程中维持错误逻辑,而小型监督微调模型能有效捕捉这些发散路径。 这项工作为高保真错误轨迹生成提供了框架,推进了非合作型用户模拟。
研究对比了 85 个真实照护者问题在四类回答者(同伴、医生、ChatGPT、CareGPT)中的响应差异。 使用 28 项指标分析发现,LLM 回答风格正式冗长,礼貌度高于同伴,信息量与医生相当,但缺乏叙事性。 研究建议采用结合 AI 结构化交付与人类独特优势的混合系统支持照护者。
研究利用 Jacobian Lens 对 Qwen3.5-4B 内部表征进行 Neutrosophic 解读,发现平衡因子 B 随证据极性变化,幅度约 3 个数量级。 在 9/9 层中 p < 10^-6,Cohen's d 达 2.3-2.5,且能区分真假信念;该模板对照协议为审计语言模型内部提供了新工具。
团队发布ScopeBench基准,涵盖49国3,323条规范,评估21个前沿LLM的文化范围感知。 测试发现主导错误类型随提示格式反转:单选分类中范围收缩错误率达70%,独立判断时范围膨胀达33%。 准确率与安全行为解耦,六大分类器在范围违背声明上的有害响应率仍达40%-42%。
研究人员提出首个多轮对话投资建议检测框架,针对 LLM 金融助手的隐性建议风险。 该方法采用模块化合成数据生成管线,通过 LLM-as-a-Judge 进行评估,结果显示上下文建议检测比顺序案例更具挑战性。 这项工作为高风险合规领域可扩展的护栏开发奠定了基础。
研究发现前沿大语言模型在将临床文本映射到 SNOMED CT 时存在严重幻觉,导致其目前不适用于自主临床编码。研究指出限制模型使用真实提及片段会加剧而非缓解幻觉,并提出了包含废弃代码和跨本体错误在内的幻觉类型分类体系。 结果显示通用 LLM 性能显著低于专门的零样本实体链接方法,凸显了在临床部署前需要建立健壮的验证机制。
EndoUT 提出基于内生偏好扰动的框架,发现可跨输入复用的 LLM 通用对抗触发器。 在 4 个指令调优模型和 9 个基准上,固定触发器使无害任务效用平均降低 40.2 个百分点,且优于所有评估基线。 消融实验表明,源端选择后固定复用的策略在跨提案者迁移中比空上下文固定复用或逐输入生成具有更强的迁移效果。
研究者提出“计算架构解离”方法,利用视觉语言模型的架构特性预测失语症患者的错误类型。 使用 LLaVA 1.6 (Vicuna-13B) 对 88 名患者和 175 个命名项目进行了约 3700 万次测试。结果显示 8 种错误类别中有 6 种在语义阶段与患者模式显著对齐(Spearman ρ = 0.32-0.50),但音韵编码阶段无对齐。
研究提出覆盖 5 种语言的多任务语音标记基准 OmniTag-Bench,评估 10 个开源多模态 LLM 并微调 Qwen3-Omni。基准揭示非英语语音常被强行转录或翻译为英语,导致 WER 上升;微调提升 NER、情感识别及 WER,并在未见过的荷兰语上实现泛化。
该 LLM 驱动的自动化框架在三项材料科学筛选任务中表现优异,11 个模型中 7 个平衡准确率超 0.90,最高达 0.96-0.98。 框架在 4 分钟内完成 10,000 条记录筛选,对比人工所需的 83 人时,效率提升显著。 通过提取全文结构化信息,该框架可揭示方法趋势,支持假设发展与数据驱动发现。
研究通过构建反事实数据集,发现大语言模型在残障用户披露身份后,会以更高层级的摘要替代形式化解释,导致认知可及性降低。 研究提出“认知幼稚化偏见指数”和“认知可及性响应得分”两个复合指标,在五个开源权重模型族中验证了该效应,其中物理和数学领域受影响最大。 该现象揭示了“包容性税收”,即残障用户需比非残障用户更明确地请求严谨内容,可及性应意味着格式适应而非内容简化。
Mizan 基准测试 16 个 AI 模型在「谁算 hostage」问题上的用词一致性,结果 3072 条回答显示多数模型对以色列人几乎总答 hostage、对巴勒斯坦人则常答 detainee。
华盛顿大学圣路易斯分校的研究团队在《Nature Medicine》上发表了OpenScientist,这是一个开放的多智能体AI系统,旨在自动化生物医学研究流程,如文献分析、假设生成和临床发现。论文介绍了该系统在神经退行性疾病等临床场景中的应用,并强调了其在整合多模态数据和协作式智能体工作流方面的创新。