OmniBehavior 发布首个基于真实数据的 LLM 长期跨场景用户行为模拟基准
研究团队推出 OmniBehavior,这是首个完全基于真实世界数据构建的预测性用户模拟基准,整合了长期、跨场景及异质行为模式。 基准实证了旧有孤立场景数据的局限,并揭示 SOTA LLM 在预测复杂行为时表现不佳,即使扩展上下文窗口,性能仍陷入停滞。 评估发现 LLM 模拟存在“乐观平均人”结构偏差,导致个体差异与长尾行为丢失,指出了高保真模拟研究的关键方向。
研究团队推出 OmniBehavior,这是首个完全基于真实世界数据构建的预测性用户模拟基准,整合了长期、跨场景及异质行为模式。 基准实证了旧有孤立场景数据的局限,并揭示 SOTA LLM 在预测复杂行为时表现不佳,即使扩展上下文窗口,性能仍陷入停滞。 评估发现 LLM 模拟存在“乐观平均人”结构偏差,导致个体差异与长尾行为丢失,指出了高保真模拟研究的关键方向。
DeALOG 提出了一种用于多模态问答的去中心化多智能体框架。该框架利用共享自然语言日志作为持久记忆,通过 Table、Context 等专业化智能体协作进行误差检测与验证。在 FinQA、TAT-QA 等多个基准测试中表现具有竞争力,展示了可扩展性。
研究团队构建了包含80万条目、覆盖20种语言的多语言医疗数据集 GlobMed,并评估了56个大语言模型,发现低资源语言性能存在显著差异。 团队训练了参数量1.7B至8B的 GlobMed-LLMs 模型,在12种语言上平均性能提升近40%,低资源语言最高提升超3倍。 这些资源为 LLM 在全球医疗领域的公平发展和应用奠定了基础。
该论文提出 Visual-Semantic Affect Graphs (VSAG) 图框架,利用可解释特征节点进行艺术品主导情绪预测。
在冻结视觉语言模型(VLM)前提下,通过自主进化搜索推理程序,显著提升科学图表问答准确性。平均准确率从16.6%提升至41.3%,最大单次提升达55.2个百分点,且进化后程序比初始快3.8倍。
双专家框架RoR在2026 AI City Challenge交通异常推理赛道中排名第一,平均得分为0.6788。 该框架通过LoRA微调9B模型处理结构化轨迹,并微调4位量化27B模型吸收注释风格,使用无训练LLM裁判进行问答。
研究发现深度神经网络依赖的非鲁棒特征具有对抗性,可作为Natural Jammers在干净图像上主动误导标准模型。 通过对比标准模型与鲁棒模型的差异,研究定位了鲁棒模型表现更优的Jammed Set,并证实干扰源于高频分量与空间结构的Spectral-spatial Locking,破坏该锁定关系即可恢复正确预测。
研究团队提出 AndroidFlux 基准,用于评估移动多模态智能体在 Android 环境中的错误恢复能力,并构建了配套的奖励建模基准与离线强化学习数据集。 AndroidFlux 基于 AndroidWorld 构建,通过恢复记录轨迹至受控检查点,使不同智能体从相同设备状态和历史继续任务;奖励建模基准则评估恢复动作偏好。
研究人员提出 MIS-VQA,一个通过注释驱动管线构建的手术视觉-语言数据集,支持四类响应类型。 基于 EndoVis18 和 CholecT50 数据,将相位、器械、交互等标注转化为结构化文本表示,生成临床一致性问题-答案对。 引入 LLaVA-SurgXpert 模型族,实验显示其在现有手术 VQA 基线上取得一致提升,并揭示感知定位与高层推理间的能力差距。
SATE-Bench 提出了一种包含316个真实场景和2525个多轮问答对的新基准,用于评估多模态大语言模型的视觉自我意识和主动视角探索能力。 该基准结合被动多视角控制和主动探索设置,模型从严重遮挡视角出发,需迭代查询相邻视角直至获得足够证据,并按步骤惩罚的效率奖励评分。
研究通过反事实干预评估视觉语言模型在图文冲突时的模态跟随能力,提出基于新词嵌入学习和反事实双边际(CTM)监督的方法。 该方法仅训练视觉与文本接地新词的嵌入向量,固定预训练模型参数;在三个基准上,单一学习嵌入即可提供轻量化视觉控制且泛化退化小。 结果表明可靠模态控制需测试模型是否持续跟随选定模态的编辑,而非仅回答正确;LoRA在整体表现最强,但视觉优势在留出评估中缩小。
Scan2Instruction 结合 PRPT-KS 算法,通过单次 iPhone 扫描实现语言引导导航策略的免人类演示适配,将 RealNav 真实机器人成功率提升至 85%,显著优于基线的 49%。
PathKGen 引入病理知识图谱辅助 MLLM 生成可解释的病理报告,解决黑盒推理问题。 模型包含视觉路径与知识路径,后者通过查询图谱提取形态特征生成知识 token。 在 WSI-Bench 评测中,PathKGen 性能超越此前 SOTA 方法,并以直观图展示推理过程。
Meta-CLIP通过利用DICOM头部信息优化跨模态负样本加权,提升医学影像零样本疾病推断性能。在CT-RATE数据集上,其宏观AUROC比CT-CLIP高1.41分。
研究发现,强化学习可验证奖励(RLVR)训练的大视觉语言模型在图像质量评估中,其表现提升主要源于对分布内数据的过拟合及对文本线索的捷径利用,而非对显式推理链的更强依赖。
该多模态框架整合平台元数据、语音转录及视觉语言描述,利用大语言模型从9,852条TikTok视频中提取主题与沟通策略指标。 在16位创作者的7,311条分析样本中,框架与两位独立专家标注者在6个二元指标上达成0.40的Cohen's κ一致性。 该模块方法支持大规模比较分析,实现了可扩展标注、透明聚合及特定构念验证的平衡。
语言模型在动态评估中通过梯度步降低损失。Softmax 模型在 2k 窗口下比 32k 冻结模型少 5-8% 损失,而 Gated-DeltaNet 模型增益不足 1%。 扩散模型效果更显著,Nemotron-Diffusion-8B 提升 8%,DiffusionGemma-26B 提升 17-20%。该适应主要改变风格与词汇,无法恢复被截断上下文导致的检索准确率损失。
真实性标签能修正LLM对错误新闻的情感评级,如Claude的自信度评分从22%升至99.6%,但无法消除种族差异。 在84项显著对比中,模型对黑人角色的负面情绪评分仍高于白人,且该偏见与新闻内容无关。
研究提出在连接式语音大模型中扩展新语言时保持源语言性能的方法。单目标扩展中 SSU-Wanda+TIES 策略在源保留与目标习得间平衡最佳。
研究表明,用户反驳时若提供答案字符串,正确答案转化率至少为单纯追问的四倍。四种置信信号在Qwen2.5-7B上表现不一,冻结探针随答案持久性而非真实性上升。 在Qwen2.5-7B的81个错误中,无答案字符串的修复率均低于0.15,而提供金标准答案可修复75-95%的错误。
研究者发布首个中文多障碍心理健康数据集 MATCHA,包含 46,025 名用户和 180 万条微博。 该数据集涵盖 7 种 DSM-5 障碍及对照组,通过 LLM 辅助标注管线区分自述证据,并以去标识化格式受控发布。 分析显示微博与推特跨平台差异常超过跨障碍差异,为跨语言心理健康 NLP 研究提供新资源。
论文提出诊断基准 Culture-MMT,用于评估社交媒体翻译中分布式证据的重建。该基准包含 498 个脱敏 UGC 实例,覆盖 20 个领域,分为 Symbol、Visual 和 Hybrid 三类。
该研究探查 Mimi 编解码器第一码本(CB0)的音素表征。 采用强制对齐与 PNMI 指标发现,单个 token 与特定音素强相关(PNMI=0.84),但音素由多个竞争 token 实现。 该工作发表于 ICNLSP-2026 会议。
ImgMT 是一个包含 35,612 个对齐图像对的大规模多语言数据集,涵盖 129 种语言和 4,886 种语言对。 该基准源自 Wikimedia Commons 的本地化 SVG 插图,重点评测图表、地图和信息图。基准测试显示,源语言书写系统显著影响图内文本翻译(TIT)质量。 研究表明 ImgMT 不适合用于隔离多模态翻译中视觉信息的贡献。
研究构建首个配对英译九语习语数据,基准测试11种常规指标与10个LLM。 绝大多数系统存在字面偏差,仅MetricX-24-Hybrid和Gemma-4-31B稳定偏好意译。 结果警示标准QE指标在隐喻密集领域的误判风险。
针对现有基准缺乏文化深度的问题,研究团队基于伊博本土文化源构建了经母语者验证的 CAB-Igbo 基准,涵盖 6 个领域。 评估显示 Gemini 2.0 Flash 是唯一在伊博语提示下文化知识得分提升的模型,多数模型存在严重的事实忠诚度与表征丰富度缺失。 该研究表明自动化评判在事实忠诚度上失效,确立了人类评估作为衡量低资源社区文化对齐的黄金标准。
针对低资源孟加拉语共指消解任务,研究发现少量高质量标注数据的表现显著优于大规模混合质量数据集(p < 0.01)。 具体而言,包括回译在内的数据增强不仅无法提升性能反而导致结果退化;且跨语言迁移缺乏一致性,部分多语言模型嵌入空间坍缩,不适合相似度聚类任务。
该研究提出基于现有可验证任务的多层次评估框架,将家庭协作与日程调度任务扩展至非对称信息场景。评估涵盖世界理解、信念恢复、决策及执行六个独立层面。 实验结果显示模型在信念恢复与决策利用间存在显著偏差。Claude 能正确恢复所有代理信念,但在匹配调度任务中仅生成 67.9% 的主观最优计划。 该框架证实心智理论评估需结合独立验证的决策与任务结果,而非仅依赖故事问答。
研究显示,同一条2.43美元项链在正式着装照片中估价是平铺照片的1.9至3.3倍。 该效应无需图像输入,纯文本描述背景时估价偏差比率为2.2至3.9倍;平铺估价本身已偏离收据价7.8至18.7倍。 模型对同一背景的价格评估并非基于客观事实,上下文背景显著影响了估值结果。
为突破 LLM 上下文窗口限制,CoLink 框架通过构建主题图并链接外部知识,实现多轮对话的全局感知。 该框架基于信息论推导优化目标,利用竞争槽位机制将长历史压缩为紧凑潜变量,有效解决了检索冗余问题。 在公开及 MMD 数据集上的实验验证了 CoLink 在知识链接和语义建模上的优越性与泛化能力。
研究构建覆盖 18 种语言的人工验证数据集 PerspectivesQA,并提出 ROOTS 框架,用于系统剖析 LLM 在语言、视角及框架层面的多样性。 评估 8 个不同规模与来源的模型发现,LLM 在英语中倾向于模糊回答,而在低资源语言中更直接表态;大模型跨语言世界观更一致,所有模型对表面输入变化均高度敏感。
研究团队提出在线多模态 QA-Solver 协同训练框架 MTA-Zero,无需预计算语料库即可实现多模态深度搜索智能体的自我改进。 该框架通过可训练的 QA 生成器在线构建验证过的多跳问题,并基于 Solver 的组别成功率计算 Goldilocks 奖励以聚焦学习前沿,使用 GRPO 独立优化两者策略。
summary_zh: 研究人员提出 LLM 机器翻译评估器家族 ORBIT,其最强配置在错误跨度检测及准确性、流畅度排序上达到专家级表现,成本约为人工专家标注的 1/20。
ARMOR-DP 提出一种模块化框架,通过逐语言验证损失动态更新采样比例,以应对多语言模型训练中弱势语言的实时变化。 实验表明,字节级编码可消除中文表示偏差,且动态控制器在分数与平衡的权衡上优于固定保护策略。 该研究证实多语言弱势是训练时状态而非固定属性,该论文已被 EMNLP 2026 BabyLM 研讨会接收。
研究人员提出免训练方法 SEDATE,采用“检测-编辑-验证”策略,通过定位并编辑负责攻击性的神经元来提升 AI 安全性。 该方法在 7 种语言和 4 个模型族上进行了评估,并在 4 种分布外语言及 4 个额外数据集上验证了鲁棒性。 结果显示,SEDATE 在保留通用能力且开销极小的情况下,安全得分显著优于最佳基线。
Propasafe-Hybrid 是一种句级系统,整合微调的 Transformer 分类器与基于 LLM 的技术分类,用于识别、标注并解释特定的宣传策略。 该系统通过成本感知预过滤阶段,仅将高概率句子转发至 LLM,在保持决策逻辑的同时减少 token 使用量,提升了句级宣传检测的可解释性、效率和实用性。
大规模实验发现,人类的典型性推断受常识知识、话语强调和讽刺(CUES)预测。 LLM在多数设置中缺乏必要的常识知识,导致其难以遵循这些线索。研究构建了EventTyp和EventTypGold两个语料库支持分析。
EviGround-CT 提出了一种后验方案,通过确定性的正向发现句子提取器和 3D 定位模型预测证据掩码,以验证 LLM 生成的胸部 CT 报告中的阳性发现。
合并式词汇扩展无法解决 Llama-3 和 Qwen3 分词器对尼泊尔语的多余分词问题,导致其 token 消耗比英语多 2.6 至 5.8 倍。 修复正则表达式后,使用 3.2 万个新合并项可将尼泊尔语 token 量降至英语的 1.01 倍,比标准扩展减少 54%。 该修复在 Llama-3.2-1B 和 Qwen3-0.6B 的持续预训练中被测试,作者已发布相关 tokenizer 和代码。
针对历史档案 OCR 评估,引入实体级分析作为传统 CER 指标的补充,以衡量姓名、日期等关键信息的保留程度。 研究基于 Berrutti Archive 基准的 175 份文档及 5,209 个人工标注实体,对比序列识别、OCR 专用 VLM 与通用 VLM。