跳到正文
10月27日周二
  1. arXiv · NLP31

    OmniBehavior 发布首个基于真实数据的 LLM 长期跨场景用户行为模拟基准

    研究团队推出 OmniBehavior,这是首个完全基于真实世界数据构建的预测性用户模拟基准,整合了长期、跨场景及异质行为模式。 基准实证了旧有孤立场景数据的局限,并揭示 SOTA LLM 在预测复杂行为时表现不佳,即使扩展上下文窗口,性能仍陷入停滞。 评估发现 LLM 模拟存在“乐观平均人”结构偏差,导致个体差异与长尾行为丢失,指出了高保真模拟研究的关键方向。

  2. arXiv · NLP40

    GlobMed-LLMs:构建覆盖20种语言的多语言医疗大模型

    研究团队构建了包含80万条目、覆盖20种语言的多语言医疗数据集 GlobMed,并评估了56个大语言模型,发现低资源语言性能存在显著差异。 团队训练了参数量1.7B至8B的 GlobMed-LLMs 模型,在12种语言上平均性能提升近40%,低资源语言最高提升超3倍。 这些资源为 LLM 在全球医疗领域的公平发展和应用奠定了基础。

  3. arXiv · NLP26

    Natural Jammers:当非鲁棒特征成为对抗性干扰

    研究发现深度神经网络依赖的非鲁棒特征具有对抗性,可作为Natural Jammers在干净图像上主动误导标准模型。 通过对比标准模型与鲁棒模型的差异,研究定位了鲁棒模型表现更优的Jammed Set,并证实干扰源于高频分量与空间结构的Spectral-spatial Locking,破坏该锁定关系即可恢复正确预测。

  4. arXiv · NLP47

    AndroidFlux:评估与奖励建模移动多模态智能体错误恢复能力

    研究团队提出 AndroidFlux 基准,用于评估移动多模态智能体在 Android 环境中的错误恢复能力,并构建了配套的奖励建模基准与离线强化学习数据集。 AndroidFlux 基于 AndroidWorld 构建,通过恢复记录轨迹至受控检查点,使不同智能体从相同设备状态和历史继续任务;奖励建模基准则评估恢复动作偏好。

  5. arXiv · NLP26

    MIS-VQA: 基于注释驱动的手术视觉-语言数据集

    研究人员提出 MIS-VQA,一个通过注释驱动管线构建的手术视觉-语言数据集,支持四类响应类型。 基于 EndoVis18 和 CholecT50 数据,将相位、器械、交互等标注转化为结构化文本表示,生成临床一致性问题-答案对。 引入 LLaVA-SurgXpert 模型族,实验显示其在现有手术 VQA 基线上取得一致提升,并揭示感知定位与高层推理间的能力差距。

  6. arXiv · NLP28

    SATE-Bench:评估多模态大语言模型在遮挡场景下主动探索空间理解的新基准

    SATE-Bench 提出了一种包含316个真实场景和2525个多轮问答对的新基准,用于评估多模态大语言模型的视觉自我意识和主动视角探索能力。 该基准结合被动多视角控制和主动探索设置,模型从严重遮挡视角出发,需迭代查询相邻视角直至获得足够证据,并按步骤惩罚的效率奖励评分。

  7. arXiv · NLP32

    视觉语言模型模态控制研究:基于反事实干预与学习嵌入的方法

    研究通过反事实干预评估视觉语言模型在图文冲突时的模态跟随能力,提出基于新词嵌入学习和反事实双边际(CTM)监督的方法。 该方法仅训练视觉与文本接地新词的嵌入向量,固定预训练模型参数;在三个基准上,单一学习嵌入即可提供轻量化视觉控制且泛化退化小。 结果表明可靠模态控制需测试模型是否持续跟随选定模态的编辑,而非仅回答正确;LoRA在整体表现最强,但视觉优势在留出评估中缩小。

  8. arXiv · NLP21

    用于衡量短视频创作者沟通的多模态框架

    该多模态框架整合平台元数据、语音转录及视觉语言描述,利用大语言模型从9,852条TikTok视频中提取主题与沟通策略指标。 在16位创作者的7,311条分析样本中,框架与两位独立专家标注者在6个二元指标上达成0.40的Cohen's κ一致性。 该模块方法支持大规模比较分析,实现了可扩展标注、透明聚合及特定构念验证的平衡。

  9. arXiv · NLP21

    语言模型思考时能否学习?跨架构梯度适应测试

    语言模型在动态评估中通过梯度步降低损失。Softmax 模型在 2k 窗口下比 32k 冻结模型少 5-8% 损失,而 Gated-DeltaNet 模型增益不足 1%。 扩散模型效果更显著,Nemotron-Diffusion-8B 提升 8%,DiffusionGemma-26B 提升 17-20%。该适应主要改变风格与词汇,无法恢复被截断上下文导致的检索准确率损失。

  10. arXiv · NLP29

    MATCHA:首个关联微博超级话题的中文多障碍心理健康数据集

    研究者发布首个中文多障碍心理健康数据集 MATCHA,包含 46,025 名用户和 180 万条微博。 该数据集涵盖 7 种 DSM-5 障碍及对照组,通过 LLM 辅助标注管线区分自述证据,并以去标识化格式受控发布。 分析显示微博与推特跨平台差异常超过跨障碍差异,为跨语言心理健康 NLP 研究提供新资源。

  11. arXiv · NLP36

    ImgMT:基于维基百科的图内文本翻译评测数据集

    ImgMT 是一个包含 35,612 个对齐图像对的大规模多语言数据集,涵盖 129 种语言和 4,886 种语言对。 该基准源自 Wikimedia Commons 的本地化 SVG 插图,重点评测图表、地图和信息图。基准测试显示,源语言书写系统显著影响图内文本翻译(TIT)质量。 研究表明 ImgMT 不适合用于隔离多模态翻译中视觉信息的贡献。

  12. arXiv · NLP25

    CAB-Igbo 基准测试:语言模型对伊博文化的理解

    针对现有基准缺乏文化深度的问题,研究团队基于伊博本土文化源构建了经母语者验证的 CAB-Igbo 基准,涵盖 6 个领域。 评估显示 Gemini 2.0 Flash 是唯一在伊博语提示下文化知识得分提升的模型,多数模型存在严重的事实忠诚度与表征丰富度缺失。 该研究表明自动化评判在事实忠诚度上失效,确立了人类评估作为衡量低资源社区文化对齐的黄金标准。

  13. arXiv · NLP23

    孟加拉语共指消解研究:数据质量比数量更重要

    针对低资源孟加拉语共指消解任务,研究发现少量高质量标注数据的表现显著优于大规模混合质量数据集(p < 0.01)。 具体而言,包括回译在内的数据增强不仅无法提升性能反而导致结果退化;且跨语言迁移缺乏一致性,部分多语言模型嵌入空间坍缩,不适合相似度聚类任务。

  14. arXiv · NLP21

    从信念推理到任务行动:基于可验证任务的大语言模型心智理论多层次评估

    该研究提出基于现有可验证任务的多层次评估框架,将家庭协作与日程调度任务扩展至非对称信息场景。评估涵盖世界理解、信念恢复、决策及执行六个独立层面。 实验结果显示模型在信念恢复与决策利用间存在显著偏差。Claude 能正确恢复所有代理信念,但在匹配调度任务中仅生成 67.9% 的主观最优计划。 该框架证实心智理论评估需结合独立验证的决策与任务结果,而非仅依赖故事问答。

  15. arXiv · NLP26

    研究揭示视觉语言模型在评估同一条低价项链时因背景不同产生显著价格偏差

    研究显示,同一条2.43美元项链在正式着装照片中估价是平铺照片的1.9至3.3倍。 该效应无需图像输入,纯文本描述背景时估价偏差比率为2.2至3.9倍;平铺估价本身已偏离收据价7.8至18.7倍。 模型对同一背景的价格评估并非基于客观事实,上下文背景显著影响了估值结果。

  16. arXiv · NLP20

    CoLink:多轮对话建模的全局压缩与知识链接框架

    为突破 LLM 上下文窗口限制,CoLink 框架通过构建主题图并链接外部知识,实现多轮对话的全局感知。 该框架基于信息论推导优化目标,利用竞争槽位机制将长历史压缩为紧凑潜变量,有效解决了检索冗余问题。 在公开及 MMD 数据集上的实验验证了 CoLink 在知识链接和语义建模上的优越性与泛化能力。

  17. arXiv · NLP31

    PerspectivesQA 数据集与 ROOTS 框架:剖析大语言模型在多语言争议话题上的视角多样性

    研究构建覆盖 18 种语言的人工验证数据集 PerspectivesQA,并提出 ROOTS 框架,用于系统剖析 LLM 在语言、视角及框架层面的多样性。 评估 8 个不同规模与来源的模型发现,LLM 在英语中倾向于模糊回答,而在低资源语言中更直接表态;大模型跨语言世界观更一致,所有模型对表面输入变化均高度敏感。

  18. arXiv · NLP34

    MTA-Zero:通过在线 QA-Solver 协同训练实现多模态深度搜索自改进

    研究团队提出在线多模态 QA-Solver 协同训练框架 MTA-Zero,无需预计算语料库即可实现多模态深度搜索智能体的自我改进。 该框架通过可训练的 QA 生成器在线构建验证过的多跳问题,并基于 Solver 的组别成功率计算 Goldilocks 奖励以聚焦学习前沿,使用 GRPO 独立优化两者策略。

  19. arXiv · NLP23

    ARMOR-DP 为多语言 BabyLM 提供动态采样框架

    ARMOR-DP 提出一种模块化框架,通过逐语言验证损失动态更新采样比例,以应对多语言模型训练中弱势语言的实时变化。 实验表明,字节级编码可消除中文表示偏差,且动态控制器在分数与平衡的权衡上优于固定保护策略。 该研究证实多语言弱势是训练时状态而非固定属性,该论文已被 EMNLP 2026 BabyLM 研讨会接收。

  20. arXiv · NLP42

    SEDATE:大语言模型是否跨语言共享攻击性电路

    研究人员提出免训练方法 SEDATE,采用“检测-编辑-验证”策略,通过定位并编辑负责攻击性的神经元来提升 AI 安全性。 该方法在 7 种语言和 4 个模型族上进行了评估,并在 4 种分布外语言及 4 个额外数据集上验证了鲁棒性。 结果显示,SEDATE 在保留通用能力且开销极小的情况下,安全得分显著优于最佳基线。

  21. arXiv · NLP23

    Propasafe-Hybrid:基于文本的混合宣传检测工具

    Propasafe-Hybrid 是一种句级系统,整合微调的 Transformer 分类器与基于 LLM 的技术分类,用于识别、标注并解释特定的宣传策略。 该系统通过成本感知预过滤阶段,仅将高概率句子转发至 LLM,在保持决策逻辑的同时减少 token 使用量,提升了句级宣传检测的可解释性、效率和实用性。

  22. arXiv · NLP28

    基于合并的词汇扩展在预分词器处停滞:一种保留英语的尼泊尔语修复方案

    合并式词汇扩展无法解决 Llama-3 和 Qwen3 分词器对尼泊尔语的多余分词问题,导致其 token 消耗比英语多 2.6 至 5.8 倍。 修复正则表达式后,使用 3.2 万个新合并项可将尼泊尔语 token 量降至英语的 1.01 倍,比标准扩展减少 54%。 该修复在 Llama-3.2-1B 和 Qwen3-0.6B 的持续预训练中被测试,作者已发布相关 tokenizer 和代码。

  23. arXiv · NLP30

    历史文档 OCR 系统的实体感知评估

    针对历史档案 OCR 评估,引入实体级分析作为传统 CER 指标的补充,以衡量姓名、日期等关键信息的保留程度。 研究基于 Berrutti Archive 基准的 175 份文档及 5,209 个人工标注实体,对比序列识别、OCR 专用 VLM 与通用 VLM。