跳到正文
11月18日周三
  1. arXiv · NLP42

    当检测不保证抵抗:RAG 中的推理与中毒上下文

    DeepSeek-V4-Flash 在启用推理后,中毒防护中的 Cordon Rate 从 0.205 降至 0.075,Leakage Rate 从 0.235 降至 0.140。尽管攻击成功率从 0.233 升至 0.298,且中毒检测率从 0.965 降至 0.665,Qwen3.6-Plus 也呈现出相同的定性模式。结果表明,检测中毒上下文与实际抵御其影响是 RAG 安全中的两个独立维度。

  2. arXiv · NLP22

    RICE-PO:将检索交互转化为推理智能体的信用信号

    研究团队提出无评论家(critic-free)策略优化框架 RICE-PO,用于训练基于推理的检索智能体。 该框架通过选择高不确定性可执行动作作为锚点,利用检索指标评估局部反事实分支,仅当推理对动作影响显著且未来残差效应稳定时,才将信用传播至潜在推理步骤。 实验显示,在 BRIGHT 和 BEIR 基准上,RICE-PO 在同一检索器设置下持续优于基于提示的智能体和基于群体的强化学习基线。

  3. arXiv · NLP38

    大语言扩散模型(LLDMs)的不确定性量化:首个系统性研究与轻量级零样本方法

    本研究首次系统探讨大语言扩散模型(LLDMs)的不确定性量化,提出基于去噪过程的轻量级零样本信号,并适应现有最先进UQ方法。 在3项任务、8个数据集和4个模型上的实验表明,该方法以最高100x更低的计算开销接近最强基于采样的基线,兼顾快速推理与可靠的幻觉检测。

  4. arXiv · NLP22

    TableVista:评估复杂视觉与结构下多模态表格推理的基准测试

    研究团队推出包含 30,000 个样本的多模态表格推理基准 TableVista,并对 29 个基础模型进行评估。 该基准将 3,000 个推理问题扩展为 10 种视觉变体,覆盖多样化场景风格、鲁棒性扰动及纯视觉配置。 评估发现当前模型在复杂结构布局及纯视觉设置下性能显著下降,揭示了其推理一致性存在的缺陷。

  5. arXiv · NLP45

    基于 MoE 架构的可控求助者模拟器:对情感支持模型的压力测试

    提出一种由 9 项心理与语言特征驱动的可控求助者模拟器,采用 MoE 架构训练以模拟多样化求助者行为。 该模拟器基于 Reddit 真实对话训练,实现了更高的特征遵循度与行为多样性,并用于评估 7 个主流情感支持模型。 该方法揭示了既有评测中隐蔽的性能退化,为情感支持对话系统提供了更忠实的高压测试框架。

  6. arXiv · NLP30

    NONSENSE 探针揭示稠密检索模型中的语义性缺口

    研究者提出的 NONSENSE 黑盒探针构造无意义字符串,在 5 个数据集和 3 种单向量检索器上频繁获得高分甚至排名第一。 这些高分字符串并非相关文档,证明现有稠密检索模型的相似度分数与语义证据脱节。 该结果强调了评估检索模型时,不仅要看相关性,更要看相似度分数反映语义证据的可靠性。

  7. arXiv · NLP41

    研究揭示 4-bit 量化对聊天模型安全行为的影响取决于特定舍入误差

    预注册研究显示,4-bit 量化导致 Qwen2.5-3B 和 Llama-3.2-3B 的拒答行为出现相反偏移,且该变化取决于特定舍入误差而非比特数或似然。 Llama-3.2-3B 在越狱攻击下的顺从率降低 10.3 分,其半幅误差下顺从率仍降 5.8 分,而随机或高斯扰动平均影响接近零。 每个量化构建必须与其原始版本对比,因为 4-bit 量化下的拒答行为无法由通用指标预测。

  8. arXiv · NLP21

    ClearTalk:基于数据驱动的普通话构音分析与儿童构音障碍个性化沟通支持系统

    ClearTalk 智能手表系统将普通话语音识别差异转化为可解释的构音剖面,支持 13 名构音障碍说话人的个性化练习。 系统在 13 名说话人上,音节级准确率与专家清晰度评估的 Pearson 相关系数达 0.908,自动标签 Cohen's kappa 为 0.76。 15 名儿童试点中,中重度组沟通轮次完成率分别为 66.7% 和 48.0%,验证了可穿戴设备辅助沟通的可行性。

  9. arXiv · NLP34

    决策模型能否替代 LLM 处理呼叫中心分类与判断任务

    研究在 8 个呼叫中心场景中对比 9 种决策模型与 13 种生成式 LLM,显示多数决策模型分类性能可媲美前沿 LLM。 API 型闭源决策模型单位请求成本最低,高置信度预测更准确,支持选择性路由;但多数决策模型极少选择“无答案”选项,且小模型判断质量急剧下降、位置偏差更明显。 研究为基于弃权行为、置信度和部署成本而非仅总体准确率的选择决策模型提供实用指导。

  10. arXiv · NLP30

    **title_zh**: TSW-NL:评估语言模型的荷兰语单词谜题基准

    **summary_zh**: 研究者提出荷兰语开放词汇基准 TSW-NL,包含 222 个实例,旨在通过确定性评分评估 LLM。 该基准源自 Wikipedia 消歧义页面,人工研究得分介于 49.5% 至 61.0% 之间,最高开源模型得分仅为 39.3%。 GPT-4.1 得分 59.2%,而 GPT-5.6 Sol 使用最大推理模式得分达 88.8%,显示闭源模型显著进步。

  11. arXiv · NLP22

    编码智能体中检查通过不等同于任务完成:证据解读研究

    针对编码智能体中验证程序无法保证正确判定任务完成的问题,研究提出需保留执行事实并限定证据范围。 十三项任务的前瞻性阶乘研究显示,正确报告的事实未必能得出请求的有限判定;122个留出集标签均正确,但16个响应误报事实且11个超出授权范围。 结果界定了证据解读的适用性,未证明通用的诊断优势或Skill退化效应。

  12. arXiv · NLP26

    契约显式评估:从审计学习型读者到范围证书

    提出契约显式评估协议,解决文档级关系抽取(DocRE)及LLM裁判中排名在评分契约下反转且无法确定哪些比较有效的问题。 该协议基于Kendall秩相关分解,通过预注册五步流程生成分布无关普查证书。DocRE审计中3个标记实例上限为0.146;LLM裁判普查中12.25%的比较需对冲,边界0.124。 协议、地图及工件已发布,明确置信度证书在真实分数下被撤回的失效边界。

  13. arXiv · NLP28

    LLM 增量实体解析中的画像累积效应:集群变大降低匹配门槛

    研究发现,在基于 LLM 的增量实体解析中,模型判断新记录归属时受集群规模影响,集群成员增加会降低匹配标准。 使用 Claude Sonnet 5 和 Haiku 5.5 测试显示,展示 16 个而非 1 个已验证成员时,同名公司的假匹配率上升;ROC 曲线下面积仅小幅增长,且单次错误合并会提高后续错误接受率。

  14. arXiv · NLP20

    对比人类与大语言模型对荷兰语多族裔变体 Straattaal 的隐含及显性语言态度

    研究显示 LLM 对荷兰语多族裔变体 Straattaal 存在类人的显性语言态度,其响应模式与人类参与者在相同显性评级任务中相似。 在 LLM Word Association Test 中,Straattaal 持续与有移民背景的个体关联,且较大、较新的模型表现出更强关联;人类在隐性和显性层面均强烈建立该关联。 研究凸显将社会语言学视角纳入 NLP 以识别和缓解内嵌的社会及语言偏见的重要性。

  15. arXiv · NLP32

    HindAudit 审计临床 Agent 基准中的后见之明偏差

    HindAudit 在 MIMIC-IV 27,489 例急诊病例中发现,基准摘要使 4 个 LLM 零样本准确率从 25.4% 升至 39.7%,病史升至 45.3%。 后见之明主要存在于病例文本中,给模拟器提供诊断对实验室结果泄漏影响微小,掩码诊断名不改变该差距。 由于 MIMIC 缺乏实时病史,该差距被视为后见之明效应的上限。

  16. arXiv · NLP33

    SAFE-Triage 多维度框架评估面向患者的急诊分诊 AI 工具

    SAFE-Triage 框架整合人工审核、自动化指标及 LLM 评估,在 40 个 MIMIC-IV 案例中对比 PLT 与 rPLT 分诊表现。 PLT 的急诊严重程度指数准确率更高(57.5% vs 42.8%),且低分诊率更低(13.1% vs 29.8%)。 该框架揭示准确率、通信质量与可读性间的权衡,支持部署前优化与持续监测。

  17. arXiv · NLP25

    语言模型能排序政党立场却无法定位程度:一项针对日韩政党的研究

    语言模型在对日韩政党进行相对排序时,表现比最强固定答案基线高出两倍以上,但在同一量表上定位单一政党时则低于该基线。 该结论基于 Comparative Manifesto Project 的编码数据,且研究发现提供编码值可将定位表现提升至接近满分,表明比较性问题和绝对性问题衡量不同的能力。

  18. arXiv · NLP23

    MInfoVisQA: 信息丰富视觉问答的多语言基准测试

    研究者推出 MInfoVisQA 基准,包含 24 种语言、8,960 个问答配置及 25 个多模态大语言模型评估数据。 该基准通过分离数值结构与文本生成并行视觉问答对,发现模型在跨语言场景下表现存在显著差异。 研究结果指出,平均准确率掩盖了鲁棒性差距,凸显跨语言敏感度指标在模型评估中的必要性。

  19. arXiv · NLP36

    CrisisBench: 针对危机咨询 AI 的评估套件

    研究人员发布隐私保护评估套件 CrisisBench,旨在测试大语言模型在危机咨询中的风险管理与去升级能力。 套件包含 1085 个单轮任务及 23 项评估维度,经专家校准后用于评测五个 GPT 模型。 结果显示生成增强检索模型多轮得分最高(0.961),所有系统在过度共情方面均弱于人类咨询师。

  20. arXiv · ML28

    Boltz-1 主干与扩散模块生物特征探测与引导分析

    Boltz-1 的主干模块中二级结构与序列化学特征均具线性可解码性,但扩散模块中序列化学特征线性可访问性显著降低。 研究通过线性探针与因果干预发现,螺旋与无规卷曲方向可剂量依赖地改变预测结构,但β-折叠方向未产生可测量的折叠含量增加。 线性可解码性在测试位点并未暗示因果影响。