跳到正文
11月17日周二
  1. arXiv · NLP30

    RAS:通过拒绝对齐测量 LLM 安全性

    研究者提出 RAS 评分体系,用于高效评估开源 LLM 的安全拒绝对齐程度。 该体系基于 SafeVec 流程,在 Llama、Gemma 和 Qwen 的 18 个变体上,RAS 与行为攻击成功率呈 0.934 的相关系数。 RAS 可将评估效率提升 3.2 至 80.5 倍,显著加速相关检查点筛选。

  2. arXiv · NLP20

    HandwritingAgent:在矢量空间中通过语言驱动生成手写笔迹

    HandwritingAgent 提出了一种语言驱动的代理,无需特定风格训练,直接生成 SVG 格式的自然手写序列。 该代理利用大型推理模型在离散网格画布环境中自回归生成字形,并受参考手写图像及对话或非对话文本控制。 实验显示其在手迹模仿、识别及复杂数学公式生成等任务上达到或超越当前 SOTA 模型,更具效率与可控性。

  3. arXiv · NLP30

    CapCode 框架如何通过随机化测试检测并防止编码智能体作弊

    CapCode 框架通过构建非作弊得分上限低于 100% 的随机化测试数据集,有效检测编码智能体通过走捷径获取的高分作弊行为。CapReward 基于该原则设计奖励机制,抑制超出上限的优化,使模型更严格遵守任务规范。实验显示该方案在检测作弊的同时保留了模型性能排名,NeurIPS 2026 收录。

  4. arXiv · NLP38

    AI 智能体可能始终无法防范提示词注入

    summary_zh: 研究指出主流数据-指令分离防御范式存在缺陷,既无法检测基于上下文操纵的攻击,又导致正常行为降级。 文章引入情境完整性(Contextual Integrity)理论重构提示词注入,提出不可可能性论证:攻击者可构造合法化被阻断流的情境,或防御方收紧规范会误杀合法流量。

  5. arXiv · NLP39

    HEED: 密度加权残差对齐用于混合视觉-语言模型蒸馏

    HEED通过密度加权残差对齐解决混合架构蒸馏中细粒度文本丢失问题,将Qwen3-VL-8B-Instruct蒸馏为3:1 Mamba-2/attention混合模型。 该方法利用patch自相似性作为位置重要性代理,无需额外训练,在OCR Bench v2上提升8.7分,10项基准平均分提升5.13分。 不增加参数或推理成本,保留混合架构4.12倍吞吐量及128k上下文68%内存节省优势。

  6. arXiv · NLP24

    LatentRouter: 能否在看到答案前选择合适多模态大模型?

    LatentRouter 提出基于反事实多模态效用预测的路由框架,在 MMR-Bench 和 VL-RouterBench 上优于固定模型、特征级及学习型路由基线。 该方法通过提取多模态路由胶囊,用模型能力 token 表征候选 MLLM,并以潜层交互估计各模型表现,支持性能与成本导向的路由策略。 代码已开源。

  7. arXiv · NLP42

    多模态专家混合模型中的“看见但不思考”:路由分心现象分析

    研究者揭示多模态专家混合模型存在“看见但不思考”现象,即模型能准确感知图像内容,却在后续推理中失败,而纯文本场景下能正确解题。 分析发现视觉专家与领域专家存在层级分离,图像输入在中层诱导了显著的路由偏差,导致任务相关的推理专家未能充分激活。 通过设计路由引导干预方法增强领域专家激活,在六个基准测试中取得一致提升,复杂视觉推理任务最高提升3.17%。

  8. arXiv · NLP31

    三项人类受试者研究显示,AI辅助决策中不同支持策略的效果高度依赖任务类型

    三项涵盖RAVEN矩阵与LSAT逻辑题的研究表明,LLM解释在语言推理中提升准确率与错误恢复,但未优于仅预测模式。视觉推理中概率支持表现最优,选择性自动化策略为高性能基准。 研究证实AI支持效果依任务而定,建议界面设计需匹配任务类型与用户证据,以促进校准依赖与错误恢复。

  9. arXiv · NLP32

    WAXAL:一个覆盖 27 种非洲语言的大规模多语言语音语料库

    研究团队发布 WAXAL,这是一个开放且大规模的多语言语音数据集,覆盖 27 种非洲语言,代表超过 1 亿使用者。该数据集包含逾 14,100 小时的语音数据,其中自动语音识别(ASR)语料库有 2,340 小时带转录文本的图像提示自然语音,跨 19 种语言(另有约 11,760 小时未转录音频);合成语音(TTS)语料库约 247 小时,覆盖 15 种语言配置。

  10. arXiv · NLP26

    基于原子概念编辑的模型行为解释与控制框架

    该研究提出一种黑盒可解释性框架,通过原子概念编辑学习可验证宪法,从而解释和控制模型行为。在数学推理任务中,干扰变量使 GPT-5 易混淆,但对 Gemini 2.5 和 o4-mini 影响有限;在文生图任务中,GPT-Image 侧重语法合规,Imagen 4 则优先氛围一致性。使用学习得到的宪法控制模型行为,成功率平均提升 1.86 倍。代码已开源。

  11. arXiv · NLP40

    长对话LLM记忆研究:逐字文本块优于有损工件提取

    研究显示,在固定检索流程中,使用逐字对话文本块比LLM提取的结构化工件更准确。 在LoCoMo数据集上逐字块得分为43.9%,而工件提取仅为28.0%;在LongMemEval-S上分别为67.4%和45.4%。 语义图未能弥补差距,有损蒸馏机制是核心问题,结构化记忆应作为逐字文本的补充而非替代。

  12. arXiv · NLP23

    基于 LLM 的关键思维子技能自动化评估可行性研究

    研究通过三种方法(零样本提示、少样本提示和监督微调)在 GPT-5、Llama 3.1 8B 和 ModernBERT 上评估关键思维子技能。 微调 Llama 3.1 8B 表现最佳,擅长区分高可分性且标签均衡的子技能,但在细微区分或标签不均衡时性能下降。 该探索性研究为在教育真实情境中规模化评估关键思维技能提供了初步路径。

  13. arXiv · NLP33

    SmartThinker:通过步骤级Token分配实现高密度推理

    SmartThinker 提出步骤级Token分配框架 SCPO,通过在线估计各推理步骤对正确率贡献来学习选择性保留或压缩,解决现有全局长度惩罚忽视步骤结构的问题。 该框架引入“推理密度”定义以平衡不同价值步骤的压缩压力,并结合长度偏差修正和难度自适应裁剪提升训练稳定性,在9个域内及域外基准测试中实现了更优的准确率与效率权衡。

  14. arXiv · NLP35

    基于梯度的数据归因方法更关注形式而非内容

    研究显示,在监督微调示例中,基于梯度的数据归因方法追踪的是答案格式相似性而非任务语义。当基准测试共享答案格式时,梯度对齐显著(非衰减余弦相似度接近0.4),而不同格式间无对齐(接近0.0)。这一排序从预训练早期检查点贯穿至后训练阶段,并跨模型规模与家族成立。这表明梯度基于的方法需在与答案格式和任务独立变化的数据上进行测试,以提升鲁棒性和可靠性。

  15. arXiv · NLP20

    Rollback-Induced Reflection (RIR) 提出统一恢复框架,实现长程 LLM Agent 状态回滚与经验保留

    论文提出 Rollback-Induced Reflection (RIR) 框架,旨在解决长程任务中单步错误导致状态偏差累积的问题。 RIR 将恢复视为回滚边界控制问题,在恢复执行至先前状态的同时,保留从失败轨迹中蒸馏出的可复用知识。 实验显示,在三个基准上,该框架能跨多个 LLM 骨干模型一致提升任务性能。

  16. arXiv · NLP21

    IndicQE-APE:面向印度语言质量估计与自动后期编辑的整合基准

    IndicQE-APE 基准整合了 WMT 2020-2024 任务资源,包含 9 个方向对的 126,754 个实例,涵盖 4 种标签类型。 该基准在段落级质量估计上评测了 6 个 LLM 和 3 个 COMET 指标,在自动后期编辑上评测了 3 个系统。 研究发现 4-shot 提示法会损害所有 3.4B 及以下规模模型的输出合规性与相关性。 ```

  17. arXiv · NLP35

    大语言模型中的提示词特权:衡量与缓解公平 AI 访问障碍

    大语言模型在低识字率与专家提示词用户间存在显著性能差异,被称为“提示词特权”。研究提出提示词公平得分(PES)指标及提示词公平 Transformer(PET)智能体,将提示词优化转移至 AI 系统。 实验显示 PET 消除了评估中各组间的统计学显著差异,表明面向可访问性的提示词标准化能提升 AI 访问公平性。

  18. arXiv · NLP26

    RubricReviewer:通过智能体证据合成与人机对齐生成,从直接批评转向基于评分标准的审稿

    RubricReviewer 提出完全基于评分标准的框架,解决现有 LLM 审稿工具将标准推导与判断纠缠、范式片面化的两大结构性局限。 该框架将评分标准生成设为显式中间步骤,结合免训练智能体 Scout 收集外部证据与对齐模型 Aligner 消费证据,融合两种监督源优势。 实验显示其审稿比现有系统更全面具判别力,且对对抗性提示注入攻击展现最强鲁棒性,已被 EMNLP 2026 接收。

  19. arXiv · NLP21

    临床视觉问答模型不确定性估计并非安全网,但可预判模型失效

    对12个VLM的8种UE方法基准测试发现,UE质量随模型准确率下降而恶化,无法在模型最薄弱处提供可靠信号。在NOTA扰动测试中,模型准确率崩塌但不确定性几乎不变,导致系统性失准。未扰动输入下的不确定性仍能可靠预判哪些预测在扰动下会失效,证明UE具备诊断模型脆弱性的价值。

  20. arXiv · NLP33

    JuICE:评估 LLM-Judge 识别文化错误基准

    JuICE 是用于评估 LLM-Judge 识别文化错误的多语言基准,包含 7470 个错误片段标注和 1050 个查询响应对。 覆盖美、韩、印尼、孟加拉四国,使用英语及当地主要语言,涉及长篇 LLM 响应中的文化与语言错误。 最强 LLM-judge 在错误片段检测任务中 F1 仅为 0.51,且持续遗漏本地居民易识别的深层文化错误。

  21. arXiv · NLP31

    多域对比策略优化提升大推理模型跨域能力

    论文提出多域对比策略优化(MCPO),通过对比学习解决混合域强化学习中不同领域能力相互冲突的问题。 该方法在关键推理片段定位交互单元,利用互补对比目标实现跨域知识共享与域内巩固。MCPO 比现有方法平均高 3.17 分,并超越单域训练 1.05 分。

  22. arXiv · NLP23

    在语言模型中诱导人工不确定性以提升真实不确定性识别

    该研究提出在语言模型中诱导人工不确定性,以解决缺乏挑战性数据训练监督式不确定性量化方法的问题。 通过探针识别原始模型中的人工不确定性,结果显示此类探针在识别真实不确定性时优于未使用人工不确定性的探针,且在困难数据上校准效果更佳,易处理数据性能损失极小。 该成果已发表于 TMLR,有助于提升关键安全应用中语言模型的不确定性表征能力。

  23. arXiv · NLP30

    模糊指纹编码器预训练语言模型用于对话情感识别:人类评估与有效性研究

    针对标准预训练语言模型在对话情感识别中缺乏可解释性且易将少数类误判为中性类的问题,研究者结合模糊指纹技术提出了解释性方法。该方法通过模糊相似函数匹配情感原型,实验显示减少了中性类过度分类,并获人类评估支持,在达到最先进水平的同时揭示了分类过程。