跳到正文
11月17日周二
  1. arXiv · NLP40

    Qwen3-VL 如何规划视觉语言模型的多步任务

    研究揭示 Qwen3-VL 通过绑定头、光标信号、选择步骤和注视头四部分机制规划视觉回答顺序,该机制在 2B 至 32B 模型中均成立。 因果干预验证显示该机制适用于不同输入格式、自然照片及多种语言,binding、relay 和 gaze 头存在于所有测试模型尺寸中。 此发现为研究模型在长程多步任务中的规划过程提供了新路径。

  2. arXiv · NLP25

    大语言模型在拒绝请求解释中的可修复性评估:正确理由为何缺乏实际指导意义

    一项覆盖20个大语言模型的研究发现,当多个规则独立触发时,解释中引用的单一正确理由通常无法帮助用户成功改变结果。 在7个移植自访问控制和福利资格系统的规则系统中,6个显示出“修复正确理由后决定仍为拒绝”的高频现象;各模型识别该缺陷的能力接近随机。 研究指出,仅当询问“按解释操作是否有效”时强裁判模型才能发现缺陷,且推理型模型在含4个以上独立理由的拒绝中仍频繁失效。

  3. arXiv · NLP28

    嵌入映射距离如何引导 LLM 创意生成?对四项后续验证的测试

    研究发现嵌入映射中远端方向难以生成文本,LLM 解码器在展示邻居时能复现目标,但在无邻居搜索中表现优于最近项,对远端点则效果甚微。 k-means 单元中,密度间隙评分对预测增长无显著贡献,Steam 新品中更孤立的游戏评价略好,arXiv 论文 LLM 续写比引用源更贴近原文。 揭示真实后续标题会引导创意方向,评审、预言机和距离反馈分别增加了 0.13、0.08 和 0.34 的方向转向幅度。

  4. arXiv · NLP21

    自适应测试时缩放的任意时刻有效 PAC-Bayes 证书

    研究提出任意时刻有效的 PAC-Bayes 证书,解决自适应测试时缩放中校准选择后的统计推断问题。 针对有限预算与验证器网格,罚项为 $\log M/n$;在 GSM8K 上,该证书在 5% 名义水平下始终优于最佳选择误差,全测试集误差紧化至 0.109。 提供了一种无分布假设的轻量级方法,用于报告自适应推理系统的风险与计算成本。

  5. arXiv · NLP21

    TRACK: 时序工具增强推理用于电源管理系统故障诊断

    TRACK 系统结合时序编码器与小语言模型,在 15 类多负载模拟基准上实现超 95% 的故障类别准确率,优于 58% 的基线。 该系统在设备端运行,通过调用工具进行可验证的物理计算,并利用基于评分标准的框架评估报告的结构与诊断准确性。 该方案避免了昂贵的 API 调用,解决了专家人工检查无法扩展到大量部署单元的问题。

  6. arXiv · NLP23

    MolReps:让 LLM 理解多种分子表示法

    MolReps 是一个生成 9,600 组问答对的管道,用于在多种分子表示间进行转换、归一化及 2D 结构识别。 对 MolQwen3-4B-Instruct 和 MolQwen3-VL-4B-Instruct 进行后训练,在分子重叠测试集的 InChIKey 匹配率分别从 4.01% 和 7.11% 提升至 75.13% 和 73.14%。

  7. arXiv · NLP30

    语言模型训练与推理的相图分析

    研究提出基于文档可区分性和维度的相图,表征语言模型表示几何。 分析 8 个训练模型和 156 个未训练模型的推理流,发现训练模型稳定在相图中心区域。 将 Pythia-1.4B 的训练过程解释为相变,揭示表示几何与模型行为的关系。

  8. arXiv · NLP32

    阶梯语义蒸馏:低算力非LLM代理保留LLM智能体自由形式语义

    提出阶梯语义蒸馏方法,通过冻结编码器将教师输出映射为1024维向量,训练13.2M参数非LLM学生模型。 该模型仅需1,658秒在8GB GPU上训练,单次决策耗时0.14毫秒,零教师调用;与教师余弦相似度达0.943,比无语义重训高+2.2分。 方法在单一市场模拟器上验证有效,20万次决策扫描仅需12分钟,显著优于教师需三小时的处理时间。

  9. arXiv · NLP29

    STONE:基于简化问题的无标签自蒸馏推理方法

    提出无标签自蒸馏方法 STONE,通过将模型在较易相关问题上的共识作为“踏脚石”强化教师模型,无需人工标注。在 Qwen3-4B 和 Qwen3-8B 的思考模式下,该方法在五个数学基准测试中取得最高平均准确率;非思考模式下分别提升 13.2 和 22.7 分,优于 OPSD 基线。

  10. arXiv · NLP40

    POND:基于潜空间桥接的大模型与小模型无解码协作

    POND方法通过冻结大模型仅执行预填充,利用可训练桥接将隐状态映射为注意力键值供小模型生成,彻底消除大模型自回归解码开销。 该方法在推理与代码基准上显著提升性能,GLM-5.3作为发送端带来的增益与Qwen3.8-Max相当,且在数学代码任务上训练后可直接迁移至通用知识任务。 这表明前沿大模型的预填充表征能有效提升小模型生成质量,无需依赖大模型进行自回归解码。

  11. arXiv · NLP25

    研究揭示大语言模型可通过置信度自适应调整答案粒度

    研究表明微调能提升 LLM 在不确定时输出较粗粒度答案的能力,兼顾正确性与信息量。 测试 LFM2.5-1.2B、Ministral3 3B、Qwen3.5-9B 和 Gemma4 31B 发现,低置信度时模型更倾向输出粗粒度答案,且小模型表现优于基础模型。 证明了置信度相关的粒度自适应是可学习的,但收益因模型而异。

  12. arXiv · NLP67

    Nemotron 3.5 Bolt E4B 4GB:面向快速对话智能体的开放高效小语言模型

    NVIDIA 发布了 Nemotron 3.5 Bolt E4B 4GB,这是一个基于 Gemma-4-E4B-it 后训练优化的开放高效小语言模型,专为快速本地语音助手、交互角色及嵌入式端侧场景设计。

    推荐理由:展示了该小模型在21项基准中取得最高平均准确率及最低输出token数,并量化了推理加速指标。

  13. arXiv · NLP33

    GPRM:一种全局视角的过程奖励模型

    GPRM提出联合建模问题、历史步骤及评估、当前步骤和未来步骤,构建全局感知的过程评估框架。 该模型基于SFT和GRPO构建数据集,在PRMBench和ProcessBench上分别比强基线高出7.8和5.4分。 GPRM在Agent Error Bench上超越GPT-4.1基线,测试时扩展提升约4分。

  14. arXiv · NLP33

    安全保持型医疗 LLM 微调中的双层数据选择

    研究人员提出 S-BDS 方法,通过控制样本权重集中度筛选数据,在 Llama 和 Qwen 模型上实现医疗能力与患者安全的平衡。 实验结果显示,该方法相比最强基线将 PatientSafetyBench 上的安全率分别提升 4.64 和 3.00 个百分点,医疗能力保持竞争力。 S-BDS 通过调整安全导向权重,允许用户在医疗性能与安全之间灵活权衡。 ```

  15. arXiv · NLP30

    决策模型何时应比较候选项?

    对比点式评分、集合式评分与候选注意力三种方法,研究发现点式评分在五个代理决策基准中依然具有竞争力。 集合式评分在部分工具选择和二元决策任务中表现更好,但允许跨候选交互的候选注意力并未带来一致提升。 通过两个受控合成任务进一步验证,定向关系训练有助于集合式模型学习候选依赖并实现泛化。

  16. arXiv · NLP24

    多语言 LLM 中普通话 Wh-不定词遵循非真实词性,与英语 any 不同

    研究显示,11 个通过测量阈值的开源 LLM 在可能性、必要性及证据副词下支持普通话 Wh-不定词,强度为否定的 0.42-2.33 倍,而英语 any 在相同语境中未获支持。 测试覆盖 12 个开源模型(0.5B-9B,四个家族)及 48 组匹配双语框架;Qwen2.5-32B 的探索性扩展也显示相同结果。

  17. arXiv · NLP25

    自然语言自编码器(NLA)的评估与改进

    研究提出基于审计任务的评估方法,测试自然语言自编码器(NLA)揭示潜在知识、识别误导提示及捕捉静默虚构的能力。 研究扩展NLA利用多层与多位置激活信息,使其更有效地应用于长转录文本,并减少错误声明。评估显示,延长训练时长可能会损害某些审计评估的性能。

  18. arXiv · NLP23

    研究揭示语言模型中探测与引导的最优方向并不一致

    研究在三个指令微调模型中发现,探测概念的最优方向与引导模型行为的最优方向不同,引导倾向于更接近均值差异的方向。 在59/60个层-模型-概念组合中验证了这一分离现象;对于情感分类,中间方向的引导效果比均值差异强27-56%。 在PopQA基准上,向“未知”引导使不确定错误的拒答率提高18-44个百分点,但极少纠正错误。

  19. arXiv · NLP35

    Mistral-7B 推测解码研究中近期性对速度与能耗的影响

    Mistral-7B 验证器下,最近期查找比最早匹配查找在 500-token 生成中加速最高 0.09,会话内存加权无显著增益。 医疗和法律文本中,选择性草稿器每 100 tokens 节省 3 至 4 焦耳能量;94% 生成结果与贪心解码完全一致。 重复惩罚导致长生成加速倍数从 1.4-1.7x 降至 1.1-1.2x,近期性依然有效。

  20. arXiv · NLP41

    从事实到角色:通过混合专家模型实现 LLM 中可解释的角色遗忘

    研究提出角色扮演遗忘任务,旨在选择性遗忘目标角色的风格与知识,同时保留非目标角色的语言能力。 提出 RoleMoE 混合专家框架,通过专业化损失和解耦损失映射独立专家子空间,提升角色分离与结构可解释性。 实验在多个 LLM 骨干上表明 RoleMoE 能精确可控地遗忘角色,且代码和数据集已公开。

  21. arXiv · NLP26

    可言语化工作区中角色-填充绑定测试:前沿语言模型缺乏绑定结构

    基于可言语化工作区的运行时对齐监视器无法捕获模型的角色-填充绑定结构。实验在 Qwen3.6-27B 和 Gemma-3 系列模型上验证,线性探针在工作区读取角色时表现低于随机对照组。 这意味着该监视器会遗漏模型自身所表征的角色分配,且消融实验仅在 Gemma-3-27B-IT 上显示出绑定损伤。