跳到正文
11月17日周二
  1. arXiv · NLP32

    阶梯语义蒸馏:低算力非LLM代理保留LLM智能体自由形式语义

    提出阶梯语义蒸馏方法,通过冻结编码器将教师输出映射为1024维向量,训练13.2M参数非LLM学生模型。 该模型仅需1,658秒在8GB GPU上训练,单次决策耗时0.14毫秒,零教师调用;与教师余弦相似度达0.943,比无语义重训高+2.2分。 方法在单一市场模拟器上验证有效,20万次决策扫描仅需12分钟,显著优于教师需三小时的处理时间。

  2. arXiv · NLP29

    STONE:基于简化问题的无标签自蒸馏推理方法

    提出无标签自蒸馏方法 STONE,通过将模型在较易相关问题上的共识作为“踏脚石”强化教师模型,无需人工标注。在 Qwen3-4B 和 Qwen3-8B 的思考模式下,该方法在五个数学基准测试中取得最高平均准确率;非思考模式下分别提升 13.2 和 22.7 分,优于 OPSD 基线。

  3. arXiv · NLP40

    POND:基于潜空间桥接的大模型与小模型无解码协作

    POND方法通过冻结大模型仅执行预填充,利用可训练桥接将隐状态映射为注意力键值供小模型生成,彻底消除大模型自回归解码开销。 该方法在推理与代码基准上显著提升性能,GLM-5.3作为发送端带来的增益与Qwen3.8-Max相当,且在数学代码任务上训练后可直接迁移至通用知识任务。 这表明前沿大模型的预填充表征能有效提升小模型生成质量,无需依赖大模型进行自回归解码。

  4. arXiv · NLP25

    研究揭示大语言模型可通过置信度自适应调整答案粒度

    研究表明微调能提升 LLM 在不确定时输出较粗粒度答案的能力,兼顾正确性与信息量。 测试 LFM2.5-1.2B、Ministral3 3B、Qwen3.5-9B 和 Gemma4 31B 发现,低置信度时模型更倾向输出粗粒度答案,且小模型表现优于基础模型。 证明了置信度相关的粒度自适应是可学习的,但收益因模型而异。

  5. arXiv · NLP67

    Nemotron 3.5 Bolt E4B 4GB:面向快速对话智能体的开放高效小语言模型

    NVIDIA 发布了 Nemotron 3.5 Bolt E4B 4GB,这是一个基于 Gemma-4-E4B-it 后训练优化的开放高效小语言模型,专为快速本地语音助手、交互角色及嵌入式端侧场景设计。

    推荐理由:展示了该小模型在21项基准中取得最高平均准确率及最低输出token数,并量化了推理加速指标。

  6. arXiv · NLP33

    GPRM:一种全局视角的过程奖励模型

    GPRM提出联合建模问题、历史步骤及评估、当前步骤和未来步骤,构建全局感知的过程评估框架。 该模型基于SFT和GRPO构建数据集,在PRMBench和ProcessBench上分别比强基线高出7.8和5.4分。 GPRM在Agent Error Bench上超越GPT-4.1基线,测试时扩展提升约4分。

  7. arXiv · NLP33

    安全保持型医疗 LLM 微调中的双层数据选择

    研究人员提出 S-BDS 方法,通过控制样本权重集中度筛选数据,在 Llama 和 Qwen 模型上实现医疗能力与患者安全的平衡。 实验结果显示,该方法相比最强基线将 PatientSafetyBench 上的安全率分别提升 4.64 和 3.00 个百分点,医疗能力保持竞争力。 S-BDS 通过调整安全导向权重,允许用户在医疗性能与安全之间灵活权衡。 ```

  8. arXiv · NLP30

    决策模型何时应比较候选项?

    对比点式评分、集合式评分与候选注意力三种方法,研究发现点式评分在五个代理决策基准中依然具有竞争力。 集合式评分在部分工具选择和二元决策任务中表现更好,但允许跨候选交互的候选注意力并未带来一致提升。 通过两个受控合成任务进一步验证,定向关系训练有助于集合式模型学习候选依赖并实现泛化。

  9. arXiv · NLP24

    多语言 LLM 中普通话 Wh-不定词遵循非真实词性,与英语 any 不同

    研究显示,11 个通过测量阈值的开源 LLM 在可能性、必要性及证据副词下支持普通话 Wh-不定词,强度为否定的 0.42-2.33 倍,而英语 any 在相同语境中未获支持。 测试覆盖 12 个开源模型(0.5B-9B,四个家族)及 48 组匹配双语框架;Qwen2.5-32B 的探索性扩展也显示相同结果。

  10. arXiv · NLP25

    自然语言自编码器(NLA)的评估与改进

    研究提出基于审计任务的评估方法,测试自然语言自编码器(NLA)揭示潜在知识、识别误导提示及捕捉静默虚构的能力。 研究扩展NLA利用多层与多位置激活信息,使其更有效地应用于长转录文本,并减少错误声明。评估显示,延长训练时长可能会损害某些审计评估的性能。

  11. arXiv · NLP23

    研究揭示语言模型中探测与引导的最优方向并不一致

    研究在三个指令微调模型中发现,探测概念的最优方向与引导模型行为的最优方向不同,引导倾向于更接近均值差异的方向。 在59/60个层-模型-概念组合中验证了这一分离现象;对于情感分类,中间方向的引导效果比均值差异强27-56%。 在PopQA基准上,向“未知”引导使不确定错误的拒答率提高18-44个百分点,但极少纠正错误。

  12. arXiv · NLP35

    Mistral-7B 推测解码研究中近期性对速度与能耗的影响

    Mistral-7B 验证器下,最近期查找比最早匹配查找在 500-token 生成中加速最高 0.09,会话内存加权无显著增益。 医疗和法律文本中,选择性草稿器每 100 tokens 节省 3 至 4 焦耳能量;94% 生成结果与贪心解码完全一致。 重复惩罚导致长生成加速倍数从 1.4-1.7x 降至 1.1-1.2x,近期性依然有效。

  13. arXiv · NLP41

    从事实到角色:通过混合专家模型实现 LLM 中可解释的角色遗忘

    研究提出角色扮演遗忘任务,旨在选择性遗忘目标角色的风格与知识,同时保留非目标角色的语言能力。 提出 RoleMoE 混合专家框架,通过专业化损失和解耦损失映射独立专家子空间,提升角色分离与结构可解释性。 实验在多个 LLM 骨干上表明 RoleMoE 能精确可控地遗忘角色,且代码和数据集已公开。

  14. arXiv · NLP26

    可言语化工作区中角色-填充绑定测试:前沿语言模型缺乏绑定结构

    基于可言语化工作区的运行时对齐监视器无法捕获模型的角色-填充绑定结构。实验在 Qwen3.6-27B 和 Gemma-3 系列模型上验证,线性探针在工作区读取角色时表现低于随机对照组。 这意味着该监视器会遗漏模型自身所表征的角色分配,且消融实验仅在 Gemma-3-27B-IT 上显示出绑定损伤。

  15. arXiv · NLP22

    神经激活空间中概念子的几何特性分析

    研究者推导了中心池化概念子可精确分解为平均极滤波器、均值分离更新和协方差形状更新的几何理论。 在五个语言模型的情绪、政治倾向等实验中,双极拟合比单极拟合更一致地提升两极证据强度。 研究发现概念子尺寸与逐层探针性能正相关,双极拟合在放大对立两极目标时表现更优。

  16. arXiv · NLP27

    错误却自信:测量大语言模型幻觉、过度自信及身份条件行为

    summary_zh: 针对五个开源模型的研究显示,面对指代不明的问题,模型错误率从39.1%升至52.0%,但仅75.3%的错误答案包含不确定性表达。 在指代缺失时模型寻求澄清的比例为33.7%,专业领域问题失败率更高;性别代词遵循职业刻板印象,用户身份声明使答案长度增加约45%。

  17. arXiv · NLP33

    Decision 1.0:面向开放决策基础模型的研究发布

    研究团队发布 Decision 1.0,这是一个开放权重模型家族,将文本状态和运行时定义的问题转化为类型化概率分布。 其 Choice、Noul 和 Score 接口允许应用在推理时指定结果;六个模型涵盖双向编码器和因果解码器架构。Lux-9B 在常见决策基准测试中,显式决策得 84.17%,推理得 91.25%,加权总体得 77.22%。

  18. arXiv · NLP25

    多语言证据下事实核查 LLM 的鲁棒性评估

    针对多语言事实核查场景,研究构建包含英语、德语等 190 条声明的数据集,测试模型在证据缺失或误导下的表现。 实验表明,误导性编辑使 Llama 3.1 8B 的英语准确率从 80.00% 跌至 16.84%,且低资源语言性能下降更显著;机器翻译可部分恢复差距,但裁判评分衰减慢于准确率,显示自动评估低估了性能退化。 研究警告不应在嘈杂多语言证据上部署 LLM 事实核查,并开源了数据集与评估代码。

  19. arXiv · NLP20

    哪种数学上下文支持目标对齐的猜想生成?一项配对消融研究

    该研究通过配对消融设计,分析了定义、对象等六种数学上下文组件对生成目标对齐猜想的影响。实验涵盖 12 篇论文中的 61 个定理,共生成 793 个猜想,发现各上下文组件具有互补性。 局部数学对象提供了最强的独立信号,而移除结构约束和条件会导致目标对齐程度显著下降。研究结果表明确保相关对象识别与允许声明约束的信息结合是生成目标对齐猜想的关键。

  20. arXiv · NLP20

    CoT2Graph:通过学习 Chain-of-Thought 的结构化表示理解大语言模型推理失败

    研究提出 CoT2Graph 框架,将 Chain-of-Thought 表示为有向依赖图并借助图神经网络分析推理质量。 该框架通过归因方法识别结构模式,基于图的信号比树结构方法高 2.5%、比长度基线高 7.8% 地预测答案正确性,并提升 Best-of-N 选择效果。 该工作已被 EMNLP 2026 Findings 接收,论证了从序列级评估转向结构化分析的必要性。

  21. arXiv · NLP28

    Many Paths to the Same Mistake: 生成同一学生错误背后的多样化推理路径

    本文提出一种生成-过滤管线,通过前向一致性指标验证错误推理路径能否还原学生的实际错误答案,并利用LLM评估其现实性。 该研究发现,多数大语言模型难以在推理过程中维持错误逻辑,而小型监督微调模型能有效捕捉这些发散路径。 这项工作为高保真错误轨迹生成提供了框架,推进了非合作型用户模拟。

11月16日周一
  1. arXiv · NLP20

    基于LLM评判员认知集成框架的数学自动形式化评估方法

    研究提出基于认知与形式化基础的LLM评判员集成(EFG)方法,用于自动评估数学陈述的自动形式化任务。 该框架基于逻辑保持(LP)、数学一致性(MC)、形式质量(FQ)和形式有效性(FV)标准,实验证明其比粗粒度模型更具优势。 LLM评判员在明确原子属性引导下,可为形式化数学推理提供可扩展、可解释且可靠的评估支持。