跳到正文
11月19日周四
  1. arXiv · NLP27

    XMerge:用于 LLM 深度压缩的跨轴选择与重建层合并方法

    XMerge 是一种后训练方法,通过跨轴选择识别低变化块,并由局部边界重建重新拟合相邻层,实现 LLM 深度压缩。 该方法无需任务标签或端到端微调,不引入架构变更或额外推理参数,在 Llama 和 Qwen 骨干模型测试中表现优于现有基线。 在 k=4 移除级别下,XMerge 在 CORE 和 MMLU 基准上排名第一,避免了大困惑度增加,被 NeurIPS 2026 接收为口头报告。

  2. arXiv · NLP20

    推理模型服务中风险控制的早退机制配置研究:何时学习停止有帮助?

    在推理模型服务中,基于校准数据动态选择停止规则比预设静态token预算更优。5%风险目标下,学习规则在Qwen3上比静态预算多节省10.4-17.0个百分点token,准确率低于完整推理2.4-2.9点。 预承诺某类策略在某些工作负载中最高损失27.4点,而校准选择最多仅落后最优类11.6点;Qwen3-8B在vLLM中平均响应时间与生成token数成正比。

  3. arXiv · NLP21

    自适应 RAG 中基于置信度的检索预算分配何时有效

    研究显示,在每查询平均 0.5 个片段的低预算限制下,基于置信度的分配策略在 7 种测试场景中均优于最佳固定策略,准确率提升 0.010 至 0.075。 在高预算(≥1 个片段)场景下,收益主要出现在 Wikipedia 数据中,能避免检索干扰已知答案,Qwen3-8B 在 TriviaQA 上提升尤为显著;但置信度在区分检索深度时作用有限,且计入探测延迟后收益大幅缩减。

  4. arXiv · NLP26

    稀疏层是扩展循环语言模型的关键

    研究发现,结合混合专家(MoE)架构的循环语言模型在规模化表现上优于标准Transformer,且稀疏层是其关键所在。 其核心机制在于路由发散:模型在重复通过相同的共享层时激活不同的专家,从而在不增加额外参数的情况下恢复了模型的表现力。该方案还能通过早期退出机制优化计算与质量的权衡,实现显著的内存与推理节省。

  5. arXiv · NLP39

    在线强化学习在移动 GUI 智能体中的泛化能力:AndroidWorld-Generalization 受控研究

    研究证实在线强化学习将 AndroidWorld 移动端 GUI 智能体成功率提升至 80% 以上,但泛化能力随场景距离增加单调衰减。 基于 UI-TARS-7B-SFT 和 Qwen3-VL-8B 两个基座模型的实验显示,RL 在分布内提升显著(最高+17.5%),但在未见应用等远端场景增益降至 0-4.2%。

  6. arXiv · NLP25

    离散随机定位(DSL):通过连续扩散语言模型解锁高效离散序列生成

    提出连续状态框架 DSL,结合随机定位通道与单位球面嵌入,实现无需额外时间步条件的贝叶斯最优去噪器。 该框架支持随机顺序自回归及混合采样,在 OpenWebText 上微调预训练模型后显著提升 MAUVE 分数,且混合采样仅需 48 步即可运行。 这一方法在 $T=48$ 至 $T=1024$ 的各种步数预算下均优于掩码离散扩散模型,无需蒸馏即可实现并行生成与序列精化的非同步处理。

  7. arXiv · NLP37

    MLLM 图表理解中的多模态信息融合:综述其演进、局限与认知增强

    该综述系统梳理了多模态大语言模型(MLLMs)在图表理解任务中的多模态信息融合现状。 文章构建了包含经典与非常规基准的新分类法,并回顾了从经典深度学习到 MLLM 范式的方法演进,同时指出当前模型在感知与推理上的局限。 研究提出通过高级对齐技术和强化学习来增强认知能力,旨在推动图表分析系统向更稳健可靠的方向发展。

  8. arXiv · NLP20

    大语言模型与小语言模型协同机制综述

    大语言模型(LLMs)与小语言模型(SLMs)的协同是平衡性能与部署效率的关键范式。 综述梳理了管道、路由、蒸馏等交互机制,并指出在边缘设备上应用时面临的系统开销、模型一致性及隐私等挑战。 该方向被视为推动下一代实用化、普适性人工智能发展的关键驱动力。

  9. arXiv · NLP24

    MultiAgentBench:评测 LLM 智能体协作与竞争的基准

    研究团队发布 MultiAgentBench 基准,用于评测 LLM 多智能体系统在多样化交互场景下的协作与竞争表现,并基于里程碑设计关键绩效指标。该框架评估了星型、链型、树型和图型等多种协调协议,以及小组讨论、认知规划等策略。测试显示 gpt-4o-mini 平均任务得分最高,图型结构在研究场景表现最优,认知规划使里程碑达成率提升 3%,代码与数据集已公开。

  10. arXiv · NLP23

    基于签名词汇证据的风险校准意图路由方法

    该方法结合签名词汇证据与分类器置信度间隔,构建双特征置信度模型用于对话式AI意图路由。 在BANKING77、CLINC150和HWU64数据集上,该方法将风险覆盖曲线下面积分别降低15.8%、15.1%和11.8%;在5%错误率目标下,BANKING77的请求接受率提升1.83个百分点。

  11. arXiv · NLP33

    SALT 方法提升跨语言 Token 表示

    SALT 通过在现有句子编码器中注入 span-level 监督,显著改进 token 表示。 该方法在五项多语言 token 级基准测试中取得了其中四项的最佳结果,优于微调策略。 同时它也提升了跨语言检索和分类任务的句子级表现。

  12. arXiv · NLP42

    块扩散推测解码中 DBloom 方法解决搁置加速并提升生成速度

    研究提出 DBloom 方法,通过扩展块大小解决块扩散推测解码中的搁置加速瓶颈,显著提升生成速度。 在 Qwen3-8B 和 Qwen3-4B 上,相比 B16 基础模型,该方法将每提示承诺长度最多提高 1.7 tokens,中位解码速度提升 10.2%,高天花板基准上速度提升 11.9%。 该方法优于 JetSpec 树形起草器,在所有基准上承诺长度更高,为块扩散起草器提供更高效的加速方案。

  13. arXiv · NLP23

    EasyOPD:基于 verl 的大语言模型在线策略蒸馏框架

    EasyOPD 是基于分布式强化学习框架 verl 开发的在线策略蒸馏框架,支持跨 tokenizer、自蒸馏及步进式蒸馏三种场景。 该框架通过解耦用户配置、监督逻辑与执行后端,提供 YAML 配置文件、文档及安装演示包。 实验显示其能在推理、代码生成等基准任务中保留特定目标并展现差异化性能表现。

  14. arXiv · NLP24

    RABBiT:通过脑调优实现零样本和少样本脑反应预测的快速自适应 BOLD 基础模型

    研究团队发布 RABBiT,这是一款紧凑的音频到 fMRI 编码器,旨在通过脑调优技术实现脑对语音诱发反应的高精度零样本和少样本预测。 在 324 名受试者及多个未见过的 fMRI 数据集上测试,RABBiT 的零样本预测能力超越 SOTA fMRI 基础模型,仅使用 10 分钟数据即可通过参数高效微调大幅提升性能。

  15. arXiv · NLP39

    扩散语言模型中通过填充提取训练数据

    扩散语言模型中仅前缀探测严重低估训练数据泄露风险。 研究者提出填充提取协议,基于任意二进制掩码实例化于LLaDA-8B和Dream-7B。边缘条件掩码比前缀条件掩码多提取3倍逐字序列。 持有隐私信息脱敏副本的攻击者通过针对性填充将隐私信息召回率提升2.5至4.5倍。

  16. arXiv · NLP22

    MedExAgent: Training LLM Agents to Ask, Examine, and Diagnose in Noisy Clinical Environments

    MedExAgent 通过两阶段训练流程,在噪声临床环境中实现诊断性能与更大模型相当且成本高效。 该智能体将临床诊断形式化为部分可观测马尔可夫决策过程,采用七种患者和三种检查噪声模型。训练先基于卡尔加里-剑桥模型进行监督微调,随后使用 DAPO 优化包含诊断准确性、工具调用质量和检查成本的复合奖励。

  17. arXiv · NLP37

    HorizonBench 评估长期个性化中偏好演变的挑战

    研究引入 HorizonBench 及数据生成器,评测 25 个前沿模型在偏好演变中的表现。 该基准包含 360 名用户的 4245 个问题,结合 13 周收集的人工纵向数据集。模型准确率达 52.8% 时,常错误选择过时偏好;检索与记忆方法均无法恢复丢失的准确率。

  18. arXiv · NLP37

    LLM 层间几何改进最终表示:Cayley-Encoder 方法

    轻量级图神经网络结合 Cayley-Encoder 架构改进 LLM 最终层表示,在 13 个任务中准确率达 48% 提升。 该方法利用 SL(2, Zn) 上的 Cayley 图替代全连接结构,实现稀疏且低直径的层间聚合,仅增加 0.1% 参数量。 Cayley-Encoder 在冻结 LLM 条件下优于 LoRA 微调,并有效支持小样本场景。

  19. arXiv · NLP33

    HYPER:面向证据寻求检索的假设引导规划

    HYPER框架通过假设引导将RAG从主题导向转为证据导向,无需训练即可提升准确率。 该框架将检索分解为支持、区分和特征三种证据角色,引导检索靠近决策边界。 在MedQA和MMLU-Med上,HYPER比Simple RAG分别提升5.9和3.6分。

  20. arXiv · NLP26

    挑战二次方注意力——关于替代语言模型架构崛起的全面视角

    该综述审视了突破Transformer二次方注意力复杂度的近期进展,涵盖亚二次方注意力变体、循环神经网络、状态空间模型及混合架构。 文章从计算与内存复杂度、基准测试结果及根本局限性三个维度进行批判性分析,探讨纯注意力Transformer的主导地位是否面临挑战。 作者认为这种挑战在领域特定和边缘设备应用中尤为可能,论文为同行评审会议版本。

  21. arXiv · NLP29

    MoICL:一种混合上下文学习者方法

    研究人员提出 Mixtures of In-Context Learners (MoICL) 方法,在 7 个分类数据集中的 5 个上性能超越 ICL 和 LENS 基线,最高提升 13%。 MoICL 将演示子集视为专家并学习权重函数以合并输出分布,同时降低达到相同性能所需的推理时间。 该方法对域外(最高 +11%)、不平衡(最高 +49%)及噪声演示(最高 +38%)表现出更强的鲁棒性。

  22. arXiv · NLP23

    ThinkSum:利用大语言模型进行集合概率推理

    提出两阶段概率推理范式 ThinkSum,用于解决 LLM 在多个对象或事实序列逻辑推理上的不足。 基于 BIG-bench 评估,ThinkSum 在 13 个高难度任务中优于 GPT 系列 SOTA,常使用更小模型变体。 概率推理在 LLM 调用外执行,使预测更具可解释性,且对提示词设计敏感性降低。

  23. arXiv · NLP40

    个人模仿游戏:LLM 能否复制特定个体?

    针对 LLM 表现优异,论文提出更具挑战的个人模仿游戏,测试机器能否在对话中复制特定个体。 通过30人实验建立基线,并构建基于 LLM 的系统模拟论文作者。 在20人欺骗研究中,审查者选系统而非作者朋友7/10轮,选作者而非系统13/20轮,均无法与随机区分。

  24. arXiv · NLP22

    ExecJudges 如何用可执行程序替代 LLM 进行可扩展的相关性标注

    ExecJudges 利用前沿 LLM 生成基于词汇匹配等规则的可执行程序,在 TREC DL 2019-2021 上的标注一致性达到 Claude Sonnet 5.5 LLM 判决水平。 该方法单次生成程序成本为 $0.17-$0.49 每主题,无需额外评分开销,且生成的标注能以 0.87-0.94 的 Kendall's tau 值对官方 TREC DL 运行结果进行有效排序。

  25. arXiv · NLP25

    DRIFT:支持运行时灵活切换的高效端到端自动驾驶可分离推理框架

    DRIFT 提出一种端到端自动驾驶框架,集成 <150M 参数的轻量语言模型进行场景描述与动作注释。 该框架通过蒸馏代理推理特征,允许在推理时绕过语言模型且无损驾驶性能。 DRIFT 总参数量仅 255M,在 Bench2Drive 上达到 97.03 Driving Score 和 89.39% Success Rate,并在 NAVSIM 和 AlpaSim 上以更低计算成本取得竞争力结果。

  26. arXiv · NLP26

    Openhagen Worlds:校准环境用于测量和训练科学发现智能体

    Openhagen Worlds 推出 27 个校准环境,包含 178 个难度层级,用于测试智能体在预算限制下运行实验并推理结果的能力。 每个层级经过 64 个开发实例的脚本预言机验证,确保非演绎策略成功率不超过 0.25。DeepSeek V4.1 Flash 在前沿测试中解决 32 个实例,9B 模型经策略迭代后核心层级成功率从 0.090 升至 0.148。

  27. arXiv · NLP48

    语言模型中人类脑组织分析方法的迁移与应用

    研究发现语言模型推理能力的提升涉及类似人类皮层发育的区域重组,在连续层范围内存在局部变化。 将相关区段权重嫁接到指令微调模型中平均提升了数学推理能力,且随区域重叠度增加而提高。该分析还定位了医疗模型中可迁移的推理相关区域,展示了低干扰下的性能提升。