跳到正文
11月19日周四
  1. arXiv · NLP42

    块扩散推测解码中 DBloom 方法解决搁置加速并提升生成速度

    研究提出 DBloom 方法,通过扩展块大小解决块扩散推测解码中的搁置加速瓶颈,显著提升生成速度。 在 Qwen3-8B 和 Qwen3-4B 上,相比 B16 基础模型,该方法将每提示承诺长度最多提高 1.7 tokens,中位解码速度提升 10.2%,高天花板基准上速度提升 11.9%。 该方法优于 JetSpec 树形起草器,在所有基准上承诺长度更高,为块扩散起草器提供更高效的加速方案。

  2. arXiv · NLP23

    EasyOPD:基于 verl 的大语言模型在线策略蒸馏框架

    EasyOPD 是基于分布式强化学习框架 verl 开发的在线策略蒸馏框架,支持跨 tokenizer、自蒸馏及步进式蒸馏三种场景。 该框架通过解耦用户配置、监督逻辑与执行后端,提供 YAML 配置文件、文档及安装演示包。 实验显示其能在推理、代码生成等基准任务中保留特定目标并展现差异化性能表现。

  3. arXiv · NLP26

    挑战二次方注意力——关于替代语言模型架构崛起的全面视角

    该综述审视了突破Transformer二次方注意力复杂度的近期进展,涵盖亚二次方注意力变体、循环神经网络、状态空间模型及混合架构。 文章从计算与内存复杂度、基准测试结果及根本局限性三个维度进行批判性分析,探讨纯注意力Transformer的主导地位是否面临挑战。 作者认为这种挑战在领域特定和边缘设备应用中尤为可能,论文为同行评审会议版本。

  4. arXiv · NLP29

    MoICL:一种混合上下文学习者方法

    研究人员提出 Mixtures of In-Context Learners (MoICL) 方法,在 7 个分类数据集中的 5 个上性能超越 ICL 和 LENS 基线,最高提升 13%。 MoICL 将演示子集视为专家并学习权重函数以合并输出分布,同时降低达到相同性能所需的推理时间。 该方法对域外(最高 +11%)、不平衡(最高 +49%)及噪声演示(最高 +38%)表现出更强的鲁棒性。

  5. arXiv · NLP23

    ThinkSum:利用大语言模型进行集合概率推理

    提出两阶段概率推理范式 ThinkSum,用于解决 LLM 在多个对象或事实序列逻辑推理上的不足。 基于 BIG-bench 评估,ThinkSum 在 13 个高难度任务中优于 GPT 系列 SOTA,常使用更小模型变体。 概率推理在 LLM 调用外执行,使预测更具可解释性,且对提示词设计敏感性降低。

  6. arXiv · NLP40

    个人模仿游戏:LLM 能否复制特定个体?

    针对 LLM 表现优异,论文提出更具挑战的个人模仿游戏,测试机器能否在对话中复制特定个体。 通过30人实验建立基线,并构建基于 LLM 的系统模拟论文作者。 在20人欺骗研究中,审查者选系统而非作者朋友7/10轮,选作者而非系统13/20轮,均无法与随机区分。

  7. arXiv · NLP48

    语言模型中人类脑组织分析方法的迁移与应用

    研究发现语言模型推理能力的提升涉及类似人类皮层发育的区域重组,在连续层范围内存在局部变化。 将相关区段权重嫁接到指令微调模型中平均提升了数学推理能力,且随区域重叠度增加而提高。该分析还定位了医疗模型中可迁移的推理相关区域,展示了低干扰下的性能提升。

  8. arXiv · NLP23

    长上下文 LLM 服务中保留上下文的计量与计费

    针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。

  9. arXiv · NLP33

    Sightline:面向快速 SVG 生成长窗口投机解码

    提出长窗口投机解码框架 Sightline,通过匹配草稿器视界长度的验证窗口提升 SVG 生成速度。 在涵盖 text-to-SVG 与 image-to-SVG 的六项基准(源自 MMSVG、MMSVG-2M 及 SArena)测试中,Sightline 在所有设置下均为对比无损解码器中速度最快。 分析表明其优势源于更长的验证窗口避免了短窗口被截断导致的轮次损失,相关代码与数据已开放获取。

  10. arXiv · NLP34

    BOS Summary:无损提升 LVLM 与 LLM 多步推理性能

    BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。

  11. arXiv · NLP24

    QDA:基于智能体的闭环大语言模型量化设计

    QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。

  12. arXiv · NLP32

    CoT 隐藏状态揭示直接回答的任务解决方向

    研究发现,直接提示词表示空间中每个问题存在能更常导向正确答案的方向。 在 LLaMA 3.1 8B 和 Qwen 2.5 7B 模型上,这些方向将直接提示平均准确率分别提升至 85% 和 86%,token 消耗仅为 CoT 的十分之一。 这些方向可用于未来训练模型对齐其状态,实现更高效推理。

  13. arXiv · NLP31

    小语言模型前沿组件叠加效应:一项复制双因素研究

    研究在相同数据与训练预算下测试五项改动,发现 MoE、Muon 优化器和 Gated DeltaNet 混合带来最大增益。额外归一化有帮助,而参数匹配的注意力门控平均提升微小。 这些改动大部分可叠加,但重复实验揭示了微小交互作用及被初统计误判为噪声的益处。结论限于小模型训练场景,专家模型拥有更大总容量。 实践意义在于应共同测试有潜力的组件,并重复比较以决定保留哪些改动。

  14. arXiv · NLP53

    arXiv 论文揭示 LLM 生成儿童故事中的性别刻板印象

    这篇 arXiv 论文考察大语言模型生成儿童故事中的性别刻板印象,分析了16个模型在35个国家背景下生成的62,873篇故事。研究发现,面向男孩的故事在叙事框架上比面向女孩的故事表现出更高能动性和更低亲社会性,这些差异是持续但受语境影响的,推动了超越短文本基准的叙事特定偏见评估。

  15. arXiv · NLP37

    MIRAGE:动态知识注入下的多跳推理框架

    MIRAGE 是一个无需训练的框架,通过相关性感知的双路径推理器(CDR)解决多跳问答中知识注入下的来源信任错误,在多个基准上刷新了 SOTA 记录。 该框架通过基于 P(True) 的置信度路由机制处理冲突知识与全新信息,并辅以轻量级模板引导修正器,在四个 LLM 家族和两个基准上验证了其有效性。

  16. arXiv · NLP32

    LED:用于扩散语言模型的 Levenshtein 编辑框架

    提出 LED 后训练框架,扩展扩散语言模型的编辑范式,支持插入与删除操作以修正序列移位错误。 基于 16B 参数 LLaDA2.1-Mini Base,置信引导解码下平均得分由 54.86 升至 57.10,置信无引导解码下由 27.52 升至 47.19。 在 block size 128 时提升鲁棒性(36.97 至 51.34),并增强生成多样性。

  17. arXiv · NLP22

    语言模型使新研究听起来过时:LLM 夸大已有文献覆盖范围

    研究发现 LLM 常使开放研究问题显得部分已研究,夸大相关论文结论。在 40 个新问题中,GPT-6-Astra 98% 准确判断未研究,但普通回答仅 8% 明确表达该状态。 所有 6 个前沿模型存在 30-90 个百分点的报告差距,能力越高差距越大。通过结合模型判断与独立检查引文论文,Astra 的开放状态清晰报告率从 8% 升至 95%。

  18. OpenAI29

    OpenAI 模型推进芯片设计

    OpenAI 优化了 Jalapeño 芯片电路并改进 RISC-V 核心设计,展示了 GPT-6 Astra 在 AI 辅助芯片设计上的进展。 GPT-6 Astra 直接应用于具体芯片流片与核心架构优化环节,验证了大模型在半导体工程领域的落地能力。 此举标志着 AI 从代码生成向底层硬件设计的延伸,加速芯片研发流程。

11月18日周三
  1. 美团技术团队24

    美团技术团队 12 篇 EMNLP 2026 主会论文精选

    美团技术团队有 12 篇论文入选 EMNLP 2026 主会,涵盖推理框架与强化学习等领域。 论文包括 LTS-Agent 语音交互框架及 SIRI 智能体内化框架,SIRI 在 ALFWorld 上将任务成功率提升至 93.0%。 这些成果旨在为 NLP 与计算语言学领域的研究人员提供技术参考。

  2. arXiv · NLP28

    Spike-driven VLA 模型实现高效机器人操控

    首个基于脉冲驱动的 VLA 框架实现机器人操控端到端直接训练,采用多赢家脉冲融合与 Spike Action Chunking Transformer 组件。 该框架在 LIBERO 和 Meta-World 基准测试中表现具有竞争力,且参数量更少、推理能耗更低。 为资源受限平台上的具身智能建立了神经形态基础。

  3. arXiv · NLP42

    当检测不保证抵抗:RAG 中的推理与中毒上下文

    DeepSeek-V4-Flash 在启用推理后,中毒防护中的 Cordon Rate 从 0.205 降至 0.075,Leakage Rate 从 0.235 降至 0.140。尽管攻击成功率从 0.233 升至 0.298,且中毒检测率从 0.965 降至 0.665,Qwen3.6-Plus 也呈现出相同的定性模式。结果表明,检测中毒上下文与实际抵御其影响是 RAG 安全中的两个独立维度。

  4. arXiv · NLP38

    大语言扩散模型(LLDMs)的不确定性量化:首个系统性研究与轻量级零样本方法

    本研究首次系统探讨大语言扩散模型(LLDMs)的不确定性量化,提出基于去噪过程的轻量级零样本信号,并适应现有最先进UQ方法。 在3项任务、8个数据集和4个模型上的实验表明,该方法以最高100x更低的计算开销接近最强基于采样的基线,兼顾快速推理与可靠的幻觉检测。

  5. arXiv · ML40

    基于核方法为非线性参数模型在贝叶斯优化中提供理论保证

    针对现有贝叶斯优化理论缺乏对非线性参数模型(如神经网络)在自适应数据采集下的保证,本文提出基于参数空间核函数的分析框架。 该框架通过构建再生核希尔伯特空间结构,为广泛的一类正则化损失函数下的模型训练提供置信界,并据此建立了近似 Thompson 采样的收敛保证。 这些结果为非线性模型在贝叶斯优化及相关自适应优化设置中的分析提供了统一途径。

  6. arXiv · AI23

    机器学习咳嗽模型为何无法泛化:结核病筛查的跨数据集系统评估

    跨数据集评估显示,基于咳嗽声学的机器学习与深度学习结核病筛查模型无法泛化,外部验证表现频繁低于 0.6。 尽管数据集内 ROC-AUC 高达 0.76±0.06,音频表征主要受录音设备和数据集组织影响,设备不匹配会降低迁移效果。 临床变量基线泛化表现更稳定(ROC-AUC 0.65-0.71),表明采集特异性是泛化失败的主因。