跳到正文
11月19日周四
  1. arXiv · NLP37

    MLLM 图表理解中的多模态信息融合:综述其演进、局限与认知增强

    该综述系统梳理了多模态大语言模型(MLLMs)在图表理解任务中的多模态信息融合现状。 文章构建了包含经典与非常规基准的新分类法,并回顾了从经典深度学习到 MLLM 范式的方法演进,同时指出当前模型在感知与推理上的局限。 研究提出通过高级对齐技术和强化学习来增强认知能力,旨在推动图表分析系统向更稳健可靠的方向发展。

  2. arXiv · NLP20

    大语言模型与小语言模型协同机制综述

    大语言模型(LLMs)与小语言模型(SLMs)的协同是平衡性能与部署效率的关键范式。 综述梳理了管道、路由、蒸馏等交互机制,并指出在边缘设备上应用时面临的系统开销、模型一致性及隐私等挑战。 该方向被视为推动下一代实用化、普适性人工智能发展的关键驱动力。

  3. arXiv · NLP24

    MultiAgentBench:评测 LLM 智能体协作与竞争的基准

    研究团队发布 MultiAgentBench 基准,用于评测 LLM 多智能体系统在多样化交互场景下的协作与竞争表现,并基于里程碑设计关键绩效指标。该框架评估了星型、链型、树型和图型等多种协调协议,以及小组讨论、认知规划等策略。测试显示 gpt-4o-mini 平均任务得分最高,图型结构在研究场景表现最优,认知规划使里程碑达成率提升 3%,代码与数据集已公开。

  4. arXiv · NLP23

    基于签名词汇证据的风险校准意图路由方法

    该方法结合签名词汇证据与分类器置信度间隔,构建双特征置信度模型用于对话式AI意图路由。 在BANKING77、CLINC150和HWU64数据集上,该方法将风险覆盖曲线下面积分别降低15.8%、15.1%和11.8%;在5%错误率目标下,BANKING77的请求接受率提升1.83个百分点。

  5. arXiv · NLP33

    SALT 方法提升跨语言 Token 表示

    SALT 通过在现有句子编码器中注入 span-level 监督,显著改进 token 表示。 该方法在五项多语言 token 级基准测试中取得了其中四项的最佳结果,优于微调策略。 同时它也提升了跨语言检索和分类任务的句子级表现。

  6. arXiv · NLP42

    块扩散推测解码中 DBloom 方法解决搁置加速并提升生成速度

    研究提出 DBloom 方法,通过扩展块大小解决块扩散推测解码中的搁置加速瓶颈,显著提升生成速度。 在 Qwen3-8B 和 Qwen3-4B 上,相比 B16 基础模型,该方法将每提示承诺长度最多提高 1.7 tokens,中位解码速度提升 10.2%,高天花板基准上速度提升 11.9%。 该方法优于 JetSpec 树形起草器,在所有基准上承诺长度更高,为块扩散起草器提供更高效的加速方案。

  7. arXiv · NLP23

    EasyOPD:基于 verl 的大语言模型在线策略蒸馏框架

    EasyOPD 是基于分布式强化学习框架 verl 开发的在线策略蒸馏框架,支持跨 tokenizer、自蒸馏及步进式蒸馏三种场景。 该框架通过解耦用户配置、监督逻辑与执行后端,提供 YAML 配置文件、文档及安装演示包。 实验显示其能在推理、代码生成等基准任务中保留特定目标并展现差异化性能表现。

  8. arXiv · NLP24

    RABBiT:通过脑调优实现零样本和少样本脑反应预测的快速自适应 BOLD 基础模型

    研究团队发布 RABBiT,这是一款紧凑的音频到 fMRI 编码器,旨在通过脑调优技术实现脑对语音诱发反应的高精度零样本和少样本预测。 在 324 名受试者及多个未见过的 fMRI 数据集上测试,RABBiT 的零样本预测能力超越 SOTA fMRI 基础模型,仅使用 10 分钟数据即可通过参数高效微调大幅提升性能。

  9. arXiv · NLP39

    扩散语言模型中通过填充提取训练数据

    扩散语言模型中仅前缀探测严重低估训练数据泄露风险。 研究者提出填充提取协议,基于任意二进制掩码实例化于LLaDA-8B和Dream-7B。边缘条件掩码比前缀条件掩码多提取3倍逐字序列。 持有隐私信息脱敏副本的攻击者通过针对性填充将隐私信息召回率提升2.5至4.5倍。

  10. arXiv · NLP22

    MedExAgent: Training LLM Agents to Ask, Examine, and Diagnose in Noisy Clinical Environments

    MedExAgent 通过两阶段训练流程,在噪声临床环境中实现诊断性能与更大模型相当且成本高效。 该智能体将临床诊断形式化为部分可观测马尔可夫决策过程,采用七种患者和三种检查噪声模型。训练先基于卡尔加里-剑桥模型进行监督微调,随后使用 DAPO 优化包含诊断准确性、工具调用质量和检查成本的复合奖励。

  11. arXiv · NLP37

    HorizonBench 评估长期个性化中偏好演变的挑战

    研究引入 HorizonBench 及数据生成器,评测 25 个前沿模型在偏好演变中的表现。 该基准包含 360 名用户的 4245 个问题,结合 13 周收集的人工纵向数据集。模型准确率达 52.8% 时,常错误选择过时偏好;检索与记忆方法均无法恢复丢失的准确率。

  12. arXiv · NLP37

    LLM 层间几何改进最终表示:Cayley-Encoder 方法

    轻量级图神经网络结合 Cayley-Encoder 架构改进 LLM 最终层表示,在 13 个任务中准确率达 48% 提升。 该方法利用 SL(2, Zn) 上的 Cayley 图替代全连接结构,实现稀疏且低直径的层间聚合,仅增加 0.1% 参数量。 Cayley-Encoder 在冻结 LLM 条件下优于 LoRA 微调,并有效支持小样本场景。

  13. arXiv · NLP33

    HYPER:面向证据寻求检索的假设引导规划

    HYPER框架通过假设引导将RAG从主题导向转为证据导向,无需训练即可提升准确率。 该框架将检索分解为支持、区分和特征三种证据角色,引导检索靠近决策边界。 在MedQA和MMLU-Med上,HYPER比Simple RAG分别提升5.9和3.6分。

  14. arXiv · NLP26

    挑战二次方注意力——关于替代语言模型架构崛起的全面视角

    该综述审视了突破Transformer二次方注意力复杂度的近期进展,涵盖亚二次方注意力变体、循环神经网络、状态空间模型及混合架构。 文章从计算与内存复杂度、基准测试结果及根本局限性三个维度进行批判性分析,探讨纯注意力Transformer的主导地位是否面临挑战。 作者认为这种挑战在领域特定和边缘设备应用中尤为可能,论文为同行评审会议版本。

  15. arXiv · NLP29

    MoICL:一种混合上下文学习者方法

    研究人员提出 Mixtures of In-Context Learners (MoICL) 方法,在 7 个分类数据集中的 5 个上性能超越 ICL 和 LENS 基线,最高提升 13%。 MoICL 将演示子集视为专家并学习权重函数以合并输出分布,同时降低达到相同性能所需的推理时间。 该方法对域外(最高 +11%)、不平衡(最高 +49%)及噪声演示(最高 +38%)表现出更强的鲁棒性。

  16. arXiv · NLP23

    ThinkSum:利用大语言模型进行集合概率推理

    提出两阶段概率推理范式 ThinkSum,用于解决 LLM 在多个对象或事实序列逻辑推理上的不足。 基于 BIG-bench 评估,ThinkSum 在 13 个高难度任务中优于 GPT 系列 SOTA,常使用更小模型变体。 概率推理在 LLM 调用外执行,使预测更具可解释性,且对提示词设计敏感性降低。

  17. arXiv · NLP40

    个人模仿游戏:LLM 能否复制特定个体?

    针对 LLM 表现优异,论文提出更具挑战的个人模仿游戏,测试机器能否在对话中复制特定个体。 通过30人实验建立基线,并构建基于 LLM 的系统模拟论文作者。 在20人欺骗研究中,审查者选系统而非作者朋友7/10轮,选作者而非系统13/20轮,均无法与随机区分。

  18. arXiv · NLP22

    ExecJudges 如何用可执行程序替代 LLM 进行可扩展的相关性标注

    ExecJudges 利用前沿 LLM 生成基于词汇匹配等规则的可执行程序,在 TREC DL 2019-2021 上的标注一致性达到 Claude Sonnet 5.5 LLM 判决水平。 该方法单次生成程序成本为 $0.17-$0.49 每主题,无需额外评分开销,且生成的标注能以 0.87-0.94 的 Kendall's tau 值对官方 TREC DL 运行结果进行有效排序。

  19. arXiv · NLP25

    DRIFT:支持运行时灵活切换的高效端到端自动驾驶可分离推理框架

    DRIFT 提出一种端到端自动驾驶框架,集成 <150M 参数的轻量语言模型进行场景描述与动作注释。 该框架通过蒸馏代理推理特征,允许在推理时绕过语言模型且无损驾驶性能。 DRIFT 总参数量仅 255M,在 Bench2Drive 上达到 97.03 Driving Score 和 89.39% Success Rate,并在 NAVSIM 和 AlpaSim 上以更低计算成本取得竞争力结果。

  20. arXiv · NLP26

    Openhagen Worlds:校准环境用于测量和训练科学发现智能体

    Openhagen Worlds 推出 27 个校准环境,包含 178 个难度层级,用于测试智能体在预算限制下运行实验并推理结果的能力。 每个层级经过 64 个开发实例的脚本预言机验证,确保非演绎策略成功率不超过 0.25。DeepSeek V4.1 Flash 在前沿测试中解决 32 个实例,9B 模型经策略迭代后核心层级成功率从 0.090 升至 0.148。

  21. arXiv · NLP48

    语言模型中人类脑组织分析方法的迁移与应用

    研究发现语言模型推理能力的提升涉及类似人类皮层发育的区域重组,在连续层范围内存在局部变化。 将相关区段权重嫁接到指令微调模型中平均提升了数学推理能力,且随区域重叠度增加而提高。该分析还定位了医疗模型中可迁移的推理相关区域,展示了低干扰下的性能提升。

  22. arXiv · NLP23

    GR00T N1.7 模型对地标词同义词的敏感度分析

    研究发现 GR00T N1.7 模型在 LIBERO-Spatial 任务中对地标词同义词敏感,导致闭环完成率从 100% 降至 67.6%。在连接层前替换地标词向量即可改变物体选择,但连接层后替换影响微弱。在多样化地标词上微调或仅训练连接层可修复同义词缺失任务的完成率。

  23. arXiv · NLP23

    长上下文 LLM 服务中保留上下文的计量与计费

    针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。

  24. arXiv · NLP33

    Sightline:面向快速 SVG 生成长窗口投机解码

    提出长窗口投机解码框架 Sightline,通过匹配草稿器视界长度的验证窗口提升 SVG 生成速度。 在涵盖 text-to-SVG 与 image-to-SVG 的六项基准(源自 MMSVG、MMSVG-2M 及 SArena)测试中,Sightline 在所有设置下均为对比无损解码器中速度最快。 分析表明其优势源于更长的验证窗口避免了短窗口被截断导致的轮次损失,相关代码与数据已开放获取。

  25. arXiv · NLP35

    AnyS1:任意 Agent 工作流中通用 System-1 决策框架

    研究提出 AnyS1 框架,利用人类编写的程序化技能将决策点转化为通用源,训练出单个校准的 4B pointer System-1 模型。该框架在运行时以单次前向传播解决常规决策,并在置信度低于阈值时回退至 System-2 大模型。 在三个未见过的 benchmark 测试中,AnyS1 将 episode 成本降低 75%-91%,模型调用时间减少 63%-92%,同时保持任务可靠性。

  26. arXiv · NLP35

    Safe Personal RSI:评估与修复个人 Agent 的指令更新

    针对个人健康助手 Kicker 的指令更新,Safe Personal RSI 在 21 次更新尝试中拒绝了 20 次。 修复确认显示 GPT-5.6 Luna 将攻击违规率从 10.7% 降至 0%,Qwen2.5-7B-Instruct 至 Qwen3-14B 迁移使违规率从 69.0% 降至 17.9%。 方法在模型权重和运行时代码固定的前提下,通过可执行基准测试确保更新安全性后再行采用。