跳到正文
11月19日周四
  1. arXiv · NLP23

    GR00T N1.7 模型对地标词同义词的敏感度分析

    研究发现 GR00T N1.7 模型在 LIBERO-Spatial 任务中对地标词同义词敏感,导致闭环完成率从 100% 降至 67.6%。在连接层前替换地标词向量即可改变物体选择,但连接层后替换影响微弱。在多样化地标词上微调或仅训练连接层可修复同义词缺失任务的完成率。

  2. arXiv · NLP23

    长上下文 LLM 服务中保留上下文的计量与计费

    针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。

  3. arXiv · NLP35

    Safe Personal RSI:评估与修复个人 Agent 的指令更新

    针对个人健康助手 Kicker 的指令更新,Safe Personal RSI 在 21 次更新尝试中拒绝了 20 次。 修复确认显示 GPT-5.6 Luna 将攻击违规率从 10.7% 降至 0%,Qwen2.5-7B-Instruct 至 Qwen3-14B 迁移使违规率从 69.0% 降至 17.9%。 方法在模型权重和运行时代码固定的前提下,通过可执行基准测试确保更新安全性后再行采用。

  4. arXiv · NLP34

    BOS Summary:无损提升 LVLM 与 LLM 多步推理性能

    BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。

  5. arXiv · NLP21

    大语言模型 RLOps 综述:系统梳理五大训练阶段方法与未来挑战

    该研究对大语言模型强化学习运维(RLOps)进行系统性综述,旨在解决训练扩展中暴露的分布式执行、反馈计算及学习动态故障问题。研究将现有方法归纳为训练设置、经验收集、奖励计算、策略优化和模型评估五个阶段,并深入分析各阶段的操作关注点与管理技术。文章指出了训练过程可观测性、跨阶段协调及通用化 RLOps 等开放挑战,相关资源已托管于 GitHub 仓库。

  6. arXiv · NLP28

    拆解 AI 科研构思:CAR 智能体框架

    CAR 框架结合文献接地与迭代开发,在 LiveIdeaBench 40 个主题上表现出高于单轮提示的方法学新颖性。 该框架构建语义知识图谱,配备双关联等四个算子,在 BioXArena 等基准中取得最高胜率。 结果未确立显式算子的一致性质量优势,但实现了构思过程与文献来源的可追溯性。

  7. arXiv · NLP40

    通用进展可替代特定训练数据,揭示语言模型能力获取规律

    研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握被屏蔽技能。 以国际象棋模型为例,从未显式学习应对将军指令的模型表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 数据过滤虽能延缓能力形成,但所需数据量随模型改进而减少,对能力监管具有参考价值。

  8. arXiv · NLP23

    CurvDelta:低曲率 delta 建模用于模型学习与遗忘

    CurvDelta 框架通过低曲率空间参数化更新,解决 LLM 适配中能力保留难题。 利用 K-FAC 实现高效适配,CurvLoRA 提供低秩变体。在数学推理、代码生成及知识遗忘任务中,其在 TOFU 和 MUSE 基准上展现出优于基线模型的获取-保留平衡,保留性能接近从零开始重训练的参考水平。

  9. arXiv · NLP32

    CoT 隐藏状态揭示直接回答的任务解决方向

    研究发现,直接提示词表示空间中每个问题存在能更常导向正确答案的方向。 在 LLaMA 3.1 8B 和 Qwen 2.5 7B 模型上,这些方向将直接提示平均准确率分别提升至 85% 和 86%,token 消耗仅为 CoT 的十分之一。 这些方向可用于未来训练模型对齐其状态,实现更高效推理。

  10. arXiv · NLP31

    MECI 框架用于多模态实体链接

    研究人员提出多元素协同交互(MECI)框架以解决多模态实体链接中的元素主导问题。该框架结合多视图专家网络与层次化多模态交互模块,并利用大语言模型进行零样本重排序。 在 WikiDiverse 等三个基准测试中,MECI 均优于现有最先进方法。其 Hits@1 指标分别提升了 1.95%、7.30% 和 2.31%。

  11. arXiv · NLP23

    LipSpell:结合显著特征编辑距离、键盘几何与语料频率的语言无关拼写纠错评分框架

    LipSpell 提出一种语言无关的语音评分框架,结合 IPA 显著特征矩阵、键盘几何及语料频率先验,解决传统拼写检查器在处理音位错误时的局限。 在巴西葡萄牙语非 NFD 容忍测试中,LipSpell Top-1 准确率达 73.00%,优于 Norvig 的 66.40%;俄语西里尔字母准确率达 85.67%。该框架支持六种语言跨五个语系及三种文字系统,验证了固定权重迁移的有效性。

  12. arXiv · NLP20

    低资源满文OCR中词汇覆盖与准确率的权衡:何时扩展词库,何时回退

    在低资源满文OCR中,向约2.9万词的基础词典添加25万形态学候选项,可将已见词根新组合的类型准确率从63.6%提升至86.3%。 但添加全部51万候选项会导致整体词元准确率降至81.5%,显示覆盖率提升伴随词典内精度损失。基础词典结合置信度回退策略表现最佳,达到76.1%类型和85.5%词元准确率。

  13. arXiv · NLP21

    FutureBench 提出评估 LLM 知识-上下文冲突的可再生框架

    FutureBench 利用时间戳问题评估 LLM 知识-上下文冲突,发现 Verify 提示词在截止前事件中使 5 个模型错误答案采纳率全面上升。 该框架覆盖 3629 个问题和 6 个模型,针对 902 个截止后问题的对比显示,Adversarial-Aware 提示词可恢复 82.5-98.9% 的被取代答案。 支持在固定队列上重复评估并扩展至新事件,以适应模型更新。

  14. arXiv · NLP22

    语言模型使新研究听起来过时:LLM 夸大已有文献覆盖范围

    研究发现 LLM 常使开放研究问题显得部分已研究,夸大相关论文结论。在 40 个新问题中,GPT-6-Astra 98% 准确判断未研究,但普通回答仅 8% 明确表达该状态。 所有 6 个前沿模型存在 30-90 个百分点的报告差距,能力越高差距越大。通过结合模型判断与独立检查引文论文,Astra 的开放状态清晰报告率从 8% 升至 95%。

  15. Hugging Face Blog45

    Hugging Face 研究表明,FLOP 估算预测微调时长误差极大(MAE 12.41 小时),而 CatBoost 回归器在 272 个生产任务中实现了 R² 0.98 的高精度,MAE 降至 1.71 小时。

    研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。

11月18日周三
  1. arXiv · NLP36

    无坐标或区域标签的视觉文档理解中的证据归属研究

    研究表明,将视觉文档理解的证据归属接口从坐标输出改为语言引用接口,可显著提升证据召回率并降低幻觉率。 在CiteVQA子集上,证据召回率提升至26至47之间,幻觉率减半且答案质量变化不大;结合GRPO训练框架,8B骨干模型的严格归属准确率从22.4提升至33.8。 该研究为无需坐标接口及昂贵区域级监督即可改进归属提供了实用路径。

  2. arXiv · NLP28

    Spike-driven VLA 模型实现高效机器人操控

    首个基于脉冲驱动的 VLA 框架实现机器人操控端到端直接训练,采用多赢家脉冲融合与 Spike Action Chunking Transformer 组件。 该框架在 LIBERO 和 Meta-World 基准测试中表现具有竞争力,且参数量更少、推理能耗更低。 为资源受限平台上的具身智能建立了神经形态基础。

  3. arXiv · NLP38

    大语言扩散模型(LLDMs)的不确定性量化:首个系统性研究与轻量级零样本方法

    本研究首次系统探讨大语言扩散模型(LLDMs)的不确定性量化,提出基于去噪过程的轻量级零样本信号,并适应现有最先进UQ方法。 在3项任务、8个数据集和4个模型上的实验表明,该方法以最高100x更低的计算开销接近最强基于采样的基线,兼顾快速推理与可靠的幻觉检测。

  4. arXiv · NLP30

    NONSENSE 探针揭示稠密检索模型中的语义性缺口

    研究者提出的 NONSENSE 黑盒探针构造无意义字符串,在 5 个数据集和 3 种单向量检索器上频繁获得高分甚至排名第一。 这些高分字符串并非相关文档,证明现有稠密检索模型的相似度分数与语义证据脱节。 该结果强调了评估检索模型时,不仅要看相关性,更要看相似度分数反映语义证据的可靠性。

  5. arXiv · NLP41

    研究揭示 4-bit 量化对聊天模型安全行为的影响取决于特定舍入误差

    预注册研究显示,4-bit 量化导致 Qwen2.5-3B 和 Llama-3.2-3B 的拒答行为出现相反偏移,且该变化取决于特定舍入误差而非比特数或似然。 Llama-3.2-3B 在越狱攻击下的顺从率降低 10.3 分,其半幅误差下顺从率仍降 5.8 分,而随机或高斯扰动平均影响接近零。 每个量化构建必须与其原始版本对比,因为 4-bit 量化下的拒答行为无法由通用指标预测。

  6. arXiv · NLP30

    **title_zh**: TSW-NL:评估语言模型的荷兰语单词谜题基准

    **summary_zh**: 研究者提出荷兰语开放词汇基准 TSW-NL,包含 222 个实例,旨在通过确定性评分评估 LLM。 该基准源自 Wikipedia 消歧义页面,人工研究得分介于 49.5% 至 61.0% 之间,最高开源模型得分仅为 39.3%。 GPT-4.1 得分 59.2%,而 GPT-5.6 Sol 使用最大推理模式得分达 88.8%,显示闭源模型显著进步。

  7. arXiv · NLP20

    对比人类与大语言模型对荷兰语多族裔变体 Straattaal 的隐含及显性语言态度

    研究显示 LLM 对荷兰语多族裔变体 Straattaal 存在类人的显性语言态度,其响应模式与人类参与者在相同显性评级任务中相似。 在 LLM Word Association Test 中,Straattaal 持续与有移民背景的个体关联,且较大、较新的模型表现出更强关联;人类在隐性和显性层面均强烈建立该关联。 研究凸显将社会语言学视角纳入 NLP 以识别和缓解内嵌的社会及语言偏见的重要性。

  8. arXiv · NLP32

    HindAudit 审计临床 Agent 基准中的后见之明偏差

    HindAudit 在 MIMIC-IV 27,489 例急诊病例中发现,基准摘要使 4 个 LLM 零样本准确率从 25.4% 升至 39.7%,病史升至 45.3%。 后见之明主要存在于病例文本中,给模拟器提供诊断对实验室结果泄漏影响微小,掩码诊断名不改变该差距。 由于 MIMIC 缺乏实时病史,该差距被视为后见之明效应的上限。

  9. arXiv · NLP33

    SAFE-Triage 多维度框架评估面向患者的急诊分诊 AI 工具

    SAFE-Triage 框架整合人工审核、自动化指标及 LLM 评估,在 40 个 MIMIC-IV 案例中对比 PLT 与 rPLT 分诊表现。 PLT 的急诊严重程度指数准确率更高(57.5% vs 42.8%),且低分诊率更低(13.1% vs 29.8%)。 该框架揭示准确率、通信质量与可读性间的权衡,支持部署前优化与持续监测。

  10. arXiv · NLP25

    语言模型能排序政党立场却无法定位程度:一项针对日韩政党的研究

    语言模型在对日韩政党进行相对排序时,表现比最强固定答案基线高出两倍以上,但在同一量表上定位单一政党时则低于该基线。 该结论基于 Comparative Manifesto Project 的编码数据,且研究发现提供编码值可将定位表现提升至接近满分,表明比较性问题和绝对性问题衡量不同的能力。