跳到正文
11月19日周四
  1. arXiv · NLP21

    大语言模型 RLOps 综述:系统梳理五大训练阶段方法与未来挑战

    该研究对大语言模型强化学习运维(RLOps)进行系统性综述,旨在解决训练扩展中暴露的分布式执行、反馈计算及学习动态故障问题。研究将现有方法归纳为训练设置、经验收集、奖励计算、策略优化和模型评估五个阶段,并深入分析各阶段的操作关注点与管理技术。文章指出了训练过程可观测性、跨阶段协调及通用化 RLOps 等开放挑战,相关资源已托管于 GitHub 仓库。

  2. arXiv · NLP28

    GPT-5.6在结构化记录中镜像了伴随文本:对“隐藏待处理工具调用”场景的预注册概念复制与扩展

    在100对合成日志中,gpt-5.6-sol添加结构化残留记录后,明确说明未返回查询的比例为29%,而仅添加安慰剂记录为5%。 但70%至71%的记录声称无未决问题,且该结构化记录与伴随文本在提及缺口方面完全一致。 该结果预注册检验未达显著,无法证明结构化记录独立改善了模型披露。

  3. arXiv · NLP28

    拆解 AI 科研构思:CAR 智能体框架

    CAR 框架结合文献接地与迭代开发,在 LiveIdeaBench 40 个主题上表现出高于单轮提示的方法学新颖性。 该框架构建语义知识图谱,配备双关联等四个算子,在 BioXArena 等基准中取得最高胜率。 结果未确立显式算子的一致性质量优势,但实现了构思过程与文献来源的可追溯性。

  4. arXiv · NLP40

    通用进展可替代特定训练数据,揭示语言模型能力获取规律

    研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握被屏蔽技能。 以国际象棋模型为例,从未显式学习应对将军指令的模型表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 数据过滤虽能延缓能力形成,但所需数据量随模型改进而减少,对能力监管具有参考价值。

  5. arXiv · NLP23

    CurvDelta:低曲率 delta 建模用于模型学习与遗忘

    CurvDelta 框架通过低曲率空间参数化更新,解决 LLM 适配中能力保留难题。 利用 K-FAC 实现高效适配,CurvLoRA 提供低秩变体。在数学推理、代码生成及知识遗忘任务中,其在 TOFU 和 MUSE 基准上展现出优于基线模型的获取-保留平衡,保留性能接近从零开始重训练的参考水平。

  6. arXiv · NLP49

    Piccolo: 通过递归自我改进协同演化决策模型与数据

    Piccolo 0.8B 至 27B 多模态决策模型通过 Agentic Data Engineering 实现模型与数据协同演化。 Piccolo-27B 在 Decision Index Vision Full 榜单以 75.59 分居首,9B 与 4B 模型在各自规模 Private 基准测试中排名第一。 发布权重及工具,为构建前沿决策模型及扩展数据驱动的递归自我改进提供可行蓝图。

  7. arXiv · NLP32

    CoT 隐藏状态揭示直接回答的任务解决方向

    研究发现,直接提示词表示空间中每个问题存在能更常导向正确答案的方向。 在 LLaMA 3.1 8B 和 Qwen 2.5 7B 模型上,这些方向将直接提示平均准确率分别提升至 85% 和 86%,token 消耗仅为 CoT 的十分之一。 这些方向可用于未来训练模型对齐其状态,实现更高效推理。

  8. arXiv · NLP34

    GPT-5-mini 与 AI Agent 在英阿翻译任务中的表现评估

    GPT-5-mini 在 WikiEn-Ar190 数据集上作为独立翻译器 COMET 得分为 0.8649,结合自评机制时词汇准确性提升 28.76%。 该数据集包含 18 个领域的 190 篇维基百科文章,经两位阿拉伯语母语者校验;BLEU 分数达到 22.83。 研究证明自主推理方法能提升低资源语言对翻译一致性,为评估和改进翻译提供框架。

  9. arXiv · NLP31

    小语言模型前沿组件叠加效应:一项复制双因素研究

    研究在相同数据与训练预算下测试五项改动,发现 MoE、Muon 优化器和 Gated DeltaNet 混合带来最大增益。额外归一化有帮助,而参数匹配的注意力门控平均提升微小。 这些改动大部分可叠加,但重复实验揭示了微小交互作用及被初统计误判为噪声的益处。结论限于小模型训练场景,专家模型拥有更大总容量。 实践意义在于应共同测试有潜力的组件,并重复比较以决定保留哪些改动。

  10. arXiv · NLP31

    MECI 框架用于多模态实体链接

    研究人员提出多元素协同交互(MECI)框架以解决多模态实体链接中的元素主导问题。该框架结合多视图专家网络与层次化多模态交互模块,并利用大语言模型进行零样本重排序。 在 WikiDiverse 等三个基准测试中,MECI 均优于现有最先进方法。其 Hits@1 指标分别提升了 1.95%、7.30% 和 2.31%。

  11. arXiv · NLP33

    LoopCache: 加速循环Transformer长上下文自推测解码

    LoopCache 提出了一种针对循环 Transformer 长上下文的自推测解码框架。 它采用置信度引导的动态草稿更新和循环 KV 缓存策略,将每步 KV 流量限制在单一循环内。 实验显示 LoopCache 相比 WFD 和 LoopSpec 分别实现了 10.25 倍和 14.56 倍的加速。

  12. arXiv · NLP23

    LipSpell:结合显著特征编辑距离、键盘几何与语料频率的语言无关拼写纠错评分框架

    LipSpell 提出一种语言无关的语音评分框架,结合 IPA 显著特征矩阵、键盘几何及语料频率先验,解决传统拼写检查器在处理音位错误时的局限。 在巴西葡萄牙语非 NFD 容忍测试中,LipSpell Top-1 准确率达 73.00%,优于 Norvig 的 66.40%;俄语西里尔字母准确率达 85.67%。该框架支持六种语言跨五个语系及三种文字系统,验证了固定权重迁移的有效性。

  13. arXiv · NLP53

    arXiv 论文揭示 LLM 生成儿童故事中的性别刻板印象

    这篇 arXiv 论文考察大语言模型生成儿童故事中的性别刻板印象,分析了16个模型在35个国家背景下生成的62,873篇故事。研究发现,面向男孩的故事在叙事框架上比面向女孩的故事表现出更高能动性和更低亲社会性,这些差异是持续但受语境影响的,推动了超越短文本基准的叙事特定偏见评估。

  14. arXiv · NLP37

    MIRAGE:动态知识注入下的多跳推理框架

    MIRAGE 是一个无需训练的框架,通过相关性感知的双路径推理器(CDR)解决多跳问答中知识注入下的来源信任错误,在多个基准上刷新了 SOTA 记录。 该框架通过基于 P(True) 的置信度路由机制处理冲突知识与全新信息,并辅以轻量级模板引导修正器,在四个 LLM 家族和两个基准上验证了其有效性。

  15. arXiv · NLP27

    量化对低资源多语言翻译效果的影响:三项模型家族在非洲语言上的初步研究

    量化压缩在低资源多语翻译中保持质量稳定,但推理延迟未降低。三项模型家族在豪萨语、斯瓦希里语和约鲁巴语上评估,FLORES-200数据集1012句/方向。 INT8和INT4量化内存节省49-61%,但延迟增加1.3-5.3倍,未实现加速。专用MT模型NLLB-200-distilled-1.3B在斯瓦希里语和豪萨语方向比LLM高32.7-43.3 chrF。

  16. arXiv · NLP30

    大语言模型上下文学习与离上下文幻觉的机制分析

    研究提出统一视角解析大语言模型在上下文学习(ICL)与离上下文幻觉(OOC)中的功能角色机制。 关键观察显示角色信息内部表示无法可靠约束输出,需满足贡献幅度与符号聚合一致性。因果分析表明角色跨度贡献影响响应结构、内容选择及事实值等关键决策。

  17. arXiv · NLP20

    低资源满文OCR中词汇覆盖与准确率的权衡:何时扩展词库,何时回退

    在低资源满文OCR中,向约2.9万词的基础词典添加25万形态学候选项,可将已见词根新组合的类型准确率从63.6%提升至86.3%。 但添加全部51万候选项会导致整体词元准确率降至81.5%,显示覆盖率提升伴随词典内精度损失。基础词典结合置信度回退策略表现最佳,达到76.1%类型和85.5%词元准确率。

  18. arXiv · NLP32

    LED:用于扩散语言模型的 Levenshtein 编辑框架

    提出 LED 后训练框架,扩展扩散语言模型的编辑范式,支持插入与删除操作以修正序列移位错误。 基于 16B 参数 LLaDA2.1-Mini Base,置信引导解码下平均得分由 54.86 升至 57.10,置信无引导解码下由 27.52 升至 47.19。 在 block size 128 时提升鲁棒性(36.97 至 51.34),并增强生成多样性。

  19. arXiv · NLP22

    RAT-Bench 马来西亚扩展:LLM 匿名化工具将再识别风险降至 23-29%

    研究将 RAT-Bench 扩展至马来西亚微数据,评估 NER 与 LLM 匿名化工具的隐私效用权衡。 LLM 匿名化工具在马来西亚英语和马来语中表现最佳,将易/难再识别风险降至 23-29%,同时保持 0.77-0.94 的 BLEU 分数。 非 LLM 工具存在过度遮蔽或残留高风险的失效模式,凸显在本地化 AI 流水线中需针对特定语言和文化背景评估匿名化工具。

  20. arXiv · NLP21

    FutureBench 提出评估 LLM 知识-上下文冲突的可再生框架

    FutureBench 利用时间戳问题评估 LLM 知识-上下文冲突,发现 Verify 提示词在截止前事件中使 5 个模型错误答案采纳率全面上升。 该框架覆盖 3629 个问题和 6 个模型,针对 902 个截止后问题的对比显示,Adversarial-Aware 提示词可恢复 82.5-98.9% 的被取代答案。 支持在固定队列上重复评估并扩展至新事件,以适应模型更新。

  21. arXiv · NLP22

    语言模型使新研究听起来过时:LLM 夸大已有文献覆盖范围

    研究发现 LLM 常使开放研究问题显得部分已研究,夸大相关论文结论。在 40 个新问题中,GPT-6-Astra 98% 准确判断未研究,但普通回答仅 8% 明确表达该状态。 所有 6 个前沿模型存在 30-90 个百分点的报告差距,能力越高差距越大。通过结合模型判断与独立检查引文论文,Astra 的开放状态清晰报告率从 8% 升至 95%。

  22. arXiv · NLP38

    LLM 学术作者归属幻觉研究:引用数与幻觉率的反向关系

    研究显示 LLM 在学术作者归属任务中,幻觉率与论文引用数呈稳健反向关系。低引用论文的幻觉率超过 98%,而高引用论文的幻觉率低于 37%。 分析表明这些失败主要源于检索局限而非知识缺失,开源模型内部状态探测证实事实普及度已编码在生成前的表征中。

  23. arXiv · NLP23

    基于 Transformer 的法院案件进展预测模型

    提出基于 Transformer 的时序模型,用于预测刑事案件下一步程序结果,在 20 类多标签任务上取得 0.57 micro-F1。 模型结合书记员笔记文本与被告人、罪名等结构化数据,性能优于基线且接近 GRU。 该模型可用于提升司法透明度,帮助识别辖区内的新兴问题。

  24. arXiv · NLP39

    CV Priority Sorter 审计:人类在环 CV 排序器的部署发现

    在 300 份合成 CV 池中,按工具建议顺序阅读可在半堆内容中发现 95% 的相关候选人,优于随机顺序。 该系统使用冻结的多语言 Transformer 编码器,结合会话级线性模型,每次标签后重新训练并在会话结束时丢弃。 审计发现文档长度即可排序导致指标无效,不确定性采样虽保持模型质量但增加委员会总阅读负载;托管 LLM 嵌入模型将零标签序数判别力从 0.66 提升至 0.80。

  25. OpenAI (X)70

    OpenAI 发布研究报告:AI 如何改变其内部研究进程

    OpenAI 发布了关于 AI 如何改变其研究过程的新数据报告。数据显示,研究人员对 AI 的使用量持续呈指数级上升,智能体(agents)正在完成更长的任务,但人类参与仍然是研究的核心。

    推荐理由:OpenAI发布了关于AI如何改变内部研究的新数据,揭示了研究员对AI使用量的指数级增长和人类参与度的核心地位。

  26. Hugging Face Blog45

    Hugging Face 研究表明,FLOP 估算预测微调时长误差极大(MAE 12.41 小时),而 CatBoost 回归器在 272 个生产任务中实现了 R² 0.98 的高精度,MAE 降至 1.71 小时。

    研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。

11月18日周三
  1. 美团技术团队24

    美团技术团队 12 篇 EMNLP 2026 主会论文精选

    美团技术团队有 12 篇论文入选 EMNLP 2026 主会,涵盖推理框架与强化学习等领域。 论文包括 LTS-Agent 语音交互框架及 SIRI 智能体内化框架,SIRI 在 ALFWorld 上将任务成功率提升至 93.0%。 这些成果旨在为 NLP 与计算语言学领域的研究人员提供技术参考。