跳到正文
11月19日周四
  1. arXiv · NLP26

    Openhagen Worlds:校准环境用于测量和训练科学发现智能体

    Openhagen Worlds 推出 27 个校准环境,包含 178 个难度层级,用于测试智能体在预算限制下运行实验并推理结果的能力。 每个层级经过 64 个开发实例的脚本预言机验证,确保非演绎策略成功率不超过 0.25。DeepSeek V4.1 Flash 在前沿测试中解决 32 个实例,9B 模型经策略迭代后核心层级成功率从 0.090 升至 0.148。

  2. arXiv · NLP48

    语言模型中人类脑组织分析方法的迁移与应用

    研究发现语言模型推理能力的提升涉及类似人类皮层发育的区域重组,在连续层范围内存在局部变化。 将相关区段权重嫁接到指令微调模型中平均提升了数学推理能力,且随区域重叠度增加而提高。该分析还定位了医疗模型中可迁移的推理相关区域,展示了低干扰下的性能提升。

  3. arXiv · NLP23

    GR00T N1.7 模型对地标词同义词的敏感度分析

    研究发现 GR00T N1.7 模型在 LIBERO-Spatial 任务中对地标词同义词敏感,导致闭环完成率从 100% 降至 67.6%。在连接层前替换地标词向量即可改变物体选择,但连接层后替换影响微弱。在多样化地标词上微调或仅训练连接层可修复同义词缺失任务的完成率。

  4. arXiv · NLP23

    长上下文 LLM 服务中保留上下文的计量与计费

    针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。

  5. arXiv · NLP33

    Sightline:面向快速 SVG 生成长窗口投机解码

    提出长窗口投机解码框架 Sightline,通过匹配草稿器视界长度的验证窗口提升 SVG 生成速度。 在涵盖 text-to-SVG 与 image-to-SVG 的六项基准(源自 MMSVG、MMSVG-2M 及 SArena)测试中,Sightline 在所有设置下均为对比无损解码器中速度最快。 分析表明其优势源于更长的验证窗口避免了短窗口被截断导致的轮次损失,相关代码与数据已开放获取。

  6. arXiv · NLP35

    AnyS1:任意 Agent 工作流中通用 System-1 决策框架

    研究提出 AnyS1 框架,利用人类编写的程序化技能将决策点转化为通用源,训练出单个校准的 4B pointer System-1 模型。该框架在运行时以单次前向传播解决常规决策,并在置信度低于阈值时回退至 System-2 大模型。 在三个未见过的 benchmark 测试中,AnyS1 将 episode 成本降低 75%-91%,模型调用时间减少 63%-92%,同时保持任务可靠性。

  7. arXiv · NLP35

    Safe Personal RSI:评估与修复个人 Agent 的指令更新

    针对个人健康助手 Kicker 的指令更新,Safe Personal RSI 在 21 次更新尝试中拒绝了 20 次。 修复确认显示 GPT-5.6 Luna 将攻击违规率从 10.7% 降至 0%,Qwen2.5-7B-Instruct 至 Qwen3-14B 迁移使违规率从 69.0% 降至 17.9%。 方法在模型权重和运行时代码固定的前提下,通过可执行基准测试确保更新安全性后再行采用。

  8. arXiv · NLP30

    GRAFT:基于执行引导的遗传重组智能体设计方法

    GRAFT 通过引入父代特异性执行证据优化进化交叉机制,在六个推理与编程场景测试中取得 82.0% 平均准确率。 该方法无需额外任务执行,仅利用评测中有限的成功与失败样本指导语义交叉与突变,其准确率比最强基线高出 9.8 个百分点。 这一结果证明了在执行证据指导下进行进化智能体设计的有效性。

  9. arXiv · NLP34

    BOS Summary:无损提升 LVLM 与 LLM 多步推理性能

    BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。

  10. arXiv · NLP24

    QDA:基于智能体的闭环大语言模型量化设计

    QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。

  11. arXiv · NLP21

    大语言模型 RLOps 综述:系统梳理五大训练阶段方法与未来挑战

    该研究对大语言模型强化学习运维(RLOps)进行系统性综述,旨在解决训练扩展中暴露的分布式执行、反馈计算及学习动态故障问题。研究将现有方法归纳为训练设置、经验收集、奖励计算、策略优化和模型评估五个阶段,并深入分析各阶段的操作关注点与管理技术。文章指出了训练过程可观测性、跨阶段协调及通用化 RLOps 等开放挑战,相关资源已托管于 GitHub 仓库。

  12. arXiv · NLP28

    GPT-5.6在结构化记录中镜像了伴随文本:对“隐藏待处理工具调用”场景的预注册概念复制与扩展

    在100对合成日志中,gpt-5.6-sol添加结构化残留记录后,明确说明未返回查询的比例为29%,而仅添加安慰剂记录为5%。 但70%至71%的记录声称无未决问题,且该结构化记录与伴随文本在提及缺口方面完全一致。 该结果预注册检验未达显著,无法证明结构化记录独立改善了模型披露。

  13. arXiv · NLP28

    拆解 AI 科研构思:CAR 智能体框架

    CAR 框架结合文献接地与迭代开发,在 LiveIdeaBench 40 个主题上表现出高于单轮提示的方法学新颖性。 该框架构建语义知识图谱,配备双关联等四个算子,在 BioXArena 等基准中取得最高胜率。 结果未确立显式算子的一致性质量优势,但实现了构思过程与文献来源的可追溯性。

  14. arXiv · NLP40

    通用进展可替代特定训练数据,揭示语言模型能力获取规律

    研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握被屏蔽技能。 以国际象棋模型为例,从未显式学习应对将军指令的模型表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 数据过滤虽能延缓能力形成,但所需数据量随模型改进而减少,对能力监管具有参考价值。

  15. arXiv · NLP23

    CurvDelta:低曲率 delta 建模用于模型学习与遗忘

    CurvDelta 框架通过低曲率空间参数化更新,解决 LLM 适配中能力保留难题。 利用 K-FAC 实现高效适配,CurvLoRA 提供低秩变体。在数学推理、代码生成及知识遗忘任务中,其在 TOFU 和 MUSE 基准上展现出优于基线模型的获取-保留平衡,保留性能接近从零开始重训练的参考水平。

  16. arXiv · NLP49

    Piccolo: 通过递归自我改进协同演化决策模型与数据

    Piccolo 0.8B 至 27B 多模态决策模型通过 Agentic Data Engineering 实现模型与数据协同演化。 Piccolo-27B 在 Decision Index Vision Full 榜单以 75.59 分居首,9B 与 4B 模型在各自规模 Private 基准测试中排名第一。 发布权重及工具,为构建前沿决策模型及扩展数据驱动的递归自我改进提供可行蓝图。

  17. arXiv · NLP32

    CoT 隐藏状态揭示直接回答的任务解决方向

    研究发现,直接提示词表示空间中每个问题存在能更常导向正确答案的方向。 在 LLaMA 3.1 8B 和 Qwen 2.5 7B 模型上,这些方向将直接提示平均准确率分别提升至 85% 和 86%,token 消耗仅为 CoT 的十分之一。 这些方向可用于未来训练模型对齐其状态,实现更高效推理。

  18. arXiv · NLP34

    GPT-5-mini 与 AI Agent 在英阿翻译任务中的表现评估

    GPT-5-mini 在 WikiEn-Ar190 数据集上作为独立翻译器 COMET 得分为 0.8649,结合自评机制时词汇准确性提升 28.76%。 该数据集包含 18 个领域的 190 篇维基百科文章,经两位阿拉伯语母语者校验;BLEU 分数达到 22.83。 研究证明自主推理方法能提升低资源语言对翻译一致性,为评估和改进翻译提供框架。

  19. arXiv · NLP31

    小语言模型前沿组件叠加效应:一项复制双因素研究

    研究在相同数据与训练预算下测试五项改动,发现 MoE、Muon 优化器和 Gated DeltaNet 混合带来最大增益。额外归一化有帮助,而参数匹配的注意力门控平均提升微小。 这些改动大部分可叠加,但重复实验揭示了微小交互作用及被初统计误判为噪声的益处。结论限于小模型训练场景,专家模型拥有更大总容量。 实践意义在于应共同测试有潜力的组件,并重复比较以决定保留哪些改动。

  20. arXiv · NLP31

    MECI 框架用于多模态实体链接

    研究人员提出多元素协同交互(MECI)框架以解决多模态实体链接中的元素主导问题。该框架结合多视图专家网络与层次化多模态交互模块,并利用大语言模型进行零样本重排序。 在 WikiDiverse 等三个基准测试中,MECI 均优于现有最先进方法。其 Hits@1 指标分别提升了 1.95%、7.30% 和 2.31%。

  21. arXiv · NLP33

    LoopCache: 加速循环Transformer长上下文自推测解码

    LoopCache 提出了一种针对循环 Transformer 长上下文的自推测解码框架。 它采用置信度引导的动态草稿更新和循环 KV 缓存策略,将每步 KV 流量限制在单一循环内。 实验显示 LoopCache 相比 WFD 和 LoopSpec 分别实现了 10.25 倍和 14.56 倍的加速。

  22. arXiv · NLP23

    LipSpell:结合显著特征编辑距离、键盘几何与语料频率的语言无关拼写纠错评分框架

    LipSpell 提出一种语言无关的语音评分框架,结合 IPA 显著特征矩阵、键盘几何及语料频率先验,解决传统拼写检查器在处理音位错误时的局限。 在巴西葡萄牙语非 NFD 容忍测试中,LipSpell Top-1 准确率达 73.00%,优于 Norvig 的 66.40%;俄语西里尔字母准确率达 85.67%。该框架支持六种语言跨五个语系及三种文字系统,验证了固定权重迁移的有效性。

  23. arXiv · NLP53

    arXiv 论文揭示 LLM 生成儿童故事中的性别刻板印象

    这篇 arXiv 论文考察大语言模型生成儿童故事中的性别刻板印象,分析了16个模型在35个国家背景下生成的62,873篇故事。研究发现,面向男孩的故事在叙事框架上比面向女孩的故事表现出更高能动性和更低亲社会性,这些差异是持续但受语境影响的,推动了超越短文本基准的叙事特定偏见评估。

  24. arXiv · NLP37

    MIRAGE:动态知识注入下的多跳推理框架

    MIRAGE 是一个无需训练的框架,通过相关性感知的双路径推理器(CDR)解决多跳问答中知识注入下的来源信任错误,在多个基准上刷新了 SOTA 记录。 该框架通过基于 P(True) 的置信度路由机制处理冲突知识与全新信息,并辅以轻量级模板引导修正器,在四个 LLM 家族和两个基准上验证了其有效性。

  25. arXiv · NLP27

    量化对低资源多语言翻译效果的影响:三项模型家族在非洲语言上的初步研究

    量化压缩在低资源多语翻译中保持质量稳定,但推理延迟未降低。三项模型家族在豪萨语、斯瓦希里语和约鲁巴语上评估,FLORES-200数据集1012句/方向。 INT8和INT4量化内存节省49-61%,但延迟增加1.3-5.3倍,未实现加速。专用MT模型NLLB-200-distilled-1.3B在斯瓦希里语和豪萨语方向比LLM高32.7-43.3 chrF。

  26. arXiv · NLP30

    大语言模型上下文学习与离上下文幻觉的机制分析

    研究提出统一视角解析大语言模型在上下文学习(ICL)与离上下文幻觉(OOC)中的功能角色机制。 关键观察显示角色信息内部表示无法可靠约束输出,需满足贡献幅度与符号聚合一致性。因果分析表明角色跨度贡献影响响应结构、内容选择及事实值等关键决策。