跳到正文
10月14日周三
  1. arXiv · NLP30

    SPARK 实现 RAG 中自适应参数知识参与以增强忠实度

    SPARK 框架将参数知识控制建模为潜在参与策略学习,解决检索上下文与内部知识冲突导致的生成不忠实问题。 通过引入轻量级参与策略动态调节 FFN 介导的知识贡献,仅增加 0.01% 可训练参数并保持主干 LLM 冻结。 在六个数据集上验证了其有效性,比竞争性基线实现更忠实的生成,且代码和数据已公开。

  2. arXiv · NLP38

    ReGrad 提出可检索梯度实现持续后训练,避免累积权重漂移

    ReGrad 提出“可检索梯度”范式,将梯度作为知识单元离线预计算并存储于 Gradient Bank,推理时仅检索相关梯度进行临时权重适应,避免累积权重漂移。 方法引入双层元学习目标重塑文档梯度,使其转化为可泛化的下游任务适应信号,在通用与领域特定场景下均优于持续预训练(CPT)和 RAG 基线。 该范式实现了可扩展且可逆的参数化知识注入,有助于缓解灾难性遗忘。

  3. arXiv · AI25

    SYNTRA 实现嵌入模型在跨领域和任务上的可扩展自适应

    SYNTRA 提出一种新型检索数据合成方法,利用自我改进循环迭代优化可重用的合成指令,在 24 个检索数据集、15 个领域中进行实验验证。 该方法仅需未标注语料和少量相关查询-文档对,无需人工设计数据,在 6 个评估任务中提升检索性能,其中 4 项优于人类校准。 在 MS MARCO 数据集上,随着训练集规模扩展至初始的 32 倍,检索性能持续提升,以极少的人工干预实现了嵌入模型的跨领域自适应。

  4. arXiv · NLP26

    AfriEconQA:面向世界银行经济报告定量与时间推理的基准

    AfriEconQA 基于 204 份世界银行非洲经济报告构建,包含 4,138 个带证据关联的 QA 实例,覆盖 5 类推理任务,重点测试长文档中的定量提取与时间精度。 评估涵盖 Qwen 3.6 35B、DeepSeek v4-pro 等 4 个模型,在检索增强生成(RAG)条件下最佳系统 F1 分数仅 0.594,错误主要集中于列表提取、合成及跨期比较。

  5. arXiv · NLP28

    医疗领域开源基础模型综述:生成式AI驱动个性化处方的挑战与机遇

    在100个合成患者档案中,开源权重LLM在个性化处方任务上的总体适用性准确率(0.810-0.850)匹敌或超越专有模型基线(0.780)。 引入RAG后所有模型均有提升,但排名差距缩小至0.04;双评分者主观评估发现,检索虽提升准确率,却降低了部分模型的五个维度评分。 研究强调在医疗场景中部署先进LLM和AIFM需重视伦理风险及透明化原则。

  6. arXiv · AI41

    654 个真实 RAG 系统配置问题的首次大规模实证研究

    本研究分析了 10 个不同 RAG 系统产生的 654 个真实配置问题,完成了首个大规模实证研究。 研究提供了故障症状、根源、相关阶段及修复模式的完整分类,发现故障根源阶段往往与症状观测阶段不一致。 该发现揭示了配置问题的特性,并提供了 9 条针对测试、定位和修复的可行见解。

  7. arXiv · NLP28

    基于调查衍生数据的差分隐私偏好对齐研究

    针对世界价值观调查数据中的敏感信息风险,研究提出结合随机响应、指数机制和 DP-SGD 的差分隐私流水线。 实验表明,标签级隐私机制性能优于梯度级方法,且预处理中的聚合函数对隐私保护有显著贡献。 该细粒度隐私比较框架为具备形式化隐私保障的大语言模型对齐提供了探索方向。

  8. arXiv · NLP34

    大规模个性化 LLM 推荐中单头自回归解码对比多头预测

    在大规模 LLM 推荐系统研究比较单头自回归解码与多头预测,前者在排序和内容问答指标上更优。在 Qwen3-8B 规模下,单头方案以 2.6 倍较低成本训练,但推理吞吐量落后。 该方案结合辅助排序损失,端到端性能较前代基线提升显著,冷启动排序 +77%,内容问答准确率 +22%,训练速度提升 2.8 倍,语言指标回退则通过强化学习后训练来缓解。

  9. arXiv · ML31

    ARMED:自适应检索增强药物推荐框架

    研究团队提出自适应临床RAG框架ARMED,通过动态扩展检索解决固定管道引入噪声证据的问题。 在MIMIC-IV数据集上,ARMED性能持续优于静态检索基线,提升药物推荐质量。 该框架结合本地可运行的小型语言模型,无需依赖外部API或任务微调即可支持药物推荐。

  10. arXiv · AI25

    小模型迭代重试工作流提升资源受限下的 Text-to-SQL 可靠性

    1B-8B 参数开源小模型在 Spider 基准中表现不稳定,SQL 专用模型比通用模型更可靠。 研究提出三种轻量级迭代重试工作流,通过自动切换提示词或模型及语法修正,显著提升端到端成功率。 该方案以少量额外推理调用为代价,为资源受限环境下的 Text-to-SQL 部署提供可行路径。

  11. arXiv · NLP23

    晚交互压缩的简单线性校正方法

    提出一种学习全局线性校正的方法,用于恢复晚交互模型文档向量压缩后的检索质量,无需重训练编码器或重新压缩。 在 ColBERTv2、Jina v4 和 ColPali2 上评估,领域内 BEIR 的 160 种设置中 154 种表现优于基线压缩,使用合成查询训练的矩阵在 ViDoRe v3 视觉文档检索基准中也优于基线。 证明轻量级线性校正能有效部分恢复因压缩丢失的检索质量。

  12. arXiv · AI35

    LLM 评委评分格式影响指令微调数据筛选效果

    研究发现 LLM 评委的评分格式比评委本身更显著地影响指令微调数据筛选效果。 在固定候选池和预算下,对 15406 个 UltraFeedback 候选进行测试,0-100 分制实际仅等价于 1-5 分制的 2 至 3 倍分辨率。 二元判定会在 77%-78% 的情况下导致最高分并列,且现有指标可能误导格式选择。

  13. arXiv · AI30

    VL-DocIR: 基于视觉的长文档信息检索基准

    研究人员提出 VL-DocIR,这是首个证据完整的视觉长文档检索页面级基准。它从 29,641 个文档构建了 388,548 张页面图像和 271,760 个查询,覆盖六个证据结构。 最强配置在结构平衡宏评估中达到 69.3 nDCGAll@10 和 80.6 RecallAll@10。结果显示,跨文档检索远难于单页检索,而文档上下文评分对文档内多页查询尤为有帮助。

  14. arXiv · NLP42

    SMI:基于本体论的层级感知医学概念表示语义ID框架

    SMI 提出了一种免训练框架,通过本体论定义的粗到细路径为医学概念生成语义 ID,并在 MIMIC-IV 等数据集上改善了临床预测。 该框架聚合冻结的生物医学语言模型嵌入形成层级感知表示,理论分析显示其比忽略层级的嵌入更具信息量,尤其在稀有概念上。 SMI 已被 NeurIPS 2026 主赛道接收,实验表明其能提升死亡率、再入院预测及跨院区分布漂移下的鲁棒性。

  15. arXiv · NLP31

    提出直接知识图谱交互框架 DKGI,让 Agent 工具创建与使用共同进化

    研究提出直接知识图谱交互框架 DKGI,使语言模型 Agent 在完整节点和边文件上直接创建图访问工具,实现工具创建与使用的共同进化。 在跨越三个领域的基准测试中,无训练的 DKGI 在每个图上的 Hit@1 分数均比最强已发表基线高出至少 6.7 分。 消融实验显示,多轮编程优于仅使用 shell 和预定义图工具,代码轨迹证实 Agent 会通过修改代码扩展搜索或修正错误,相关代码和数据已开源。

  16. arXiv · NLP21

    Legal-R1:基于智能体检索的证据型法律推理框架

    提出Legal-R1智能体检索框架,将法律推理分解为Lawyer、Legal Assistant和Judge多智能体工作流,提升中国法律基准测试表现。 Lawyer智能体通过掩码监督微调和轨迹感知强化学习后训练,负责决定检索时机与证据充分性;Legal Assistant执行权威与多样性感知检索,Judge基于完整证据轨迹生成答案。

  17. arXiv · NLP20

    检索不一致性作为信号:诊断与引导多语言稠密嵌入器

    研究指出,多语言稠密检索器在共享索引中会导致同一问题在不同语言下检索结果显著分歧,且正确文档常被无关内容掩盖。 通过引入“分歧引导式引导”,利用其他语言共识与该语言特有检索结果的表示差异,作为特定语言方向加至查询中。 该方法在保持召回率竞争力的同时,最显著地减少了同语言内的拥塞,优于语言均值移除等基线方法。

  18. arXiv · ML34

    PUR方法:基于语义集中度的PEFT与RAG工作负载分配提升个性化LLM性能

    研究人员提出PUR方法,通过将用户历史数据中的核心语义信息分配给PEFT、分散信息保留给RAG,实现个性化LLM生成的准确性提升与推理延迟降低。 实验表明,PUR在多个任务中持续达到最佳生成质量,相比现有最优方法推理延迟降低14.4%–46.6%。 该方法为平衡个性化LLM服务的质量与效率提供了新的架构设计思路。

  19. arXiv · AI31

    托管决策模型 Jev-1.13.0 违反独立无关备选项原则:预注册测试

    对托管决策模型 Jev-1.13.0 的预注册测试显示,增加无关选项会系统性改变正确与最强错误选项间的对数几率,违反独立无关备选项原则。 299,463 次调用中,新增选项导致 0.20-0.52 nats 的均方根偏移,约为运行间波动的 1.2-3 倍;选项达到 255 个时偏移约 1 nat,而独立打分虽消除依赖但正确率降低 8.7 个百分点。

  20. arXiv · ML20

    ARC-FedSC:面向联邦图像语义通信的自适应角色分配与受控特征重构

    ARC-FedSC 框架通过协调用户设备角色分配与服务器端受控特征重构,在固定通信预算下优化混合联邦语义通信。 CIFAR-10 实验显示,后期训练阶段最佳配置平均 PSNR 达 24.17 dB,有害 FR 事件概率降低 62.0% 至 0.093。 该设计在时变 RAN 信道下展现出优于基线方法的鲁棒性与有效性。

  21. arXiv · ML32

    CacheLink 实现零预填充跨模型上下文交接

    CacheLink 通过直接学习接收端行为来耦合 K/V 校正,解决跨模型切换时需重新预填充的问题。 在四个独立训练的发送端-接收端模型对及七个评估面板中,CacheLink 的平均性能优于现有方法。 在 32K 上下文长度下,该方法将交接延迟降低最高达 7.27 倍,且 K/V 均方误差变化小于 0.4%。

  22. arXiv · AI22

    SLKR:基于语义标签检索的零样本文本分类框架

    SLKR 提出一种分离离线知识构建与在线推理的检索增强生成框架,在 Qwen3.5-4B 上于四个基准测试中均取得最佳结果。 该框架利用旗舰 LLM 生成标签定义与边界规则,在线阶段通过混合检索筛选候选标签,由轻量模型单次调用完成分类。 消融实验证实,检索少量相关边界规则能在大幅缩减上下文长度的同时保持接近全量规则的分类性能。