跳到正文
10月14日周三
  1. arXiv · NLP28

    基于调查衍生数据的差分隐私偏好对齐研究

    针对世界价值观调查数据中的敏感信息风险,研究提出结合随机响应、指数机制和 DP-SGD 的差分隐私流水线。 实验表明,标签级隐私机制性能优于梯度级方法,且预处理中的聚合函数对隐私保护有显著贡献。 该细粒度隐私比较框架为具备形式化隐私保障的大语言模型对齐提供了探索方向。

  2. arXiv · NLP34

    大规模个性化 LLM 推荐中单头自回归解码对比多头预测

    在大规模 LLM 推荐系统研究比较单头自回归解码与多头预测,前者在排序和内容问答指标上更优。在 Qwen3-8B 规模下,单头方案以 2.6 倍较低成本训练,但推理吞吐量落后。 该方案结合辅助排序损失,端到端性能较前代基线提升显著,冷启动排序 +77%,内容问答准确率 +22%,训练速度提升 2.8 倍,语言指标回退则通过强化学习后训练来缓解。

  3. arXiv · ML31

    ARMED:自适应检索增强药物推荐框架

    研究团队提出自适应临床RAG框架ARMED,通过动态扩展检索解决固定管道引入噪声证据的问题。 在MIMIC-IV数据集上,ARMED性能持续优于静态检索基线,提升药物推荐质量。 该框架结合本地可运行的小型语言模型,无需依赖外部API或任务微调即可支持药物推荐。

  4. arXiv · AI25

    小模型迭代重试工作流提升资源受限下的 Text-to-SQL 可靠性

    1B-8B 参数开源小模型在 Spider 基准中表现不稳定,SQL 专用模型比通用模型更可靠。 研究提出三种轻量级迭代重试工作流,通过自动切换提示词或模型及语法修正,显著提升端到端成功率。 该方案以少量额外推理调用为代价,为资源受限环境下的 Text-to-SQL 部署提供可行路径。

  5. arXiv · NLP23

    晚交互压缩的简单线性校正方法

    提出一种学习全局线性校正的方法,用于恢复晚交互模型文档向量压缩后的检索质量,无需重训练编码器或重新压缩。 在 ColBERTv2、Jina v4 和 ColPali2 上评估,领域内 BEIR 的 160 种设置中 154 种表现优于基线压缩,使用合成查询训练的矩阵在 ViDoRe v3 视觉文档检索基准中也优于基线。 证明轻量级线性校正能有效部分恢复因压缩丢失的检索质量。

  6. arXiv · AI35

    LLM 评委评分格式影响指令微调数据筛选效果

    研究发现 LLM 评委的评分格式比评委本身更显著地影响指令微调数据筛选效果。 在固定候选池和预算下,对 15406 个 UltraFeedback 候选进行测试,0-100 分制实际仅等价于 1-5 分制的 2 至 3 倍分辨率。 二元判定会在 77%-78% 的情况下导致最高分并列,且现有指标可能误导格式选择。

  7. arXiv · AI30

    VL-DocIR: 基于视觉的长文档信息检索基准

    研究人员提出 VL-DocIR,这是首个证据完整的视觉长文档检索页面级基准。它从 29,641 个文档构建了 388,548 张页面图像和 271,760 个查询,覆盖六个证据结构。 最强配置在结构平衡宏评估中达到 69.3 nDCGAll@10 和 80.6 RecallAll@10。结果显示,跨文档检索远难于单页检索,而文档上下文评分对文档内多页查询尤为有帮助。

  8. arXiv · NLP42

    SMI:基于本体论的层级感知医学概念表示语义ID框架

    SMI 提出了一种免训练框架,通过本体论定义的粗到细路径为医学概念生成语义 ID,并在 MIMIC-IV 等数据集上改善了临床预测。 该框架聚合冻结的生物医学语言模型嵌入形成层级感知表示,理论分析显示其比忽略层级的嵌入更具信息量,尤其在稀有概念上。 SMI 已被 NeurIPS 2026 主赛道接收,实验表明其能提升死亡率、再入院预测及跨院区分布漂移下的鲁棒性。

  9. arXiv · NLP31

    提出直接知识图谱交互框架 DKGI,让 Agent 工具创建与使用共同进化

    研究提出直接知识图谱交互框架 DKGI,使语言模型 Agent 在完整节点和边文件上直接创建图访问工具,实现工具创建与使用的共同进化。 在跨越三个领域的基准测试中,无训练的 DKGI 在每个图上的 Hit@1 分数均比最强已发表基线高出至少 6.7 分。 消融实验显示,多轮编程优于仅使用 shell 和预定义图工具,代码轨迹证实 Agent 会通过修改代码扩展搜索或修正错误,相关代码和数据已开源。

  10. arXiv · NLP21

    Legal-R1:基于智能体检索的证据型法律推理框架

    提出Legal-R1智能体检索框架,将法律推理分解为Lawyer、Legal Assistant和Judge多智能体工作流,提升中国法律基准测试表现。 Lawyer智能体通过掩码监督微调和轨迹感知强化学习后训练,负责决定检索时机与证据充分性;Legal Assistant执行权威与多样性感知检索,Judge基于完整证据轨迹生成答案。

  11. arXiv · NLP20

    检索不一致性作为信号:诊断与引导多语言稠密嵌入器

    研究指出,多语言稠密检索器在共享索引中会导致同一问题在不同语言下检索结果显著分歧,且正确文档常被无关内容掩盖。 通过引入“分歧引导式引导”,利用其他语言共识与该语言特有检索结果的表示差异,作为特定语言方向加至查询中。 该方法在保持召回率竞争力的同时,最显著地减少了同语言内的拥塞,优于语言均值移除等基线方法。

  12. arXiv · ML34

    PUR方法:基于语义集中度的PEFT与RAG工作负载分配提升个性化LLM性能

    研究人员提出PUR方法,通过将用户历史数据中的核心语义信息分配给PEFT、分散信息保留给RAG,实现个性化LLM生成的准确性提升与推理延迟降低。 实验表明,PUR在多个任务中持续达到最佳生成质量,相比现有最优方法推理延迟降低14.4%–46.6%。 该方法为平衡个性化LLM服务的质量与效率提供了新的架构设计思路。

  13. arXiv · AI31

    托管决策模型 Jev-1.13.0 违反独立无关备选项原则:预注册测试

    对托管决策模型 Jev-1.13.0 的预注册测试显示,增加无关选项会系统性改变正确与最强错误选项间的对数几率,违反独立无关备选项原则。 299,463 次调用中,新增选项导致 0.20-0.52 nats 的均方根偏移,约为运行间波动的 1.2-3 倍;选项达到 255 个时偏移约 1 nat,而独立打分虽消除依赖但正确率降低 8.7 个百分点。

  14. arXiv · ML20

    ARC-FedSC:面向联邦图像语义通信的自适应角色分配与受控特征重构

    ARC-FedSC 框架通过协调用户设备角色分配与服务器端受控特征重构,在固定通信预算下优化混合联邦语义通信。 CIFAR-10 实验显示,后期训练阶段最佳配置平均 PSNR 达 24.17 dB,有害 FR 事件概率降低 62.0% 至 0.093。 该设计在时变 RAN 信道下展现出优于基线方法的鲁棒性与有效性。

  15. arXiv · ML32

    CacheLink 实现零预填充跨模型上下文交接

    CacheLink 通过直接学习接收端行为来耦合 K/V 校正,解决跨模型切换时需重新预填充的问题。 在四个独立训练的发送端-接收端模型对及七个评估面板中,CacheLink 的平均性能优于现有方法。 在 32K 上下文长度下,该方法将交接延迟降低最高达 7.27 倍,且 K/V 均方误差变化小于 0.4%。

  16. arXiv · AI22

    SLKR:基于语义标签检索的零样本文本分类框架

    SLKR 提出一种分离离线知识构建与在线推理的检索增强生成框架,在 Qwen3.5-4B 上于四个基准测试中均取得最佳结果。 该框架利用旗舰 LLM 生成标签定义与边界规则,在线阶段通过混合检索筛选候选标签,由轻量模型单次调用完成分类。 消融实验证实,检索少量相关边界规则能在大幅缩减上下文长度的同时保持接近全量规则的分类性能。

  17. arXiv · AI20

    ProCARE:基于画像证据合约的真实世界研究自动化框架

    论文提出 ProCARE 框架,将真实世界研究自动化重构为约束编译,通过证据合约处理临床语义并生成 RWS-IR。 在 36 个基于 EHR 的基准任务中,ProCARE 在代码可执行性、语义一致性及结论可追溯性上优于强 LLM 代理基线,且诊断结果与专家盲评具有一致性。 该研究已被 NeurIPS'26 接收,论文包含 42 页内容及 5 幅图表。

  18. arXiv · AI24

    Radioactive Feedback:追踪仅基于标签 LLM 监督训练的模型

    Radioactive Feedback 提出一种通过奖励分数嵌入行为偏好模式的技术,实现仅基于标签 LLM 监督训练的模型检测。 该方法在代码和数学领域实验中验证了偏好可通过低带宽奖励信号跨数据集传递,支持对固定参考池进行黑盒检测。 解决了现有水印和蒸馏检测器无法覆盖仅分数反馈通道的问题,增强了 AI 模型溯源能力。

  19. arXiv · AI33

    CoverSynth:基于覆盖度引导的检索评估集生成方法

    研究人员推出覆盖度引导的生成工具 CoverSynth,旨在解决企业级智能体检索评估中覆盖度、可靠性与可区分性不足的问题,无需高昂的人工标注成本。 工具通过确定性检查与基于模型的语义验证结合,在五个公共语料库上生成具有难度差异的评估集。

  20. arXiv · NLP28

    Audit Before You Distill:面向紧凑型医疗语言模型推理迁移的控制工作流

    研究发现,教师模型的正确推理依据可使学生模型答对概率提升21个百分点,错误依据则降低14个百分点。 研究提出Distill-SFT方法,将答案与依据合并为单一目标进行训练,在保持推理优势的同时减少训练实例。 该工作流通过预先审计依据内容和验证教师答案,有效缓解了灾难性遗忘,提升了紧凑型模型在医疗问答中的效率。

  21. arXiv · NLP23

    CULTUREBOT: 面向文化遗产数据的检索增强探索框架

    CULTUREBOT是一个结合知识图谱引导检索、词汇语义检索和源链接生成的交互式框架,用于自然语言探索文化遗产收藏。 该框架在81,852条SearchCulture记录上实例化,并通过在线演示发布。在包含六位文化遗产专家、55个人设驱动查询和250项评估的专家评价中,图谱引导系统在证据接地、多样性、推理和完整性方面显著优于两个通用助手和消融模型。

  22. arXiv · AI40

    FleetPilot: 细粒度引导赋能 LLM 个性化

    提出 FleetPilot 细粒度引导框架,通过动态生成样本级干扰向量注入前向传播实现 LLM 个性化,无需训练循环。 该方法结合匹配对比与注意力/MLP 层激活挂钩,在短长文本生成及 Web 函数调用场景中显著优于现有方法,在数据稀疏环境下表现突出且推理开销低。

  23. arXiv · NLP33

    面向领域通用 Mixture of Experts 剪枝的鲁棒校准数据集研究

    针对 Mixture-of-Experts (MoE) 模型的后训练专家剪枝,这项实证研究揭示了校准数据对 gpt-oss-20b 模型性能的关键影响。 研究发现,领域通用的剪枝质量在增加校准数据规模至较小样本量后获益甚微;仅使用英语进行跨语言校准即可在七种不同语系和文字的语言中保持强劲性能;且模仿预训练分布的多样化校准数据,其性能可与甚至优于测试分布数据。

  24. arXiv · AI30

    DSABench: 面向多数据库智能体源发现、协调与执行的基准测试

    DSABench 提出了评估多数据库智能体源发现、协调与执行能力的基准测试,包含815个人工审查任务。 该基准显示7个模型后端中路由的最高RA-Set分数为60.55%,含协调要求时RA-Graph最高仅为34.66%。 4个后端上,无澄清时Route+Exec-Graph中位成功率6.69%至7.98%,单次澄清后提升至11.44%至13.25%。