R3Con:基于相关性实现理论的规模化推理上下文表示框架
summary_zh: R3Con提出设计超大规模上下文表示的原则,并在两项基准测试中超越最强基线20%和8.4%。 该方法使4B和9B小模型性能超过35B基线,且Qwen3.5-35B-A3B配合R3Con以3.7倍更低成本超越Claude-Sonnet-5。
summary_zh: R3Con提出设计超大规模上下文表示的原则,并在两项基准测试中超越最强基线20%和8.4%。 该方法使4B和9B小模型性能超过35B基线,且Qwen3.5-35B-A3B配合R3Con以3.7倍更低成本超越Claude-Sonnet-5。
研究提出 Trace as State 方法,将收集的推理轨迹作为条件状态置于长上下文之前,以提升因果 Transformer 的长文本推理能力。 该方法在 27 组模型、任务和指标中的 26 组胜过将轨迹置于上下文之后的 Trace Append 对照组,保留了因果结构优势。
一致性修复在基于 LLM 的文档级关系提取(DocRE)中是否有效,取决于基准测试的金标准标注在施加约束下的闭合程度。 论文引入闭包率 Δ_closure,该指标可在修复运行前计算。
SPARK 框架将参数知识控制建模为潜在参与策略学习,解决检索上下文与内部知识冲突导致的生成不忠实问题。 通过引入轻量级参与策略动态调节 FFN 介导的知识贡献,仅增加 0.01% 可训练参数并保持主干 LLM 冻结。 在六个数据集上验证了其有效性,比竞争性基线实现更忠实的生成,且代码和数据已公开。
ReGrad 提出“可检索梯度”范式,将梯度作为知识单元离线预计算并存储于 Gradient Bank,推理时仅检索相关梯度进行临时权重适应,避免累积权重漂移。 方法引入双层元学习目标重塑文档梯度,使其转化为可泛化的下游任务适应信号,在通用与领域特定场景下均优于持续预训练(CPT)和 RAG 基线。 该范式实现了可扩展且可逆的参数化知识注入,有助于缓解灾难性遗忘。
SYNTRA 提出一种新型检索数据合成方法,利用自我改进循环迭代优化可重用的合成指令,在 24 个检索数据集、15 个领域中进行实验验证。 该方法仅需未标注语料和少量相关查询-文档对,无需人工设计数据,在 6 个评估任务中提升检索性能,其中 4 项优于人类校准。 在 MS MARCO 数据集上,随着训练集规模扩展至初始的 32 倍,检索性能持续提升,以极少的人工干预实现了嵌入模型的跨领域自适应。
MERIT 框架结合强化学习与过程奖励模型,实现文本转 SQL Agent 的双层记忆检索。 该框架维护 episode 级战略记忆与 turn 级局部决策记忆。 在 BIRD-Interact 和 Spider2-Snow 测试中,其成功率优于无记忆基线且无需微调即可迁移。
论文提出 CoRE 方法,通过联合学习规则路由与约束检索解决无预设监督问题。 核心机制利用强化学习优化路由策略,结合对比学习训练检索器,实现双向共适应。 在 STaRK-QA 数据集上的实验验证了该方法在科学发现及电商管理中的有效性。
DAVID-GRPO 通过专家轨迹播种和证据引导续写,解决小模型在低 rollout 数下的检索崩溃问题。 该方法在 4 块 RTX 3090 上训练 Qwen2.5-1.5B,平均 EM 达 22.6,优于同预算基线 11.9,且实现多轮检索。 代码已开源,为资源受限环境下的多跳 QA 训练提供可复现方案。
AfriEconQA 基于 204 份世界银行非洲经济报告构建,包含 4,138 个带证据关联的 QA 实例,覆盖 5 类推理任务,重点测试长文档中的定量提取与时间精度。 评估涵盖 Qwen 3.6 35B、DeepSeek v4-pro 等 4 个模型,在检索增强生成(RAG)条件下最佳系统 F1 分数仅 0.594,错误主要集中于列表提取、合成及跨期比较。
summary_zh: MOSAIC 系统采用 LangGraph 架构编排四个智能体,支持动态少样本提示的 RAG,用于临床沟通编码。 在包含 76 份转录本的评估中,该系统在测试集上取得 0.928 的整体 F1 分数,其中风湿科子集 F1 高达 0.962。
SciRerankBench 是首个专门评估 RAG-LLM 中重排序器的基准,覆盖五个科学学科。 该基准通过 Noisy Contexts、SSLI 和 CC 三类 Q-C-A 对测试噪声抗性,系统评估了 13 种重排序器在 5 个 LLM 族上的表现,为未来开发提供指导。
FailureSensorIQ 是一个评估 LLM 工业 4.0 推理能力的多选择题(MCQA)基准。 该基准测试了 GPT-4、Llama 和 Mistral 等十余款模型,分析发现即使强推理模型也易受干扰且存在知识缺口。 论文提出了 LLMFeatureSelector 特征选择流水线,并在 Hugging Face 开放了排行榜。
在100个合成患者档案中,开源权重LLM在个性化处方任务上的总体适用性准确率(0.810-0.850)匹敌或超越专有模型基线(0.780)。 引入RAG后所有模型均有提升,但排名差距缩小至0.04;双评分者主观评估发现,检索虽提升准确率,却降低了部分模型的五个维度评分。 研究强调在医疗场景中部署先进LLM和AIFM需重视伦理风险及透明化原则。
本研究分析了 10 个不同 RAG 系统产生的 654 个真实配置问题,完成了首个大规模实证研究。 研究提供了故障症状、根源、相关阶段及修复模式的完整分类,发现故障根源阶段往往与症状观测阶段不一致。 该发现揭示了配置问题的特性,并提供了 9 条针对测试、定位和修复的可行见解。
inLoRA-MINT 利用激活等中间表示审计 LoRA 微调 LLM 的训练数据,MINT 分类器在四个模型、三个数据集上达到 95% 至 98% 的区分准确率。 该方法无需完全访问模型参数,仅依赖中间信号即可判断样本是否参与训练,增强了数据隐私与合规审计能力。
研究分析指出 Relativity 的 GenAI 审阅工具 aiR 与 RAL 指标不可直接对比,计入评估者分歧及成本收益差异后,aiR 效果与人工审阅相当。 基于 Redgrave 数据,采用 Continuous Active Learning 的机器学习模型仅需 2,000 个样本即可达到 SOTA 效率。该分析提供了更严谨的方法对比基准。
论文提出面向搜索智能体的跨源证据接地框架 CSEG 及基准 CSEG-Bench。 核心事实:针对现有方法忽视证据溯源独立性与冲突归因的问题,CSEG-Bench 包含 1,160 条真实检索文档池重写的轨迹。
针对世界价值观调查数据中的敏感信息风险,研究提出结合随机响应、指数机制和 DP-SGD 的差分隐私流水线。 实验表明,标签级隐私机制性能优于梯度级方法,且预处理中的聚合函数对隐私保护有显著贡献。 该细粒度隐私比较框架为具备形式化隐私保障的大语言模型对齐提供了探索方向。
Hashrope 提出一种持久化权重平衡 Rope 数据结构,通过 Mersenne 素数多项式哈希实现 LLM 上下文管理四大机制的统一,支持对数级编辑与身份查询。
在大规模 LLM 推荐系统研究比较单头自回归解码与多头预测,前者在排序和内容问答指标上更优。在 Qwen3-8B 规模下,单头方案以 2.6 倍较低成本训练,但推理吞吐量落后。 该方案结合辅助排序损失,端到端性能较前代基线提升显著,冷启动排序 +77%,内容问答准确率 +22%,训练速度提升 2.8 倍,语言指标回退则通过强化学习后训练来缓解。
KhyontekAI 团队提出多语言两阶段检索框架,用于 CLEF 2026 CheckThat! 科学网络声明来源检索任务。 该框架结合微调密集检索模型与交叉编码器重排序,最终系统整体平均 MRR@5 达 0.5862,其中英语、德语、法语 MRR@5 分别为 0.6222、0.5112 和 0.6254。
研究团队提出自适应临床RAG框架ARMED,通过动态扩展检索解决固定管道引入噪声证据的问题。 在MIMIC-IV数据集上,ARMED性能持续优于静态检索基线,提升药物推荐质量。 该框架结合本地可运行的小型语言模型,无需依赖外部API或任务微调即可支持药物推荐。
1B-8B 参数开源小模型在 Spider 基准中表现不稳定,SQL 专用模型比通用模型更可靠。 研究提出三种轻量级迭代重试工作流,通过自动切换提示词或模型及语法修正,显著提升端到端成功率。 该方案以少量额外推理调用为代价,为资源受限环境下的 Text-to-SQL 部署提供可行路径。
生产系统中基于设计的置信度分数在 BIRD 数据集上区分 Text-to-SQL 答案正误的能力较弱,AUROC 仅为 0.624,且错误拦截了 35.7% 的正确答案。
提出一种学习全局线性校正的方法,用于恢复晚交互模型文档向量压缩后的检索质量,无需重训练编码器或重新压缩。 在 ColBERTv2、Jina v4 和 ColPali2 上评估,领域内 BEIR 的 160 种设置中 154 种表现优于基线压缩,使用合成查询训练的矩阵在 ViDoRe v3 视觉文档检索基准中也优于基线。 证明轻量级线性校正能有效部分恢复因压缩丢失的检索质量。
133名WearGait-PD参与者研究表明,在采集点非正交设计中,参与者不重叠交叉验证会高估模型泛化能力。单独基于采集点区分的AUC达0.955,显著高于步态特征模型的0.882。
研究发现 LLM 评委的评分格式比评委本身更显著地影响指令微调数据筛选效果。 在固定候选池和预算下,对 15406 个 UltraFeedback 候选进行测试,0-100 分制实际仅等价于 1-5 分制的 2 至 3 倍分辨率。 二元判定会在 77%-78% 的情况下导致最高分并列,且现有指标可能误导格式选择。
研究人员提出 VL-DocIR,这是首个证据完整的视觉长文档检索页面级基准。它从 29,641 个文档构建了 388,548 张页面图像和 271,760 个查询,覆盖六个证据结构。 最强配置在结构平衡宏评估中达到 69.3 nDCGAll@10 和 80.6 RecallAll@10。结果显示,跨文档检索远难于单页检索,而文档上下文评分对文档内多页查询尤为有帮助。
SMI 提出了一种免训练框架,通过本体论定义的粗到细路径为医学概念生成语义 ID,并在 MIMIC-IV 等数据集上改善了临床预测。 该框架聚合冻结的生物医学语言模型嵌入形成层级感知表示,理论分析显示其比忽略层级的嵌入更具信息量,尤其在稀有概念上。 SMI 已被 NeurIPS 2026 主赛道接收,实验表明其能提升死亡率、再入院预测及跨院区分布漂移下的鲁棒性。
研究提出直接知识图谱交互框架 DKGI,使语言模型 Agent 在完整节点和边文件上直接创建图访问工具,实现工具创建与使用的共同进化。 在跨越三个领域的基准测试中,无训练的 DKGI 在每个图上的 Hit@1 分数均比最强已发表基线高出至少 6.7 分。 消融实验显示,多轮编程优于仅使用 shell 和预定义图工具,代码轨迹证实 Agent 会通过修改代码扩展搜索或修正错误,相关代码和数据已开源。
提出Legal-R1智能体检索框架,将法律推理分解为Lawyer、Legal Assistant和Judge多智能体工作流,提升中国法律基准测试表现。 Lawyer智能体通过掩码监督微调和轨迹感知强化学习后训练,负责决定检索时机与证据充分性;Legal Assistant执行权威与多样性感知检索,Judge基于完整证据轨迹生成答案。
研究指出,多语言稠密检索器在共享索引中会导致同一问题在不同语言下检索结果显著分歧,且正确文档常被无关内容掩盖。 通过引入“分歧引导式引导”,利用其他语言共识与该语言特有检索结果的表示差异,作为特定语言方向加至查询中。 该方法在保持召回率竞争力的同时,最显著地减少了同语言内的拥塞,优于语言均值移除等基线方法。
研究人员提出PUR方法,通过将用户历史数据中的核心语义信息分配给PEFT、分散信息保留给RAG,实现个性化LLM生成的准确性提升与推理延迟降低。 实验表明,PUR在多个任务中持续达到最佳生成质量,相比现有最优方法推理延迟降低14.4%–46.6%。 该方法为平衡个性化LLM服务的质量与效率提供了新的架构设计思路。
对托管决策模型 Jev-1.13.0 的预注册测试显示,增加无关选项会系统性改变正确与最强错误选项间的对数几率,违反独立无关备选项原则。 299,463 次调用中,新增选项导致 0.20-0.52 nats 的均方根偏移,约为运行间波动的 1.2-3 倍;选项达到 255 个时偏移约 1 nat,而独立打分虽消除依赖但正确率降低 8.7 个百分点。
跨模型 KV Cache 复用导致安全性不兼容,value reuse 比 key reuse 引发更大偏差。 VReparo 通过离线学习对齐映射,将 HarmBench ASR 降至 39.21%,StrongREJECT 分数降至 0.2163,且保留 85.62% 的 TTFT 提升。 解决了复用加速与安全对齐的冲突。
MERIT 是首个采用 Transformer 关系编码器的知识图谱基础模型(KGFM)。在 56 个基准测试中,其零样本 MRR 达到 SOTA 水平,推理速度比 TRIX 快 6 倍,比 FLOCK 快 100 倍以上。 微调后的 MERITQuery 在复杂查询回答任务中,以匹配成本超越了 UltraQuery。
ARC-FedSC 框架通过协调用户设备角色分配与服务器端受控特征重构,在固定通信预算下优化混合联邦语义通信。 CIFAR-10 实验显示,后期训练阶段最佳配置平均 PSNR 达 24.17 dB,有害 FR 事件概率降低 62.0% 至 0.093。 该设计在时变 RAN 信道下展现出优于基线方法的鲁棒性与有效性。
CacheLink 通过直接学习接收端行为来耦合 K/V 校正,解决跨模型切换时需重新预填充的问题。 在四个独立训练的发送端-接收端模型对及七个评估面板中,CacheLink 的平均性能优于现有方法。 在 32K 上下文长度下,该方法将交接延迟降低最高达 7.27 倍,且 K/V 均方误差变化小于 0.4%。
SLKR 提出一种分离离线知识构建与在线推理的检索增强生成框架,在 Qwen3.5-4B 上于四个基准测试中均取得最佳结果。 该框架利用旗舰 LLM 生成标签定义与边界规则,在线阶段通过混合检索筛选候选标签,由轻量模型单次调用完成分类。 消融实验证实,检索少量相关边界规则能在大幅缩减上下文长度的同时保持接近全量规则的分类性能。