LAnR 提出统一框架,在 LLM 潜空间内实现 RAG 编码、检索与生成
LAnR 提出统一 RAG 框架,单 LLM 在潜空间联合执行编码、检索与生成,取代独立检索器。 基于 [PRED] token 隐状态生成稠密检索向量,并借助轻量 MLP 控制头自适应决定检索停止时机。 在 6 个 QA 基准上表现优于现有 RAG 方法,同时通过减少检索调用提升推理效率。
LAnR 提出统一 RAG 框架,单 LLM 在潜空间联合执行编码、检索与生成,取代独立检索器。 基于 [PRED] token 隐状态生成稠密检索向量,并借助轻量 MLP 控制头自适应决定检索停止时机。 在 6 个 QA 基准上表现优于现有 RAG 方法,同时通过减少检索调用提升推理效率。
提出可扩展超网络 SHINE,在单次前向传播中将多样上下文映射为高质量 LoRA 适配器。 SHINE 复用冻结 LLM 参数,结合预训练与指令微调,无需微调即可更新参数。 该方法将上下文知识转化为参数知识,显著节省时间、计算和内存成本。
REAP 提出递归评估与自适应规划方法,显著优于现有 RAG 在域内外多跳推理任务中的表现。 其核心通过 Sub-task Planner 维持全局视角并动态优化轨迹,结合 Fact Extractor 从检索内容提取可靠线索,增强推理可靠性与可追溯性。 研究在 AAAI 2026 发表,验证了该方法在复杂多跳推理场景下的有效性。
针对跨学科文献检索难题,研究发布 CPR-Dataset 及含 1,300 个查询的 CPR-eval 基准。现有最佳检索器 Recall@10 仅 0.26,而 LLM 重排器达到 0.81。
SearCl 框架利用用户搜索和点击行为自动生成对话推荐数据集,无需人工标注。 该方法通过概率状态机控制对话流程,LLM 智能体基于内容元数据构建的知识图谱生成 3,538 条对话。 LLM-as-a-judge 评估显示 SearCl 生成对话的质量得分高于现有基准数据集。
对 Zero-Shot、Few-Shot、RAG 及 PE2 优化进行的跨领域评估显示,无单一提示策略在所有任务中占优。 RAG 在 300 个检索示例下平均准确率达 78.33%,Few-Shot 在结构化推理任务表现较好。 研究建议应根据任务特征自适应选择提示技术,而非视为通用策略。
多智能体框架 AIR 无需任务特定训练,即可在 Text-to-SQL 场景中通过生成澄清问题解决查询歧义。 在 AMBROSIA 基准的 schema-only 设定下,AIR 的 F1 分数为 0.679,超过 SOTA 模型 IntentRL 的 0.618;其性能退化率约为 7%,优于 IntentRL 的 20%。
Cache2LoRA 提出通过查询聚合冻结文档缓存证据再生成 LoRA 更新,在 17 项任务上宏平均 F1 达 0.663,接近全上下文学习的 0.671。 该方法仅对查询和记忆词尾进行可训练编码,256 token 输出时解码吞吐量达全上下文 ICL 的 5.9 倍,且在匹配内存下混合 F1 更优。
LatComm 通过分离编码与读取,解决了多 LLM 系统中上下文传递效率低下的问题。 它采用冻结 LLM 编码固定大小数据包,接收端通过交叉注意力选择读取,12 个基准平均准确率提升最高 10.2 分。 在 QuALITY 上,该方法将接收端输入减少 57 倍,回答速度提升 3 倍。
提出基准测试 KEEP-Bench,包含 4,102 个案例,用于直接评估上下文压缩的证据保留保真度。 该基准发现最佳开源模型(31B)在 100K+ token 上下文窗口下仅保留 66.8% 必需证据,最佳闭源模型仅保留 61.6%。 研究强调未来工作应侧重在小计算预算下构建具有强信息保留能力的压缩器,而非依赖扩大输出预算。
SpecMRL 通过重组特征空间实现更有效的 MTEB 压缩性能,使用一半嵌入维度即超越全维度 MRL。 该方法引入参数导出的频谱基(parameter-derived spectral basis),在前缀读取时优先考虑信息量较大的方向。
RESIN 在 HolisQA 基准测试中实现 82.92 的上下文召回率和 76.70 的答案相关性,代码已开源。 方法将问题分解为单跳需求并检索证据至紧凑推理缓冲,消融实验证实类型化证据多样性和逐跳分解对推理有效性和可审计性的关键作用。
EpiLens 是一个轻量级开源 RAG 工具包,用于流行病学文献映射。 基于 2,297 篇论文语料库,其分类器在 214 篇人工标注样本中匹配或超越有监督基线。 该工具显示 54% 的 R 值相关论文为模型驱动,远超致死风险研究的 22%。
大规模生物医学 RAG 评估显示,语料库扩展并未使小规模检索结论持续有效。RAG 在四个模型配置中的三个上提升外部基准分数最高 9.6 个百分点,在留出测试集上提升 10.2-30.3 分。 层级表示在多数端到端对比中匹配或优于平面全文检索,且索引单元减少 67%,存储空间减少 44-56%。
研究通过离散令牌搜索优化文档后缀,使语言模型无需额外指令即可在反事实段落中优先遵循文档内容而非参数化知识。 该方法在三组指令微调模型家族中翻转了模型抗拒的大部分项目,性能优于解码基线并匹配激活引导,且单个后缀可迁移至未见解。
针对顺序知识编辑导致 LLM 通用能力退化问题,研究提出 FisherEdit 方法。 该基于 Fisher 几何理论,在参数空间实施重要性感知正则化,替代 AlphaEdit 等方法中的粗粒度激活空间投影,并采用高效逐行闭式解。
MapSteal 提出一种学生无关的结构化递归知识窃取框架,通过教师提议方向自主扩展知识目标,无需学生反馈。 基于 Qwen3.5 系列 2B、4B 和 9B 模型在六个医疗与网络安全基准上验证,4B 医疗评测中 Full MapSteal 较简化递归变体平均准确率提升 1.17 个百分点。 实验表明该框架可行性但收益依赖具体领域与评测面板,代码已开源。
约翰·霍普金斯大学提出 DiaLong 长上下文对话数据集,旨在定量评估 Transformer 架构 LLM 的记忆与回忆短板。 该数据集由 100 段经 LLM 增强的人类对话组成,核心任务为对 40 个候选事实进行真伪分类,以直接探测模型的主动保留与检索能力。 测试最新 LLM 及记忆增强方案后,论文指出当前模型记忆性能仍需提升,以改善长对话中的连贯性与类人交互体验。
TREK框架揭示搜索增强LLM在快速演变知识推理中的主要瓶颈并非检索,而是检索后推理阶段。模型在获取所有必要信息后,仍易被相互矛盾的证据误导,导致最终回答错误。 研究构建了包含时间性、相关性及可信度干扰项的受控基准TREKBENCH-CTRL。结果表明,现有基准若主要由过时干扰项主导,会大幅低估任务难度,从而无法准确评估模型真实能力。
为解决知识图谱数据问答难题,研究提出通过计算实体间最短路径挖掘相关子图,并提取特征重排大语言模型候选答案。实验基于 Wikidata 评估了特征与重排模型组合的有效性,配套开发了可视化子图及生成自然语言描述的公共 Web 应用。
提出 Deep Fusion Memory 架构,通过块级记忆预测与门控交叉注意力融合,无需在线检索即可引入外部知识。 该机制在构造训练数据时,检索查询量减少 32 倍,检索条目减少 2048 倍;在 Mistral-7B-v0.3 上较最强基线提升 12.71%。
研究人员提出 PerspectiveBench 基准及 Perspective Alignment Score (PAS) 指标,用于量化 LLM 的视角对齐能力。 该基准构建多路径并存的场景,实验显示 SOTA 模型虽能包含目标内容,但难以排除非请求视角。 研究发现 RAG 虽改善事实性,却无法解决视角偏移,模型仍优先全面覆盖而非严格约束。代码与数据已开源。
研究团队发布WorldStateMedia,这是一个包含1.36亿篇来自136个国家、114种语言国家媒体文章的开放数据集。 该数据集通过标注媒体受控级别来审计预训练语料库,发现2025年英文网络爬取中受编辑控制的国家媒体占比达93%。RAG实验表明,检索特定国家的国家媒体会显著使模型答案偏向该国的领土主张。
RPL 允许策略将检索基元组合成可执行程序,通过程序变异机制解决稀疏反馈下的探索难题。 使用 4B 模型在开放域问答中优于 8B 基线,在语料库推理任务中同时取得最高 F1 分数并显著降低上下文消耗。 证明了可编程搜索能扩展智能体可学习的检索策略,程序变异是探索有用程序结构的有效机制。
研究团队发布诊断数据集 MisleadQA,用于评估 LLM 在真实但偏离主题(out-of-scope)上下文下的表现。 测试六个开源 LLM 发现,仅提供偏离主题上下文 S 时错误率升至 29.3%,提供错误但在主题内上下文 F 时错误率高达 75.4%;即使加入正确上下文 G,F 仍导致 21.0% 的错误。 研究建议评测需检查上下文是否适用,并共同报告正确率、受误导率及弃权率。
研究显示,六种先进显式记忆系统在 LongMemEval-S 和 BEAM-100K 测试中,相比原始历史 RAG 基线仅获得局部增益,且无一致优势。 部分系统因构建显式记忆耗时数小时,却未能有效保留或检索支撑答案的关键信息,检索仍是主要瓶颈。
在中国法律检索基准中,嵌入 Top-300 召回率已饱和,重排序器质量成为关键瓶颈。 训练后的 4B Stage2 重排序器在 STARD 和 CSAID 基准上优于原生 4B 模型,并在 410 个内部查询的偏好评估中胜出 72.4%。 该结果支持在工业检索系统中将检索与重排序阶段分开评估,以精准定位优化目标。
CoDA 是一款开源的人机协作代码本开发助手,帮助领域专家利用语言模型为无序文本的新变量制定标注指南。 通过迭代审查错误预测并整合专家反馈,该方法将代码本开发时间从数周缩短至 2 小时,所需人工标注样本减少 5 倍。 大规模应用 CoDA 生成标注,共识别出 2,410 条含健康讨论的无家可归者案例记录和 10,196 条涉及野生动物走私负面情绪的社媒帖子。
2026 年 1 至 9 月,SageMaker JumpStart 新增超过 100 个模型,来自 30 家提供商。 重点纳入 Alibaba(Qwen)29 个模型、NVIDIA 17 个模型及 Mistral 7 个模型,支持 LoRA、SFT、DPO 等微调技术。 强化多模态与高效推理能力,提供量化模型如 GLM-5.2 FP8 和 MiniCPM5-1B。
Open Notebook 在 GitHub 获得 4 万 Star,定位为开源、多模型且注重隐私的 NotebookLM 替代方案,支持全文与向量搜索、引用溯源及播客生成。
推荐理由:Open Notebook 将多模型配置交给用户,并通过默认接入硅基流动,让知识库的部署、模型选择和隐私控制都可以按需组合。
AutoPrunedRetriever (APR) 推出了一种基于图的RAG系统,在5个复杂推理基准测试中,比最强基线模型准确率提升1.8-10.8分,同时减少多达96%的输入token。
RAW-Explainer 提出了一种针对路径推理图神经网络(GNN)的可解释性方法,专为知识图谱补全中的链接预测生成连贯、简洁且可解释的子图解释。 该方法利用异构信息识别事实解释,并通过随机游走目标增强子图连通性,结合参数化模型实现高效解释。
EKLAV 提出保留教师思维链作为上下文但仅监督最终答案的蒸馏方法,在 BRIGHT 榜单 nDCG@10 胜出 41/48 组对比。 该方案将部分推理轨迹移至提示词,训练计算减少 31.6%,推理时间减少 32.7%,超越全轨迹蒸馏 3.0 分。 方法无需学生生成数据或迭代反馈,适用于 pointwise 和 listwise 两种重排序架构。
研究提出一个概念框架,用于描述和分析现有检索增强生成(RAG)技术。 该框架基于对文献中RAG技术属性的定性分析,包含主要维度和子维度。 它可作为实证基准测试前的预过滤机制,帮助筛选最合适的RAG候选方案,以节省计算和财务成本。
论文提出ArG框架,首次通过端到端训练实现基于结构化图谱的迭代推理。 模型利用特殊token控制推理过程,按需检索并细粒度评估知识。该模型在知识图谱推理任务中结果优于现有基线。 ```
提出一种基于门控多模态单元(Gated Multimodal Unit)的 RAG 框架,用于医疗视觉问答(MVQA)。 该框架通过联合查询表征提取双模态证据,且保持底层医疗大视觉语言模型(Med-LVLM)冻结。在基准测试中,其性能一致优于参考模型,并与最先进方法具有竞争力。
提出 SRCoT 模块化架构,在 Apple M4 128GB 本地设备运行,将生成组织为闭环检索-反思-修正流程。 该架构分离环境状态与持久知识,利用 BM25 检索提供上下文,并生成缺失信息标记及声明-证据映射以支持决策。 研究显示其具备报告级可检查性与本地执行能力,但存在来源分配错误等局限,属于需人工审查的研究概念验证。
受控测试平台 ReRankID 证明仅凭语义ID(SID)进行推理重排序可行。8B 模型经分级排序奖励训练后,仅用 SID 即可达到与文本提示长度差 20 倍但表现相当的强 LLM 效果。
ReDiST提出一种学生条件化轨迹构建与蒸馏框架,通过冻结的学生匹配读者筛选并排序轨迹候选,同时平衡轨迹与最终答案的监督信号。 该框架在问答基准实验中优于仅答案监督、原始轨迹及基线方法,且在源任务与跨基准测试中均提升了性能,强调了在分布间评估轨迹教学效用的重要性。
summary_zh: MARS提出记忆感知路由框架,将记忆构建与模型选择通过会话状态连接,在质量、内存和成本间取得平衡。 在RealMem测试中,MARS保留GPT-4o 98.2%的问答能力,仅使用其14.5%的生成API成本,且记忆召回与检索分数最强。