SMELL:面向长上下文 LLM 的稀疏感知高效联邦微调框架
SMELL 框架在 16K 上下文长度下,将峰值内存消耗较传统微调降低 88.35%,较 forward-only LoRA 微调降低 13.25%。 该框架集成 LSFA、CASC 和 CPUR 机制,实现内存高效的本地适配、异构感知稀疏协调及轻量级更新传输,在 OPT-350M 和 LLaMA2-7B 实验中验证了其在非 IID 设置下的性能提升。
SMELL 框架在 16K 上下文长度下,将峰值内存消耗较传统微调降低 88.35%,较 forward-only LoRA 微调降低 13.25%。 该框架集成 LSFA、CASC 和 CPUR 机制,实现内存高效的本地适配、异构感知稀疏协调及轻量级更新传输,在 OPT-350M 和 LLaMA2-7B 实验中验证了其在非 IID 设置下的性能提升。
该研究提出自动化SFT数据引擎LogT,通过强制逻辑链引导生成高质量训练数据,解决视觉搜索中逻辑推理与工具使用挑战。 在Qwen2.5-VL-7B和InternVL3.5-8B上验证,LogT-SFT仅用3.1倍更少的数据和120倍以上更少的GPU小时,超越SFT和RL训练的SOTA模型。 应用简单RL配方后,模型性能比复杂RL设置方法高出9.59分,并展现出更高工具使用准确性与结构化推理轨迹。
Qwen2.5 在药物文献中展现适应症与禁忌症的记录不对称(LABEL),574 种药物中适应症提及频率约为禁忌症的 2.19 倍。 Qwen2.5 从 0.5B 扩容至 14B 时,适应症准确率提升 18.3 个百分点,而禁忌症准确率接近随机猜测;提供检索片段或路由至 FDA 标签可显著改善安全性问答效果。
RSIMed-27B 在罕见病诊断中准确率随计算量线性增长,无外部模型辅助下达到 0.516 诊断准确率。 优于 GPT-5.6 最佳设置的 0.399,且推理成本仅为后者的 1/38;自生成任务训练效果优于 GPT-5.5 等外部教师生成的任务。
提出免训练预算感知自适应-k检索方法ViSAR,在给定页面预算内动态确定检索数量。 ViSAR直接在嵌入空间构建查询条件化相似度矩阵,最多降低端到端RAG延迟58.9%,且无显著精度损失。 相似度矩阵结构与答案精度相关,为检索质量感知的文档理解提供未来方向。
研究显示,在固定检索流程中,使用逐字对话文本块比LLM提取的结构化工件更准确。 在LoCoMo数据集上逐字块得分为43.9%,而工件提取仅为28.0%;在LongMemEval-S上分别为67.4%和45.4%。 语义图未能弥补差距,有损蒸馏机制是核心问题,结构化记忆应作为逐字文本的补充而非替代。
该研究提出Revela,一个用于自监督检索器学习的可扩展训练框架。它通过在批内注意机制中引入检索器相似度加权的上下文,将检索建模为token块间的依赖关系学习。
summary_zh: Hi-Q 框架通过层级化查询优化解决多跳问答中问题与证据粒度不匹配问题,在三个基准上平均取得 52.3 EM 和 64.0 F1。 该框架依据语料库支持信号动态生成查询树,无需固定图结构;在 MuSiQue-full 测试中领先 RAG 基线 11.5 EM。
研究团队发布943个训练样本及736个测试基准,利用CATS框架评估大语言模型在文档冲突下的信任决策与推理能力。 微调模型生成的思维轨迹显著提升表现,拒答F1得分从0.429提高至0.826,事实依据得分在40词提示下达到0.86至0.88。
研究提出基于 RAG 的反驳语生成管线,利用联合国等权威人权知识库覆盖八类受歧视群体。该管线在事实基础、多样性和感知效用上优于无 RAG 基线。人类评估显示 RAG 缩小了内外部群体对反驳语效的感知差异。
16对嵌入模型及NQ数据集实验证实,重用旧索引策略无法避免语料重编码,仅改变重编码支付时间。 同族LLM桥接适配器微弱优于旧模型,窗口重排成本可通过旧索引精确预测。 基于884万余条语料的预注册回放确认预测,为迁移策略选择与窗口深度设定提供量化依据。
GaugeRoPE 提出了一种无需训练的潜在 KV 缓存压缩方法,在 Mistral-7B 上实现 5.85 倍压缩,解码吞吐量提升 2.48 倍。 该方法通过 RoPE 兼容载波与位置无关残差 KV 修正,避免逐 token 历史 K/V 重建,支持 MHA 和 GQA 架构。
论文提出 AdaMenu,通过检索构建紧凑候选菜单并单次调用决策模型,解决大标签空间下的分类与扩展难题。 在四个最大含 1,016 标签的数据集上,AdaMenu 相比 TypeSafe 基线在全部 16 组运行对中的准确率提升 16.6-34.3 个百分点,输入 token 用量降低 3.2-22.9 倍。 该方法在层级基线不可用的限制场景下仍可运行,显著提升了大标签分类的效率与可用性。
SERAG 是一种监督式异常检测器,结合独立编码的语义分数与图卷积网络的关系分数。 在 ICEWS18 子集上,10% 异常率时测试 AUPRC 达 0.321,显著优于基线的 0.159。 结果表明文本与关系信号的互补性有效检测了 LLM 生成的合成异常。
研究利用稀疏自编码器与PERC框架,分析36,081条LinkedIn早期职业招聘启事。 采用GPT-6 Luna分类文本,提取Llama-3.1-8B-Instruct层19特征,揭示不同技术角色的语义差异。 表明自动化洞察提取可有效支持对非结构化职位描述的人工分析。
summary_zh: Jetriever利用Jev决策得分评估存储记忆对当前问题的效用,以全池效用评分取代相似度搜索。在InMind的125个间接查询任务中,该方法将金标准对话排首位的比例达84.8%。
该研究提出 MemDoctor,将多模态记忆形式化为 Write、Update、Retrieve、Answer 四个阶段,并定义 9 种错误类型。 在 4B 规模模型上,MemDoctor 通过回溯定位并修复源头错误,在 Mem-Gallery 和 MemLens 上的准确率均优于所有 8B 基线,同时也提升了 MuRAG 和 A-Mem 的表现。
团队提出Living Context Graph(LCG)持续学习上下文层,在BIRD数据库text-to-SQL任务上将准确率提升22.6个百分点。 LCG无需复制底层数据仓库,通过自举语义和概念图索引业务上下文,增量学习性能接近单次学习终点。 该技术已被NeurIPS 2026 Workshop接收,显著提升了企业数据推理效率。
研究者提出 CLAM 框架,利用循环超网络在前向传播中整合会话激活,无需梯度步骤或生成调用。在 2-7B 开放模型上,CLAM 性能超越所有 Agent 基线 1-45 分,且构建记忆耗时比提取系统少 3-151 倍。
研究测试了类型化决策模型 Jev 在 24 篇 ACL 会议论文中的表现。 Jev 零样本直接替代了 46 个测试集里的 12 个,加 500 标签的提示优化中位数弥合 72% 差距,成本每搜索 $1.66。 相比微调 RoBERTa、DeBERTa 或 Qwen3.8-27B,零样本在简单标签下常够用,微调仍最准。
该研究发布整合量化语言模型与本地知识库的离线 Android 母婴健康助手,在 6GB 手机上实现 14.3s 中位延迟。对比显示 Gemma 4 E2B 响应质量更高,150 条响应均分 3.80/4;Qwen3.5 0.8B 生成更快且内存占用更低。
研究者发布AfriBizClaims基准,包含六个非洲市场150条公司研究查询,涵盖英语、法语及葡萄牙语。 实验显示简单基线在虚构公司问题上拒绝率为100%且引用支持率98%,而多步智能体管道Konexium V1的查询精确度仅68%。 该研究表明增加步骤未提升证据接地效果,相关数据与标签将予以公开。
Bioformer-RetroMAE 基于 RetroMAE 对 Bioformer 进行持续预训练,参数量仅为 43M。 在 BioASQ Task 12B 检索测试中,其 MAP 较 PubMedBERT 提升 37.0%,Recall@100 提升 29.1%。 与 BM25 混合检索融合后,MAP 和 NDCG@10 分别较 BM25 单独检索提升 4.9% 和 4.6%。
研究人员适配仅在 1976-1995 年文本预训练的 NoLBERT 编码器,在不含 2023 年后数据的前提下识别财务电话会中管理层的真实回答,解决了传统模型评估中的后见之明偏差。
StaleBench 在 892 个真实更新事实中隔离陈旧检索失败,揭示检索指标可能反向评估记忆策略。 无日期展示时,保留策略与全保留对照组在首位返回相同陈述,但读者准确率分别相差 29.5 和 65.6 分;新增 Contamination@5 指标能正确区分策略优劣。 文章发布了数据、冻结评估器及参考基线,被 EACL 2027 Findings 接收。
GPBam 包含 81 个德国公法案例及 200 部法规背诵任务,用于联合评估法律检索与长文本生成。 在无检索条件下,32 个模型得分介于 4.81 至 76.42 分之间;引入检索后,最佳提升幅度为 4.1 分。 该基准已发表于 JURIX 2026 会议,旨在量化法律意见对检索质量的需求。
新工具 Q-Pain++ 通过固定临床内容并独立变异风险因素与剂量选项粒度进行 LLM 阿片类药物处方审计。在原本不变的病例中添加中间剂量选项,显著降低了大多数模型与专家标注剂量的匹配度。 通过检索引入围手术期指南可平均减少这种框架效应,但无法消除它,且单个模型的决策会因检索段落顺序改变而变化。研究代码及相关资源将在 GitHub 开源,14 页论文包含 6 图 6 表。
研究人员推出混合领域基准 CondRelBench,包含 3,000 个合成段落、200 篇 PubMed 论文和 695 条 Reddit 帖子,旨在评估大模型对条件受限关系的理解能力。
summary_zh: 该研究提出一种方法,利用公开在线健康论坛构建无偏见、注重隐私的医疗问答数据集,并采用主题引导语义建模(TGSM)实现自动化标注。 基于检索器-读者架构,研究通过微调 BioBERT 等模型提升性能,实验结果证明其显著优于现有基准,为构建高效医疗问答系统提供了可复制框架。
研究对比了 85 个真实照护者问题在四类回答者(同伴、医生、ChatGPT、CareGPT)中的响应差异。 使用 28 项指标分析发现,LLM 回答风格正式冗长,礼貌度高于同伴,信息量与医生相当,但缺乏叙事性。 研究建议采用结合 AI 结构化交付与人类独特优势的混合系统支持照护者。
该 LLM 驱动的自动化框架在三项材料科学筛选任务中表现优异,11 个模型中 7 个平衡准确率超 0.90,最高达 0.96-0.98。 框架在 4 分钟内完成 10,000 条记录筛选,对比人工所需的 83 人时,效率提升显著。 通过提取全文结构化信息,该框架可揭示方法趋势,支持假设发展与数据驱动发现。
开发者通过在 AgenticRetrieveStream 请求中添加 memoryConfiguration,即可将 AgentCore 记忆功能与知识库结合,实现多租户场景下的用户数据隔离。
Amazon Bedrock 托管知识库新增检索指令,允许为共享知识库的每个租户配置 persona、answerFormat、retrievalGuidance 和 answerPolicy,统一答案语言、日期货币格式和引用风格。
Amazon Bedrock Managed Knowledge Base 新增表格搜索,支持通过 Agentic RetrieveStream 接口解析 CSV、XLSX 和 XLS 文件。 该功能在隔离沙箱中运行代码,结合文档事实回答需跨行计算或查值的分析问题。 此功能适用于与文档共存的表格文件,无需定义 schema,但涉及数据仓库级连接时仍建议使用 BI 工具。
研究发现,在纵向患者电子健康记录上,RAG混合排序优于全上下文提示,但RAG在纵向推理方面落后。 医学微调模型未带来可测量的性能提升,较小模型表现出更强记忆能力,长程补充笔记有助于生成式问答。 推理模型在LLM正确性指标下提升,但在更严格的参考对齐指标下表现不佳,揭示了对推理适配指标的需求。
大语言模型代理从 24,588 篇肉瘤摘要中生成 1,570 个通用数据元素(CDE),保留 53 个高频 CDE 进行全语料提取。79.2% 的摘要成功完成证据关联提取,100 篇抽样中 94.9% 的值与 LLM 提取结果完全一致。人类审核员对 56.6% 提取值的正确性予以确认。
RAG-FGO 提出了一种针对生成式 RAG 查询重写智能体的动态优化框架。 该框架将查询重写建模为混合离散-连续空间中的黑盒优化问题,引入精英保留内存池以缓解噪声反馈对优化稳定性的影响。 实验结果验证了该方法在多样化 benchmark 上的有效性与鲁棒性。
SA-RAG通过从嘈杂对话数据中直接构建表格结构,解决了传统RAG在处理噪声上下文时的可靠性问题。 该框架结合质量感知的结构归纳方法,同时支持免训练和基于训练的结构生成策略,在两个真实数据集上显著优于现有RAG基线。 结果表明,高质量的结构化表示对鲁棒RAG应用至关重要。
Larch 框架通过优化 AI SQL 查询中语义过滤器的执行顺序,在多种数据集上显著降低 token 消耗。该框架包含 Larch-A2C 和 Larch-Sel 两个变体,分别利用图神经网络建模和监督学习预测选择性来指导动态规划。 实验结果显示,Larch 比 Palimpzest 和 Quest 减少 6%-30% 的总 token 成本,并将 token 开销降低 3-19 倍。
CPGRec+ 通过引入 PER 和 PRG 模块,在两个 Steam 数据集上展现出优于现有技术的准确性和多样性。 该框架利用 LLM 生成游戏与玩家的上下文描述,并调整边权以缓解 GNN 模型中的过平滑问题。 研究发表于 ACM Transactions on Information Systems (TOIS),代码已开源。