DCKV:混合语言模型提示词 KV 缓存的学习型变换编码
DCKV 提出首个端到端训练的 KV 缓存可微编码器,在 Qwen3.5-2B 上以超过 55 倍压缩率实现 1.8 点以内损失。 该编码器联合优化变换、量化器与熵模型,支持 100 倍以上压缩且误差不超 3.6 点。 此方案显著降低提示词状态存储与传输成本,提升长上下文复用效率。
DCKV 提出首个端到端训练的 KV 缓存可微编码器,在 Qwen3.5-2B 上以超过 55 倍压缩率实现 1.8 点以内损失。 该编码器联合优化变换、量化器与熵模型,支持 100 倍以上压缩且误差不超 3.6 点。 此方案显著降低提示词状态存储与传输成本,提升长上下文复用效率。
这篇可复现性研究扩展了LXR推荐解释技术的适用性,发现其对除最高排名外的其他物品同样有效。 LXR在解释低热度物品时能生成更短的反事实扰动,且优于物品流行度和潜在因子相似度等基线方法。研究通过穷举搜索了扰动空间的下界,为评估优化扰动大小提供了基准。
summary_zh: CrossProfile 基准指出,在隐藏特征任务中,基于相关性或罕见性的记忆筛选策略均存在显著缺陷。 相关性筛选会引入干扰项,相比罕见性筛选在经典配置下损失 23 至 31 分;罕见性筛选平均效果等同于随机选择,且决策模型中社会证明效应导致额外误差。
提出 FoG 框架训练知识图谱(KG)智能体在回答问题时同时检索支持性证据,解决现有智能体仅优化答案准确性而忽视证据可追溯性的问题。框架包含证据接地合成、KG 交互智能体及证据覆盖过程奖励(ECPR),在三个 KGQA 基准上验证 3B-4B 开源智能体在答案准确性和证据覆盖度上优于更大基线模型,并实现零样本跨 KG 迁移。
针对 LLM 序列推荐中的优化盲点,RPSD 通过在线策略自蒸馏(OPSD)和跨用户行为证据,在多个真实数据集上达到最先进性能。 方法引入时序感知最优传输(OT)比较用户交互轨迹,并结合多样性感知选择保留互补轨迹作为特权证据,解决单用户监督忽略共享行为模式的问题。
结合 OData 元数据与 BPMN 流程构建类型属性图谱,改进 LLM Agent 的企业 API 调用可靠性。 在 42 个企业服务评估中,低词汇重叠查询的 Recall@3 提升 5.7 点(n=74);LLM Agent 在 81 个多步任务中完成率为 38.7%,对比基线提升显著。 完整类型化上下文将无效调用降至 3%,未提供代码列表时 46% 写操作含无效键。
GraphRAGProv 架构通过 SPARQL 查询生成答案及溯源多项式,提升透明性。 该架构记录语句组合方式,支持检查文本到图谱的转换。 交互演示分析了 400 个多跳问答基准案例,揭示潜在提取错误。
研究团队训练了紧凑模型 Prospector,通过逐步遍历领域知识图谱来支持科学推理,其性能接近同等条件下的最强现成模型,且远超使用预选图谱片段的现成模型。 Prospector 单次调用少量工具构建上下文,在半导体制造文献图谱上表现优异,并成功迁移至生物启发材料、PFAS 和材料属性等三个未见领域,单 GPU 部署即可运行。
SpectRAG 提出谱图增强检索框架,结合加权分块图与 token 预算控制,用于解决多跳 RAG 中的冗余召回与跨块依赖缺失问题。 其核心构建包含语义嵌入、文档邻接及实体共现等加权边,并通过谱相关性传播重排候选,以固定预算组装上下文。 实验显示,该方法在 MultiHopRAG 等基准上优于 NaiveRAG 等基线,显著提升广度证据召回与推理质量。
研究提出NHNM方法,将原正样本复用为自然指令难负例,解决指令条件对比监督数据稀缺问题。在MSMARCO构建含近7K实例的NHNM-MARCO数据集,568M至4B参数模型微调后性能超越更大检索器,证明增益源于难负例监督。
提出一种增量学习者数字孪生,作为轻量级知识图谱实现证据接地的早期预警。 该框架在时间检查点重放学习轨迹和评估记录,通过图中介查询提取预测特征。将警报具体化为连接风险决策与归因、证据项及原始记录的证据链,在公开基准测试中保持预测性能。 增强了可追溯性、可验证性及基于证据的解释能力。
针对假新闻检测中因时间线错乱导致局部证据连贯但时间不匹配的“证据连贯性陷阱”,研究者提出了文档选择自更新智能体 DelSA 和包含 30,706 篇文章的时序锚定基准 ChronoFake。
提出无训练框架 DiscernMem,包含缺陷感知记忆精炼(DMR)与边界学习元记忆(BLM)模块,旨在修正错误记忆并优化其应用时机。在 Qwen3-4B-Instruct-2507 模型及 AutoGen、CAMEL、MacNet 等四个基准测试中,其平均得分超越最强基线 0.51-4.32 分,在 CAMEL 系统的 PDDL 规划任务中得分达 37.71。
框架 RouteDRAG 通过学习路由与控制 Agentic 执行,在多模态文档 RAG 任务中提升了准确性。 在两个基准测试中,该框架相比仅短路径执行平均准确率提升 3.47 个百分点,且仅将 79.3% 的查询分配给 Agent。 其性能优于统一 Agent 执行模式,同时减少了回答所需的调用次数。
LM-DSB利用Llama 3-8B和RAG技术在消费级电脑上自动化生成施工安全简报,取代耗时2-3小时的手动流程。 系统由planner、researcher和writer智能体组成,基于37份HSE文档微调,TF-IDF得分0.70,ROUGE-1得分0.66。 40位专家评估平均得分3.50-4.20,证实了轻量化模型在处理关键安全文档上的可行性。
在20种混合流量场景中,没有单一KV缓存驱逐策略始终最优,WAKMan 作为工作负载感知管理器,通过实时流量自动选择策略,平均命中率比 LRU 高5个百分点。该方案无需识别请求类型或读取提示词,具备最低的均值和最差情况优化差距。
在 MemoryAgentBench 任务中,Qwen2.5-7B-Instruct 的 BM25 检索精度随证据预算从 64 增至 512 tokens 而从 45% 降至 32%。 Qwen2.5 和 Qwen3-14B 在引入过时陈述后,准确率分别大幅下降至 44.6% 和 87.8%。 该研究揭示了过时竞争陈述比无关证据更具破坏性,已被 NeurIPS 2026 PALM 研讨会接收。
BehaveRec 通过整合 90 天用户历史与社交图谱信号,在包含 1.26 亿用户的行为数据集上将 R@5 指标较 SASRec 提升 3.2%。该模型拥有 5.67M 参数,训练耗时不足两天,确立了 20 次交互的长期历史信号部署阈值。
针对检索增强大语言模型中上下文与模型知识冲突问题,研究发现固定决策规则在特定部署场景下必然失效,提出需结合来源证据及上下文正确率先验概率进行动态解码。
docker-agent 是 Docker 开源的 AI 智能体工具,允许用户通过单一 YAML 文件定义模型、指令、工具集及 RAG 配置,取代传统 Python 代码开发模式。
本文提出了将供应链建模为图结构以应用 GNN 的框架,并基于孟加拉一家领先 FMCG 公司数据构建了多视角真实基准数据集。 在六个供应链分析任务上,GNN 模型在回归、分类/检测及异常检测任务中分别比统计 ML 及其他 DL 模型高出 10-30%、10-30% 和 15-40%。 该工作提供了概念基础、方法论及综合数据集,为使用 GNN 解决供应链问题奠定了基础。
研究测试了 Llama 3 8B 和 Qwen 2.5 7B 在 4 级 Bug 严重性预测上的效果,发现其微调后 macro-F1 分别为 0.526 和 0.485,未显著优于 CodeBERT 的 0.518。
研究通过隐藏 2 小时窗口并引入后续事件数据,显著提升了时间链接预测的准确度。在 24 小时后续数据支持下,26 特征逻辑回归模型在 tgbl-comment 数据集上的历史随机排序 MRR 提升了 0.108。 这证明即便在只有 6.4% 目标对重复出现的 tgbl-comment 数据集中,后续事件也能有效补全缺失交互,且排除了仅靠对重现产生的偏差。
研究表明System-1风格决策模型难以直接替代RAG中的专用重排器。在11个基准测试中,默认配置处理长候选集时失效,需限制文本长度才能恢复可靠性。 尽管调整候选文本长度可使部分配置具备竞争力,但经调优的专用重排器在速度和GPU内存占用上仍显著占优。团队应优先调优现有重排器,而非直接替换。
研究提出有效、可操作且可靠的解释框架,开发方法将算法保费转化为满足公理的建议。 利用 Conformal Prediction 约束筛选模型不确定推荐,在 57,832 条佛罗里达洪水保险记录上应用四种反事实解释技术。 结果显示受约束建议比无约束更可靠,有助于保险监管机构提升算法问责制。
研究人员推出跨数据集基准 FOCUS,在 10 个公开数据集上评估视网膜眼底模型。覆盖 532 个基础配置及 228 个经 LoRA 微调的 MLLM 配置。结果显示通用 VM 编码器平均排名最高,微调后模型在外部数据集上的校准存在异构转移。该工作为医学影像模型评估提供了实用框架。
MicroWorld 提出基于多模态属性图的结构化知识增强框架,无需领域微调即可提升 MLLM 性能。 在 MicroVQA 上,该框架将 Qwen3-VL-8B-Instruct 的准确率从 48.8% 提升至 67.1%,超越 GPT-5 的 59.4%;构建的知识图谱包含约 10.6 万节点和 262 万条类型化边。
提出缺失条件时空网络 MCSTN,在传感器数据缺失或噪声情况下实现鲁棒的人类活动识别。 在 PAMAP2、Opportunity 和 WISDM 数据集上,MCSTN 在观测不完整时分别达到 94.24%、91.67% 和 96.22% 的平均 macro-F1 分数。 该方法参数量少于百万,单样本推理延迟为 3.78 毫秒,推理阶段无需重构或噪声水平估计。
该研究构建了基于 LLM 的宏观金融压力测试管道,利用 2,420 个场景数据发现压力严重性主要由提示词设计继承,而非由模型自主生成。 实验对比了 GPT-5.6-luna 和 Llama-3.1-8B,前者遵循算术逻辑但锚定提示区间,后者离散度高出 4-7 倍且在 90% 案例中自相矛盾。 研究指出 LLM 场景生成器最适合在预设严重路径下进行叙事和部门启发,而非作为压力幅度的自主校准器。
针对 RLVR 训练导致开源推理模型通用能力退化问题,提出动态目标加权的重放策略 RECAP。 在 Qwen2.5-VL-3B 和 7B 基准测试中,该方法在保留感知与忠实度等基础技能的同时提升推理性能,且无需额外模型训练。
FediLoRA 提出了一种轻量级联邦 LoRA 聚合框架,旨在解决机构算力异构导致的 LoRA 秩不平衡及现实场景中模态缺失问题。 该框架利用简单平均和结构化编辑,使全局模型与个性化模型同时受益,在通用域和医疗域基准数据集上表现强劲。 实验证明 FediLoRA 适合医疗等实际部署场景,代码已公开,是目前首个同时应对这两项挑战的工作。
研究者提出 N-gram Memory(NGM)模块,实现无需训练的即插即用式增强。该模块直接复用主干模型预训练的 token 嵌入空间作为内存,避免了额外的嵌入学习或外部检索基础设施。
summary_zh: 研究发现,推荐系统中显著部分的 item-item 相似度并非源于真实偏好共享,而是由用户活跃度差异造成的“幽灵相关”。即使所有用户完全独立消费物品,仅消费总量不同,标准相似度度量仍能检测出强烈关联。
该论文提出 LLM 智能体驱动的混合闭环架构,用于自主发现生物过程动力学状态空间。 框架采用“隔离-剥离”方法论,结合 RAG 与 MHE 将复杂动力学解耦为乘性与加性通道,并通过 DoE 控制器消除统计简并。 在连续搅拌反应釜测试中,该方法在缺乏先验知识的情况下恢复了真实参数,误差低于 6%。
该框架结合视觉布局分割、多脚本OCR与智能体RAG管道,专门处理严重退化扫描文档。 在20万页Punjab Vidhan Sabha档案上验证,通过迭代循环规避OCR噪声,检索效果优于标准纯文本基线。
CA-HNM框架结合检索候选生成与确定性不兼容规则,用于微调双编码器。 在MOOCCubeX和Course-Skill Atlas评测中,CA-HNM-Pure在8种配置中的6种表现优于检索排序匹配对照,其四个95%自助法置信区间均高于0。 结果显示,约束感知选择的贡献取决于训练目标及负样本池的组成。
研究人员提出选择性残差适应(SRA)框架,用于增强大语言模型推理。 SRA 通过差异门和候选残差适配器校准 top-$K$ logit,无需运行时教师计算。在 Qwen3 0.6B 至 4B 数学基准测试中,SRA 将平均 Pass@1 提升高达 4.37 个百分点。
研究在树莓派 5 上评估离线 RAG 信任机制,提出 C0-C4 连通性状态框架。检索评分门控检测知识缺口 AUROC 达 0.97;3B 模型以不到一半时延和能耗达到与 7B 模型相同的正确率。 已签名有毒数据包可通过所有包检查,导致 30 道原本正确问题正确率降至零,现有机制未能确立证据真实性。
静态与 Agentic RAG 在台湾历史问答中聚合性能相似,但在 70.83% 的问题上表现存在差异,两者优势在平均后相互抵消。 基于事后选择器(post-hoc selector)对比两种响应及引用证据,显著优于单一管线,恢复了 60.34% 的理论上限(oracle headroom)提升空间。 研究指出聚合比较会掩盖策略间的问题级差异,利用二者的互补性比寻找单一最优管线更具价值。
提出无需第一阶段检索器或任务特定训练的DecisionRAG,利用决策模型在前向传播中联合评估候选分支。 该模型在MultiDoc2Dial上比8B重排序器高13.8个R@1,在Natural Questions上高17.4个Hit@1,查询耗时仅0.7-1.8秒。