Kurate: 基于大语言模型的规模化科学文献质量分析系统
summary_zh: Kurate 系统利用大语言模型(LLMs)评估研究质量,在 4,347 篇论文的语料库中对 8 个设计维度进行评分。 该系统将判断关联至特定文本,在 60 份留出文档中,Kurate 与专家标注的协议得分点一致率为 221/242,AC1 达 0.94。
summary_zh: Kurate 系统利用大语言模型(LLMs)评估研究质量,在 4,347 篇论文的语料库中对 8 个设计维度进行评分。 该系统将判断关联至特定文本,在 60 份留出文档中,Kurate 与专家标注的协议得分点一致率为 221/242,AC1 达 0.94。
NavTree 是一种仅利用叶子节点的层级检索器,在同等成本下性能显著领先,是唯一在多跳长文档问答中击败 BM25 的层级方法。 该方法在索引阶段零 LLM 调用,构建确定性平衡段树,仅输出叶子块给阅读器,相比 RAPTOR 重实现具有成本优势。
提出一种基于光谱的非监督表示学习框架,用于从电子健康记录中提取罕见病临床概念的低维嵌入。 方法引入部分重叠子空间的宽人群知识矩阵,通过两步过程移除无关分量并恢复共享与异构分量。在真实的多发性硬化队列分析中,该方法在弱共享信号场景下性能优于现有方法。
现代性能优化型联邦学习系统中,梯度反转攻击难以实现高保真图像重构。研究系统评估了图像分类与目标检测任务,发现当前主流视觉架构在真实训练场景下能有效抵抗重建。 该结论基于对传统设计假设的区分,指出许多先前报道的成功依赖推理模式或架构简化等上界设定,而非反映现实训练流程。 这提醒风险评估需严格区分诊断性攻击环境与生产级部署系统。
针对 QK 归一化等导致注意力池化较弱的 LLM,ValueDiff 提出一种基于值向量 L2 偏差的值几何驱逐方法。 在 2k 预算下 RULER 基准测试中,ValueDiff 在 7 个模型中保留了 88-99% 的稠密性能,其中 6 个模型表现最佳;在 4k 预算下 LongBench 平均保留率为 92%,优于最强基线的 83%。
研究人员提出三种融合结构惩罚的距离图自编码器(GAE)变体,旨在提升动态图表示学习的效果。 方法引入基于度中心性的枢纽惩罚和基于 NC-LID 的节点级正则化项。实验显示,引入 NC-LID 正则化的方法在重建性能上 consistently 优于无结构正则化和仅含枢纽正则化的基线方法。 研究确认 NC-LID 是增强动态环境下距离图自编码器的有效结构信号。
研究人员提出 RAIL 框架,一种用于零样本生成任务特定可解释模型的概率元学习方法。该框架通过检索相关源任务并在系数空间转移结构来生成新预测器。RAIL 提供针对检索、系数和预测的不确定性度量,支持不确定预测的临床复核。
SeedER 采用图 Transformer 结合强化学习,作为低资源消耗的第一阶段知识图谱检索器,其性能可与微调 LLM 的方法相媲美。 该方法在推理阶段可于 CPU 上运行,训练时仅需对少量节点提供反馈,显著降低了内存与计算开销。
RAG-PIBench 提出了一种用于 RAG 系统提示注入检测的基准,包含 4876 个上下文示例。该基准采用泄漏感知构建管道,对比了关键词、TF-IDF 和 Transformer 检测器。
UNREAL 框架提出基于冻结大语言模型内部表征的证据选择机制,在 3B-token 维基百科索引上,其 Recall 值在 HotpotQA 数据集上从 49.1% 提升至 73.2%。
Agentic AutoRAG 提出 LLM 智能体优化器,用于 RAG 超参数多目标优化,并引入检索与生成失败归因机制。 在三个多跳 QA 基准测试中,其 LLM 评分准确率超过所有对比基线;前 10 次试验即匹敌或超越统计基线 30 次试验的准确率。 在真实医疗语料成本感知模式下,其中位考试准确率达 77%,高于最强基线的 71.5%,单次查询成本约为基线的 58%。
研究指出 COMET 在印地语翻译评测中存在脚本偏差,脚本身份解释了 22.9% 的分数方差。 COMET-QN 方法将不同语言脚本的分数映射到共享参考系,使联合标注一致性从 0.300 提升至 0.399。 该方法保留语言内排序,解决了跨脚本可比性问题,WMT 2026 会议录用此论文。
RELER 框架利用强化学习直接在嵌入空间优化检索,以 BGE-M3 和 Qwen3-Embedding 为骨干时,平均 nDCG@10 超越 InfoNCE 和 LambdaLoss。
CACHEFORGE 是首个将大语言模型嵌入硬件感知循环以端到端演化缓存替换策略的框架。 LLM 每轮生成 C++ 替换逻辑,经 CRC-2 ChampSim 仿真及奖励整形等机制闭环优化,突破固定预测器结构限制。 在 SPEC CPU2006 上,其总命中率比 LRU 提升 5.73% 至 27.36%,内存密集型负载 IPC 最高提升 10.15%。
该研究提出个人智能体调解推荐范式,并发布 MediateRec 基准及 PAMO 优化算法。MediateRec 包含可扩展代理环境与真实跨平台测试,用于评估调解效果。 PAMO 通过反事实掩码估计个人支持,理论证明其在保持截止级优势质量下实现局部最优。 实验表明强 LLM 仍引入有害覆盖,PAMO 在已知与未知平台上一致优于纯结果 RL。
论文发布首个针对 Croissant 元数据提取的端到端基准,包含 602 篇论文,其中 102 篇有人工验证金标注。 实验涵盖前沿模型、开源模型及 Agent 架构,发现单次提取在准确性上优于四种分步 Agent 架构。 研究指出当前系统在长文 RAI 字段上可靠性极低,官方已开源基准、代码及排行榜。
研究者推出 GeneICL,这是参数量仅为 4.2M 的表格基础模型。该模型基于批量表达谱半合成预训练先验,采用参数高效的循环架构。 模型在 80 项临床结果预测任务中表现最佳,参数规模比同类模型少达 387 倍。推理无需梯度更新,在笔记本 CPU 上数秒内即可得到预测结果。
文章提出奇异值分解的几何重构,论证其证明过程本身构成了主成分分析、核方法以及 PageRank 等机器学习核心算法的底层机制。 通常推导依赖光谱定理,该文通过观察线性映射将单位圆变为椭圆的过程,在空间中寻找垂直方向以证明该定理,并将构造转化为幂法迭代。 这种几何视角消除了传统推导中“假设强大定理来解决椭圆问题”的晦涩,使算法逻辑源于直观的几何构造,31 页篇幅配合 7 张图表。
TICDA 提出了一种表格基础模型(TFM)上下文数据归因方法,通过单次前向传播以极低成本测量演示样本对预测的影响。 该方法基于 TFM 潜在嵌入训练的线性替代模型实现,在检测标注错误、降低推理成本及跨模型归因迁移等任务中优于现有竞争方法。
论文提出预算感知 LLM 推理框架 BAR,通过 LLM 在医疗知识图谱上运行 plan-navigate-verify 循环,实现了成本受限的探索、证据质量区分与可引用溯源。 在 MIMIC-III/IV 的 8 种疾病任务中,BAR 将 AUPRC 提升 3.4 点,引用准确率从 59.8% 提高至 77.9%,且仅消耗 62-65% 的预算上限。 该成果已被 NeurIPS 2026 接收。
提出了名为 WASD 的大语言模型知识蒸馏方法,通过结合基于 Wasserstein 距离和词嵌入构建的成本矩阵,在离散概率分布对齐中引入词元级语义信息。 该方法采用 Sinkhorn 散度确保计算可行性,并推导出可高效优化的梯度等价目标函数,无需引入额外网络。 在多个 LLM 家族和规模上的实验表明,WASD 在指令遵循、数学推理和代码生成等多样化任务上持续提升了蒸馏性能。
稀疏自编码器(SAE)在特征重叠或激活稀疏时恢复困难。该研究提出 BeFOND,一个无编码器的稀疏编码模型,将推理和字典学习统一为共享变分自由能上的自然梯度流。BeFOND 使用闭合形式推理,并通过递归解释消除重叠干扰、利用 Fisher 预条件补偿稀有特征学习慢的问题。 在语言模型激活的实验中,BeFOND 在单特征概念检测上优于预训练参考 SAE,且训练数据大幅减少。
博士论文系统研究知识图谱嵌入中的知识、算法及预测不确定性,提出投票聚合框架与保形预测方法。 该方法构建了具有无分布覆盖保证的答案集,并开发支持统计本体的置信评分预测区间。 研究为高利害应用提供了理论依据,推动知识图谱推理从单纯准确率转向可靠性保障。
AttSVD 提出基于注意力几何的在线截断 SVD,以低秩方式存储每个 token 的 KV 缓存,在 agentic benchmark 和 LongBench 上性能与 dense cache 相当,KV 缓存内存最高减少 50%。
AWS 展示如何利用 Amazon Bedrock AgentCore 运行时与开源智能体系统 OpenClaw 构建具备持久记忆的个人 AI 助手。助手通过 AgentCore memory 将对话转化为耐用知识,并利用结构化元数据标记记忆以精准检索。
基于 Amazon Bedrock AgentCore 构建实时语音旅行管家,集成 Nova 2.5 Sonic 实现语音交互,通过托管知识库回答政策问题。 使用 Strands Agents 框架构建智能体,经 MCP 协议连接 AgentCore Gateway 调用后端服务,支持坐席变更与实时转接人工。
LinguDistill 提出一种无适配器知识蒸馏方法,使用原始冻结语言模型作为教师,通过层级 KV-cache 共享恢复多模态微调丢失的语言能力。该方法仅在语言密集数据上进行选择性蒸馏,最终模型不增加参数量和推理成本,在 ARC、HellaSwag 基准上达到原始视觉语言模型平均水平,并在 ScienceQA 上表现更优。
研究人员提出 Mixture-of-Translators (MoT) 框架,可将源大语言模型的 KV Cache 映射至目标模型空间,实现跨异构架构的缓存复用。
研究首次系统探索百万 Token 语料下的上下文内检索,提出 0.6B 参数 LCLM 检索器 BLOCKSEARCH,其长度泛化能力超出训练范围 10 倍。 针对注意力稀释导致的检索崩溃,引入长度感知注意力 softmax 调整和文档级稀疏注意力,使百万 Token 规模性能媲美同骨干稠密检索器。
预注册对比显示,在 24 篇论文和 13 个问题的小规模语料库上,LLM 编译 Wiki 在跨论文发现关联上得分显著优于单轮 Vector RAG。 Wiki 构建成本更低,但每次查询消耗的 LLM token 约为 RAG 的 21 倍,两者不存在盈亏平衡点。 作者建议评估时分别报告综合能力、引用支持和成本,并用人工标签校验自动化评分器。
研究提出 INSES 动态框架,结合 LLM 引导导航与嵌入相似度扩展,解决知识图谱噪声和稀疏导致的推理失效问题。该框架通过轻量路由器将简单查询分配给 Naïve RAG,复杂案件升级至 INSES,平衡效率与推理深度。在 MINE 基准测试中,INSES 相比现有 RAG 和 GraphRAG 基线表现出显著优势,代码和数据已公开。
summary_zh: DeepControl 提出基于信息效用的自适应控制框架,在七个基准测试中表现优于强 RL 基线。相比 Search-R1,该框架在 Qwen2.5-7B 和 3B 模型上平均性能分别提升 9.4 和 8.6 分。
summary_zh: DP-ES 提出一种替代 DP-OPT 的差分隐私提示词优化方法,通过维护完整提示词种群并仅对采样高斯评估消耗隐私预算,在隐私约束下显著提升稳定性。
TEMPLAR 是一个以模板为中心的 Agentic 框架,用于从大规模临床语料中归纳和演化标准化放射学报告模板。 该框架包含三个智能体,并依托解剖图谱和诊断图谱这两个知识图谱来维护模板状态。 在四个数据集的测试中,TEMPLAR 在覆盖率、信息保真度和诊断保真度上均优于 ASTAR 及多个大语言模型。
研究团队发布包含 10,235 条搜索轨迹的数据集,并配套 RLM 框架,旨在通过管理检索证据解决长程知识图谱搜索难题。 该框架让模型在持久化 Python 状态中批量调用图谱接口,避免将大型结果直接塞入上下文窗口。 在 100 道测试题中,RLM 框架使 gpt-6-luna 正确率从 49 提升至 61,Qwen3.8-27B 从 60 提升至 74。
DeferKV 将 KV 缓存驱逐决策从预填充阶段移至首个解码步骤,结合提示词与解码侧观察以优化重要性估计。该方法无需额外训练、草稿模型或未来查询预测模块,部署简单且保持低推理延迟。实验显示,DeferKV 在 LongBench、RULER 和 Needle-in-a-Haystack 基准测试中一致提升了压缩下的模型性能。
CASLR 提出一种簇感知软标签路由框架,通过掩码 softmax 机制替代 one-hot 标签,解决多模型答案重叠导致的“路由噪声”问题。 该框架在多个基准测试中表现更优,平均性能超越 Llama-3.3-70B-Instruct 7.80%,且路由推理延迟仅为 1.13 秒。
针对 LLM 难以内化伦理规范的问题,提出规范性 RAG 框架及 IREA 方法。 IREA 通过双向对齐将叙述查询与规范陈述映射至共享情境-行为表示,缓解语义不对称。 实验证明该方法在多场景下提升了规范性检索及下游伦理判断性能。
HALO 是一种专为本地 LLM 部署设计的调度方法,通过 GPU 空间复用和 SLO 感知调度解决 LoRA 多服务高吞吐下的 SLO 保证难题。 该方法将 GPU SM 分区以重叠 Base 和 LoRA 计算,并利用请求级松弛时间进行流量整形,在降低 SLO 违规率的同时显著提升吞吐量。 相比最先进基线,HALO 有效缓解了资源争用,适合医院和政府机构等资源受限且注重隐私的本地化部署场景。
提出Grounding Probe,通过观察者模型中间层隐状态检测幻觉,无需生成器配合。在RAGTruth测试集上,单个探针跨六个生成器达到0.879-0.894 AUROC,且无评估提示污染控制下移除生成器仅损失约0.02 AUROC。该探针已与监督跨度检测器融合,平均F1@0.5达0.820,优于单用检测器0.060。