CHO-Bench:上下文提示词如何影响 LLM 广告排名
CHO-Bench 引入 119 万次成对评测,证实 LLM 广告中上下文提示词能改善广告排名。 该基准涵盖 5 个数据集,采用嵌入模型与 LLM 两种排名器,发现不同生成策略在特定配置下表现差异显著。 研究确立了离线广告侧排名优化基准,并指出模型特异性提示词选择及预算感知生成存在优化空间。
CHO-Bench 引入 119 万次成对评测,证实 LLM 广告中上下文提示词能改善广告排名。 该基准涵盖 5 个数据集,采用嵌入模型与 LLM 两种排名器,发现不同生成策略在特定配置下表现差异显著。 研究确立了离线广告侧排名优化基准,并指出模型特异性提示词选择及预算感知生成存在优化空间。
Lightfoot 图 RAG 系统通过确定性映射实现文档删除仅需数据库操作,无需模型调用。在 MuSiQue 等数据集上,其索引成本比 HippoRAG 2 低 26-31%,且删除 10% 文档后图谱与重建索引一致。 HippoRAG 2 删除相同文档需 2,187 次模型调用,Lightfoot 则实现零模型调用删除,显著降低部署维护成本。
研究人员提出 LLM 管道 SPARCLING,通过结构化属性采样、模板生成及红队测试,生成字符级精确 PHI 标注的德国临床出院小结。 实验显示 SPARCLING 在内容多样性上优于现有公开数据集,并作为基准揭示了去标识化模型失效模式。 使用合成数据训练的去标识化模型性能优于仅依赖稀缺公开数据训练的模型。
SituRecBench 是一个交互式基准,用于评估前沿视觉语言模型(VLM)在高保真3D环境中作为情境推荐助人的表现。该基准模拟真实购物环境,通过统一交互协议评估对话质量、推荐效用和导航有效性。
针对 RAG 系统仅建模支持证据的局限,提出两侧一致性证据集 (CES) 框架。该框架基于交换性假设,在支持 (support) 和反驳 (refutation) 两侧分别提供至少 1-α 的有限样本覆盖率保证,通过 Bonferroni 合并实现两侧联合覆盖率至少 1-2α。
引入 CoRA-Bench 基准,用于评估共享 Token 预算下上下文选择器的证据保留能力。 对比头尾截断、BM25、密集检索等方法在 BABILong 等四个数据集上的表现,揭示任务依赖的权衡:BM25 在 BABILong 128K 下支持事实召回率达 0.921,密集检索在 LongMemEval 64K 下答案保留轮次召回率达 0.993。
HiVe-Mem 多模态记忆框架通过交错执行水平记忆扩展与垂直证据组合,在多模态记忆基准上提升任务性能。 该框架利用关系图扩展语义检索种子,并通过轻量选择器独立组合每条记忆的多种证据形式,如摘要、原始图像等。 相较于最高效的竞争基线,该框架在保持性能提升的同时,将 token 消耗降低了约 90%。
提出基于LLM的通用AutoML框架NCode,首次联合优化架构、超参数及数据比率,无需任务特定微调。 采用统一数值编码将设计选择转为离散序列,在图像分类、分割、说话人验证及文生图基准中达到SOTA,并在十亿参数Diffusion Transformer联合优化中取得GenEval 0.91分。
研究提出 NarrativeBench,包含 23 种语言、460 个查询及 1,333 篇新闻,定义 6 项核心能力。 评估 14 个 LLM 发现,模型缺乏导航多元叙事能力,导致不同语言间信息获取差异显著,加剧“信息对等”缺失。 NeurIPS 2026 录用该工作,其基准为开发跨语言信息系统及提升用户信息获取自主权提供基础。
该数据集由 LLM 生成并经 LLM 裁判筛选,包含 300 条人工标注参考集;五个 LLM 在无上下文时 factoid token F1 仅为 0.18-0.30,有上下文时升至 0.73-0.77。
论文提出人工验证的 HiddenPathQA 基准(1,055 个问题,2-6 跳),并基于 Holistic Path Selection 方法超越 ToG 等六个强基线 8.8-17.9 个准确率点。 伪词压力测试排除了实体记忆干扰,证实增益源于全局链级推理而非局部启发式。
密集检索模型存在搜索答案偏差,偏好提及模型已知答案对象的段落。 使用 LAMA/TREx 数据集测试 DPR、E5、Qwen3-Embedding 等八种检索模型发现,token 预测分数越高,包含该对象的段落检索分越高。 这会影响检索证据的选择。
研究人员开发高通量人机混合框架 AOP-Smart-Finder,整合 LLM 与 RAG 技术,实现大规模文献中不良结果通路(AOP)的发现与证据映射。 在 DEHP 案例中,系统 30 分钟内处理 12,983 篇文献,提取 1,589 个生物事件和 2,519 个关键事件关系;ALS 案例中识别 55 种胁迫因子并构建包含 16 个关键事件的机制网络。
EASE-KV 框架揭示了可复用 KV 记忆中存储记忆转化为可用证据的障碍。 在固定语言和模型下,因果编码比块对角编码提高组合准确率 25.0 个百分点,但推理时方法无法恢复缺失上下文。 诊断性证据引导分配在不变存储状态下将 LongMemEval 准确率从 31.2% 提升至 38.4%。 结果表明,有效 KV 记忆不仅依赖检索和注入,还要求编码、影响和监督的协同。
SCorPion 是一个结合 GraphRAG 的对话伴侣,能根据全局知识图谱生成社区摘要策略,并输出针对查询的最优策略。 它具备战略性思维,能生成拟人化且风格化的回复,并受显性因素控制。代码及更多结果已公开。 该工作被 NeurIPS 2025 PersonaLLM Workshop 接收。
研究者提出 MultiTurnRoute 平台及 Chain-of-Route (CoR) 路由算法,用于评估多轮 LLM 路由器在会话质量与成本上的表现。 CoR 结合可复用前缀长度估计成本,在基于 WildChat 和 LMSYS-Chat-1M 的基准测试中,使匹配最强模型质量所需的归一化成本最多降低 20.3%。 该研究成果已被 NeurIPS 2026 接收。
TransMem 提出过渡感知记忆检索框架,将偏好更新作为显式检索单元,优于现有基线模型。 在 PersonaMem 和 PersonaBench 实验中,基于 Qwen 模型的 TransMem 在事实锚点与自适应扩展方面表现显著。 该研究被 NeurIPS 2026 接收,验证了偏好更新记录对长期个性化记忆的价值。
ASCENT 框架通过规模互补外部状态提升冻结长上下文 LLM 表现,16K BABILong 实验中 Qwen2.5 准确率增益显著。 在 0.5B、1.5B 和 3B 参数规模下准确率分别提升 10.50、78.88 和 82.63 个百分点。 结果显示外部状态价值随读者容量与状态预算联合扩大而增加,基准测试确认其有效性。
EviCover 提出将问题转化为可观测证据需求,通过检查检索源标识符覆盖度并联合选择轮次,以保留互补证据。 在 REALTALK 数据集 108 个多跳问题中,该方法将 60 个候选轮次中的支持轮次召回率从 0.526 提升至 0.575,最终 10 轮上下文召回率从 0.349 提升至 0.379。
该框架在 Core Fusion Network 中引入 Topic 分类任务,并提出基于主动学习的分步重标注方法。 方法通过筛选中低置信度样本重标注以减少标签噪声。 在 MentalRoBERTa 上,Topic 分类准确率较基线提升 1.57%,其他任务亦有小幅提升。
Amazon Bedrock Managed Knowledge Base 新增支持单次 RAG 和仅检索请求,通过 AgenticRetrieveStream 接口实现。 该服务扩展 maxAgentIteration 参数范围至 0-5,支持单次检索生成答案或仅返回原文,无需复杂智能体规划。 单一 API 即可平衡速度与质量,简化应用开发,无需维护分离代码路径。
Kuken Industries 使用 OpenAI API 在 4.5 分钟内完成检索,大幅缩短此前近 1 小时的工作时长。 该方案支持对 70 年积累的冷却塔图纸进行快速查找,帮助工程师高效获取维修所需文件。
MCGI 提出了一种利用局部固有维度(LID)感知几何特性的磁盘驻留图索引方法,解决了高维空间中欧几里得-测地线不匹配导致的性能下降。 该方法通过查询自身已计算的距离估计 LID,动态调整候选列表大小,无需额外磁盘读取,在同等高召回率下将 DiskANN 的查询吞吐量在十亿级 SIFT1B 上提升至 1.24 倍。
KolTa 提出结合三阶段预测器与任务特异性软物理约束的主动学习框架,旨在固定查询预算下发现前 5% 高性能配方。 采用物理残差校准的 PRC-UCB 获取规则,在四个任务中平均学习曲线面积(AULC)排名前二,且最大差距仅为 0.032。 在药物溶解度任务中,达到 80% 目标恢复率需约 348 次额外查询,比最快对比策略少 18%。
针对议会记录中发言权重不均与引用错位风险,ParliamentRAG 提出主题依赖的权威模型,用于处理意大利众议会议事记录。 该模型结合职业、教育等可解释特征估算发言人在特定查询下的权威度,检索多党派专家观点并生成附带引用的摘要。 在 15 个政策主题上,ParliamentRAG 对 6 名领域专家盲评显示,其引用忠实度(1.00)和政治党派覆盖度(0.97)高于 NotebookLM。
GRAC 框架通过图结构表示手术场景,利用检索增强的生成方式提升描述准确性。 在 EndoVis-18 基准测试中,其 CIDEr-D 得分达 5.88,超越传统 Transformer 基线的 3.36;在三元组准确率上从 26.2% 提升至 52.6%。 该结果表明,结合结构化场景表示与检索示例能显著提升手术场景描述的上下文相关性。
针对GraphRAG系统面临的知识图谱重构攻击,提出首个具备形式化隐私保证的差分隐私框架RelGuard。 该框架定义关系差分隐私(relation-DP),通过四步防御机制在索引前对源文档进行净化,利用指数机制扰动谓词或移除连接。 实验表明,在保护重建攻击方面,RelGuard优于四种现有防御机制,同时更好地保留了下游效用。
RAG 方法在 CodeContests 测试集上显著提升 LLM 解决算法竞赛问题的能力。 通过嵌入检索与动态阈值筛选相似问题,结合 Min-K 分析区分检索泛化与训练数据记忆,验证了该框架在代码生成场景中的可扩展性。
使用 LaMP-2 基准研究发现,仅类别标签即可复现 86% 的个性化准确率差距,合成匹配历史将差距缩小至 0.9 个百分点。 用户自身历史比无历史模型提升 2.3 个百分点,而评估时移除历史会虚增为 4.8 个百分点;在未知用户及电影标签实验中未观察到显著优势。 指出个性化模型应在未知用户和相似内容历史上进行评估,并验证带门控交叉注意力优于纯前缀模型。
Atik 是面向 RocketChip 的开源 RoCC 加速器,通过共享定点 MAC 网格执行矩阵乘法和稠密注意力。 该加速器使用 BF16 张量,采用流式在线 softmax 调度。8x8 配置相对标量 Rocket BF16 参考实现,峰值矩阵乘法加速 31.5 倍,注意力加速 225.8 倍。
ENGRAM框架将训练准入与记忆释放分离,通过验证智能体经验来优化模型权重,从而降低外部检索依赖。 该方法利用演示感知门控和验证门控,在保留基准测试中表现优于固定权重控制组,并显著减少可检索足迹及输入token消耗。
LLM 常按标签关联而非研究者提供的定义进行标注。 反事实审计显示,模型极少遵循重新分配的定义。检索增强方法中,直接 k 近邻分类恢复了 74% 至 93% 的提升效果。
该论文提出了一种用于医疗拒赔分析的智能体 AI 框架,整合了拒赔风险预测和 HIPAA 合规等模块。 在合成数据测试中,框架实现了 98% 的可追溯性,并验证了 214 项政策引用。 移除所有 280 个敏感标识符的同时未修改底层分析,展示了其在隐私保护上的潜力。
summary_zh: ROAM 是结合语义检索与显式时空优化的多日行程规划智能体框架。在涵盖 510 个 POI 的四个中国城市测试中,其生成的三日行程包含 27.5 个景点,比纯 LLM 多 42% 且路线离散度降低 3.1 倍。
CascadeRec 双层 LLM 重排序级联系统已在生产环境中运行超过一个月,推理成本降低约 10%,且未观察到质量回退。该系统仅在路由器判断额外推理算力有益时,将请求升级至更昂贵的 Tier-2 流程。 在公开基准测试中,均匀 LLM 重排序使稀疏历史用户的 NDCG@10 最多降低 30%,且仅在最长期历史的细分组中表现出统计显著收益。
文章提出“Helmholtz Co-Pilot”混合多智能体系统,作为大型粒子物理实验的自主管理员。该系统能自动监控非平稳机器数据流,通过因果诊断引擎追溯级联警报的根本原因,并在检测到异常时向系统发送结构化诊断报告。
PHISHREV+框架提出后置可废止机器学习方法,用于改进钓鱼网站检测。该框架利用回答集编程(ASP)的非单调推理层,修订SVM、KNN、DT和RF分类器的初始预测,通过四条可废止规则在保持假阴性持平的同时降低假阳性(如SVM从41降至39)。系统提供基于XASP的实例级可解释性,生成形式化推导图以展示规则触发原因。
该研究提出一种结合 LLM 共识分类与语料自适应主题建模的专利分析流水线,在 30,964 份公共部门专利上实现 98.1% 文档覆盖率及 0.900-1.000 主题多样性。
提出一种记忆感知多智能体架构,利用LLM作为编排层协调对话式推荐流程。 长期记忆组件影响路由决策与语义查询构建,跨会话实验显示可恢复63%的显式查询差距,监督编排使用户接受度提升28.9个百分点。
DTCD 数据集及因果发现工具包发布,通过配置组合拓扑、机制与噪声生成含真值邻接矩阵的多变量时间序列。 支持 81 种配置评估 8 种发现算法及 18 种配置评估 4 种处理效应估计器,通过缓存随机实现恢复数值精度的个体处理效应。 揭示标准发现方法无法处理缺失值及边际方差捷径问题,相关代码与数据已开源。