SME-C:结合专家批评与 LLM 驱动的迭代精炼方法,用于构建高质量 AI 评估数据集
提出 SME-C 工作流,通过 411 名金融专家的 3,853 条批评,利用 LLM 迭代精炼评估数据集。盲测显示两种 LLM 策略均优于专家基准,批判式精炼改进更全面,投票式精炼更擅长去除无关内容。
提出 SME-C 工作流,通过 411 名金融专家的 3,853 条批评,利用 LLM 迭代精炼评估数据集。盲测显示两种 LLM 策略均优于专家基准,批判式精炼改进更全面,投票式精炼更擅长去除无关内容。
该综述提出操作级角色—位置分类法,分析图谱在智能体 LLM 系统中对推理、知识、检索及协调的支持作用。 框架涵盖基准测试、比较设计与系统成本评估,指出自适应计算、记忆维护及依赖感知恢复是当前开放挑战。
FlyHash 首次在 LLM Agent 记忆检索中应用,质量优势在 10 个随机种子和 4 个跨模态数据集上稳健存在。 在等量 bits 条件下,FlyHash 的编码比 SimHash 更大且比较更慢,常规规模下 HNSW 表现优于两者。 该研究证实 FlyHash 能在非循环相关标签下保持优势,优于传统的最近邻嵌入代理。
summary_zh: 该评估智能体在TruthfulQA数据集上结合Llama 3.3 70B模型,实现91%准确率及100%精确率,对指令注入召回率达100%。
在涵盖 5 个模型家族(Qwen3、Gemma-3、Llama-3.1、Mistral 等)0.6B 至 32B 参数、8 个数据集的 200+ 检查点实验中,多任务全量微调在所有测试规模下均为最强默认策略。
研究团队通过微调 Qwen 3.5 27B 实现被动抑郁监测,在 422 名用户上取得 MAE 3.98 和临床阈值 AUC 0.88。 模型结合 3,111 个真值标签与伪标签扩展至 5,524 名用户,Pearson 相关系数达 0.67,覆盖了从 PHQ-9 分数 3 到 24 的全谱系严重程度。 该结果支持无需自报问卷的被动抑郁监测。
针对多语言 LLM 在证据条件关系推理上的表现,研究构建了 Rel-Bloom 诊断基准。 Rel-Bloom 包含 450 道选择题,覆盖 6 种语言、43 个模型及 5 级认知层次。
ArcRAG 提出在推理时构建局部查询接口,无需重调参即可在 schema-guided 与 open-IE 两种图谱构建间保持有效检索。 该研究在 MuSiQue、HotpotQA、TriviaQA 上验证了跨构建可移植性,并将结果与此前 GraphRAG 系统对比。 结果表明,检索策略不必与图谱构建共同设计,但构建方式仍会影响绝对准确率。
GEdit 利用几何感知框架提升大语言模型的知识编辑效果,在 GPT2-XL、GPT-J 和 LLaMA-3-8B 上验证,编辑成功率显著优于最先进基线。 该框架基于 LR+D 因子模型,通过低秩保护核心子空间,并依据编辑难度动态调整正则化强度。
AssameseLM-E2B 是一款 20 亿参数的开源阿萨姆语模型,基于 Gemma-4 架构构建。 采用 Hybrid LoRA 持续预训练和 SFT 微调,词汇扩展使 token 化开销降低近 500%。 在 FLORES-200 上 BPB 达 0.7488,RAG 准确率 96.7%,可在消费级硬件部署。
RAGCompass 通过对比微调重排序器,实现了未见检索器或语料库下的可泛化路由,回答 F1 较最佳固定检索器提升 28%。 该方法无检索器特定参数,显著优于融合基线、查询专用路由及 8B 语言模型提示方案,在未知场景下仍保持大部分性能增益。
DS@GT ARC 团队为 CLEF 2026 CheckThat! Lab Task 3 开发了四阶段事实核查文章生成流水线,利用 Llama-3.1-8B-Instruct 模型并基于原始判决条件生成文章。 该流水线包含证据清洗、源文档检索与聚类、文章生成及内联引用恢复步骤,在 9 个参赛队伍中排名第 3,平均得分为 0.428,显著高于基线的 0.272。
U Mobile 基于 Amazon Bedrock AgentCore 构建 Agentic AI 客服系统 AiDaH,在六个业务部门覆盖 150 多个运营场景,关键类别工单量下降 84.5%。 系统采用六层架构部署于新加坡区域,通过 Microsoft Teams 交互,利用智能体自动排查跨系统故障,保留人工最终决策环节。
Indegene 在 AWS 上的 NEXT UDP 平台构建 LLM 驱动的数据质量智能体,生成上下文感知的数据质量规则并产出可运行的 SQL 和 Python 代码。 该智能体支持集中式人工介入治理,解决了传统技术规则与业务规则脱节、静态校验无法捕捉业务背景的问题。 此举帮助生命科学企业提升数据质量扩展性,降低数据工程维护工作量。
论文提出 MiA-RAG,这是首个将 mindscape-aware 检索与生成作为统一条件化范式应用于 LLM-based RAG 的框架。 它通过层级摘要构建心智图,并在检索和生成阶段进行条件化,使检索器形成富化的查询嵌入,生成器在连贯全局上下文中对检索证据进行推理。 在多种长上下文及双语基准测试中,MiA-RAG 持续超越基线模型,并实现局部细节与全局表示的对齐。
研究者推出双语基准AOE,评估LLM将64k至1.8M token长文档提取为结构化表格的能力,涵盖学术、金融等4领域12项任务。 测试12个前沿LLM的4种生成设置,最高Cell F1仅为42.7%,且检索增强方法常导致性能下降,表明长上下文结构化提取仍是核心挑战。
研究提出 HERIT 流水线,利用检索增强生成(RAG)基于韩汉 - 韩语语料生成伪标签数据,解决历史档案翻译中的数据稀缺和时间偏见问题。 模型在自动和人工评估中持续优于基线,并被用于翻译此前未译的档案部分,使全球研究者能访问这些资源。
研究发现,使用韩语评估规则时,不同提供商 LLM 评审员的判决一致性低于英语规则。 六款低成本模型与一款参考模型在 51,744 次请求中显示,韩语规则的 Cohen's kappa 值为 0.687,低于英语的 0.745;否定、条件和例外条款的不一致率是肯定条款的 5.6 倍。
残差图卷积网络在消除数据泄漏后,于 CICIDS2017 数据集上的二分类 F1 值达 98.11%,与多层感知机无显著差异。 在相同协议下,梯度提升树 ensemble 表现更优,多类 macro-F1 达 93.08%,且在特征噪声下的鲁棒性方面,残差网络优势明显。 研究结论表明,在受控评估中,图结构的消息传递机制未带来额外精度,模型优势主要在于对噪声的抵抗力。
论文提出 ReTA 框架,通过强化学习将外部知识图谱导入转化为逐次访问、预算感知的策略,解决电子健康记录(EHR)中患者轨迹稀疏和不规则导致的纵向预测难题。 ReTA 构建了基于 KG 的离线模板池,并学习策略在“软导入”、“硬导入”或“跳过”三种动作中为每次访问选择最优增强方式,结合解耦编码器稳定学习。
研究采用 DSPy 框架结合 HELM 基准,发现提示选择会显著改变排行榜。 使用 5 种提示方法评估 4 个前沿及 2 个开源大语言模型,结构化提示平均提升性能 6%,5/7 基准排名发生变动。 已开源 DSPy+HELM 评估工具及提示优化流程。
SkillLens 引入可视化技能卡片(VSC)框架,支持无检索部署的 GUI 代理动作预测。 在 119 个未见任务上,使用全卡片教师训练的模型步成功率比纯文本教师平均高 5.04 个百分点。 独立运行控制显示,全卡片正确动作数为 18.75%,显著优于纯文本卡片的 6.25%。
HealthJev 作为开源智能体,通过自训练的 JevGate 轻量级模型过滤错误经验,在 90 天模拟交互基准上平均提升 13.3 个百分点。 JevGate 决定经验入库的中位时间为 86 毫秒,消耗约 1,000 输入 token,运行时开销极低。该冻结经验库可迁移至六个其他基座模型,宏平均增益达 6.8 至 15.1 个百分点。
TAPES 提出了一种面向交易序列的联合预测预训练框架,通过候选目标集构建和短试训筛选来提升下游效用。 该框架基于共享离散潜变量进行联合似然建模,并在风险控制和多个公共金融基准上优于代表基线。 消融实验进一步验证了预测目标选择和联合建模的贡献。 ```
多跳检索增强生成(RAG)中,QueryFlow 提出了一种将证据表示与查询条件耦合演化的新视角。 该方法通过在共享查询状态中递归整合查询条件化的图上下文摘要,以控制后续传播的边界输入和关系特征。 在四个代表性多跳问答数据集上,QueryFlow 相比基线方法在宏平均 Recall@10、完整 Recall@10 及 LLM 准确率上分别提升 4.98、8.40 和 8.0 个百分点。
研究人员构建了共享记忆系统 SEAM,通过社交应用原型将社区知识分布与关联起来。系统在共置社区部署两周,46 名成员使用其分享日常、查询记忆并设定指令。SEAM 通过回复帮助用户发现新人与新主题,指向知识主动寻找人的社区形态。
针对 LLM 语义查询中的动态调度难题,框架 SeqoFlow 联合优化执行计划与查询调度。它通过枚举等价计划并利用轻量级推测估计,在批次边界实现计划自适应与查询抢占。实验表明,该方法显著降低了端到端延迟,优于现有语义查询系统。
研究表明,在检索任务中,导致大语言模型失败的并非输入长度本身,而是证据间的竞争。在中性填充内容下,Qwen2.5-1.5B 等模型在 32K tokens 上下文中准确率维持 0.97 至 1.00。
研究提出多智能体框架 Implicit Brand Injection(IBI),通过在网页中插入单次自然提及来操纵生成式搜索引擎,显著提升目标品牌在生成答案中的曝光率。
FlagRot 提出了一种选择性旋转方法,用于低比特 KV 缓存。在 2.5 bits/value 下,它将 12 个模型的 KIVI KL 散度从 18.7 降至 12.4 × 10⁻³。 该方法在 9/12 个模型上优于 RotateKV,并在 4 个模型中的 3 个上通过 vLLM 插件提升了 RULER 和 LongBench v1 性能。
EvoMemState 提出了一种以状态为核心的记忆框架,通过关系状态和推理状态增强 LLM 智能体的长期记忆能力。 该框架包含本体引导的状态归纳、基于强化学习的状态演化及状态感知推理三个组件,在长期对话基准测试中提升了检索完整性和回答准确性。
在 BEIR 基准的 623 个查询中,每查询 5 个目标投毒文档导致经典检索器 nDCG@10 下降 40.2%-61.5%。 查询锚定解释了 BM25 的大部分退化;BGE-small 验证显示注入 payload 对 nDCG 影响微乎其微,查询锚定仍是主要因素。 该研究量化了检索层故障,而非下游指令遵循表现。
提出任务条件效用指标评估长期智能体记忆价值,避免单一重要性评分。 在 LongMemEval-V2 事实回忆任务中,含答案信息的记忆配对奖励增益均值为 +0.33(95% 区间 +0.21 至 +0.46),优于任务盲写摘要。 效用不延伸至软件工程基准,已发布公开的条件记忆效用数据集。
提出数据驱动方法LaplaceDiag,利用执行器效应变化缩小故障设备搜索范围。 方法通过LaplaceNet在拉普拉斯空间建立健康模型,固定历史预测器后以线性回归估计当前执行器效应,支持在线与离线诊断,并在两个数据集上验证成功。 解决了不同故障产生相似观测及缺乏详细模型时的定位难题。
RAGLog 利用执行日志检测并定位 RAG 各阶段故障,无需参考答案或代码插桩。该工具通过规则、嵌入向量和大模型检查相结合,将异构 API 日志统一为标准 RAG 模式。
该架构利用 Postgres 扩展 AIDB 在运营数据库内部构建语义知识库 SemKB,实现数据与业务含义共置。结合 Claude 与 AgentCore Gateway,通过 MCP 端点暴露工具目录,利用 GRANT 权限和行级安全实现差异化访问。语义层直接嵌入数据库,通过注释和外键定义业务逻辑,支持 OpenTelemetry 追踪。
AtomMem 提出一种长期记忆系统,通过“事实执行器”从交互中提取高密度原子事实,并在 LoCoMo 基准测试中取得最先进水平(state-of-the-art)表现。 该系统将原子事实组织为分层事件结构和时间档案,并激活联想记忆图以连接碎片化记忆,实现稳定进化。 论文表明其方案在可拓展性与经济性上具备可行性,支持智能个性化智能体的部署。
UXBench 是首个基于真实用户反馈信号的基准,包含 7,400 个测试实例,涵盖 8 大场景和 83 个领域。 对 26 个前沿模型进行评估,结果显示用户反馈预测是可学习的能力,并揭示了影响体验的多个维度。 该基准确立了新的评估标准,呼吁关注定制化 UX 优化,推动以用户为中心的大模型扩展定律。
NitiBench+ 发布,包含 1,670 条覆盖 17 个领域的泰国法律问答项,基于 156,650 份法院判决构建。 基准显示使用现行法律文本而非判决时文本导致 Bar-standard 分数下降 0.25,最佳模型得 7.78 分(满分 10),最佳开源模型得 6.39 分。 法律基准需追踪时间维度,当前模型在泰国法律领域仍存在显著差距。
研究分析了尼日利亚3,696名母亲的98,607条WhatsApp母婴健康消息,发现窗口关闭后失败率骤增93.0个百分点。 形式化窗口感知调度决策问题,模型评估显示发送预批准模板可触达81.5至86.8%的目标母亲,优于等待或提示。 主要增益来自遵守平台规则而非学习算法,研究结果仅关注消息送达率而非健康结果。