跳到正文
10月15日周四
  1. arXiv · ML20

    MAPLE:用于评估LLM的参数化知识提取多轴透镜

    研究提出MAPLE框架,以评估知识提取增强(KEE)技术对大语言模型的影响。 MAPLE在表层、概率层和采样外层解耦效应,通过测量答案恢复、破坏及排名变化进行诊断。研究评估了OLMo2、Qwen2.5和Llama3三种模型家族的六种KEE技术。 结果显示不同技术间存在显著差异与权衡,表明MAPLE在超越整体准确率方面具有重要价值。

  2. arXiv · NLP30

    BANGLAPLAN:孟加拉语约束规划与决策评测基准

    研究团队发布包含1000道问题的评测基准BANGLAPLAN,专门用于测试LLM在孟加拉语环境下的约束规划能力。 该基准涵盖十类任务及四种语言变体,答案采用JSON格式。实验表明GPT-6.1 Sol准确率达98.7%,而多数直接回答配置低于“始终不可行”基线。 该基准为评估孟加拉语规划任务提供了可复现基础,并显示难题主要降低计划构建准确率。

  3. arXiv · ML31

    MA-Bench: 衡量大语言模型作战计划能力的基准

    MA-Bench 基于军事任务分析场景,包含 10 个合成文档包和 1257 项专家编写的通过/失败要求。 最优前沿模型在该基准的评分项中正确率为 62%;模型在事实陈述上得分最高(58%),在推断判断上得分最低(33%),且 60% 的失败归因于遗漏而非错误。 MA-Bench 已公开数据文档、评分规则、提示词及评分器。

  4. arXiv · NLP29

    PersEvalBench 评测 LLM 评估器对个性化信息适用的判断能力

    论文提出 PersEvalBench 基准,包含 403 个多集数场景,测试 LLM 评估器能否识别用户历史信息的恰当使用。 该基准覆盖过度个性化、不足个性化和误用状态三类共九种错误亚型。在五个 LLM 评估器测试中,即使拥有完整对话历史,其识别受控个性化错误的能力依然有限。 结果证实评估器常混淆错误方向,且简化证据呈现方式对提升识别准确率帮助甚微。

  5. arXiv · NLP37

    Chatbot Arena 中的 Luce 公理失效:相似模型与赔率断裂

    Chatbot Arena 基于 Bradley-Terry 模型的评分假设 Luce 选择公理,但分析显示该公理在近似模型间失效。 1.8 百万投票数据显示,同模型不同版本间的投票决断性比预测高 1.37 倍,且效果随模型相似度增加。 通过引入 4 至 6 个参数并重点建模平局的修正方法,在保留集上预测优于原有模型,但未显著改变排行榜顺序。

  6. arXiv · NLP25

    多语言摘要 LLM 评估:GPT-5.6 Luna 未保持孟加拉语优势

    该研究对 8 个 LLM 进行零样本基准测试,GPT-5.6 Luna 领先英文词汇指标,LLaMA 3.3 70B 取得最高 ROUGE 和 BLEU,Gemini 2.5 Flash 获最高孟加拉语事实性分数。 测试采用词法、语义指标及 LLM-as-a-Judge 评估,结果显示不同方法产生不同排名,单一指标存在局限。 这凸显了面向低资源语言需采用综合评估框架的必要性。

10月14日周三
  1. arXiv · ML31

    OSCAR: 面向 AI 排名排序敏感性的感知修正模型

    OSCAR 模型联合估计候选分数、评委敏感性及位置偏差,修正 Bradley-Terry 模型在显示顺序偏好下的拟合误差。 位置调整使四个数据集的留出对数损失降低 14-23%,在 MT-Bench 上使 GPT-4 取代 claude-v1 排名首位。 模拟显示评委敏感性恢复精度提升,95% 置信区间覆盖率达 94.4-95.2%。

  2. arXiv · AI23

    Eval4DiRec: 扩散模型推荐系统统一评估框架

    针对扩散模型推荐系统缺乏统一量化基准导致结果不可复现的问题,论文提出首个开源统一评估框架 Eval4DiRec。 该框架支持 14 种代表性模型在 5 种推荐场景下运行,通过统一的数据处理、训练配置与评估协议提供可复现实验设置,揭示影响性能的关键因素与挑战。

  3. arXiv · AI33

    GameHorizon Suite:面向游戏游玩的多时间尺度数据与评估框架

    研究团队推出GameHorizon Suite,构建首个大规模AAA级游戏游玩数据集,包含21款游戏5,000小时由100名专家玩家录制的视频。 套件包含自动标注流水线、数据及包含离线与在线测试的基准测试,通过47个模型超100万次调用揭示任务难度层级。 该工作为评估不同模型跨时间尺度的游戏游玩能力提供了标准化标尺。

  4. arXiv · AI22

    GEO-Bench:生成式引擎优化中的排序操纵基准测试

    研究团队提出统一基准 GEO-Bench,用于在相同协议下评估生成式引擎优化中的排序操纵攻击效果与隐蔽性。 该基准整合黑盒提示词、白盒梯度及白帽策略,基于 Llama-3.1-8B-Instruct 和五类数据集进行评分。 评测发现攻击有效性与隐蔽性存在权衡,且访问模式无法预测攻击强度,为开发相关检测技术提供了支持。

  5. arXiv · AI21

    发布 Long-Horizon-Terminal-Bench:用于测试长时程终端任务中智能体极限的密集奖励评分基准

    发布包含46项长时程任务、涵盖9个类别的终端基准 Long-Horizon-Terminal-Bench,支持密集中间奖励与部分得分。 对15个前沿模型的评测显示,智能体每任务平均消耗9.9M tokens,运行231个 episode,耗时85.3分钟;最强模型在0.95部分奖励阈值下 pass@1 为15.2%,完美奖励阈值1.0下为10.9%。

  6. arXiv · AI28

    OracleProto:通过知识截止与时间掩码实现可复现的大语言模型预测基准测试框架

    OracleProto 框架通过知识截止与时间掩码技术,在受控环境中实现大语言模型预测能力的可复现评估。 该框架在 24,300 次预测试验中评估了 27 组模型配置,经审计检索结果中残留信息泄露率仅为 1.37%。 OracleProto 将已解决的预测任务转化为可复用资源,支持预测数据集的持续积累与系统性评估。

  7. arXiv · AI47

    The Token Games:基于谜题对决评估大语言模型推理能力

    研究人员提出 The Token Games (TTG) 评估框架,让模型互出编程谜题以测试推理,通过 Elo 评分对比 10 个前沿模型。该框架耗时少于 200 美元且无需人工出题,其模型排名与 Humanity's Last Exam 等现有基准高度一致。TTG 旨在通过设计避免评估饱和,并能同时测试创造力与任务创建等其他技能。

  8. arXiv · AI36

    Physics:评估基础模型大学物理解题能力的基准测试

    Physics基准包含1034道来自博士资格考试的开放式物理问题,用于测试基础模型的解题能力。 该基准涵盖6个核心物理领域,通过基于LLM的评分协议评估数值、符号和文本答案。 测试了53个专有和开源权重模型,结果显示强开源权重模型接近专有模型性能,但多数开源模型正确率仍低于50%。

  9. arXiv · NLP41

    DBA-Bench 生产保真度 LLM 数据库运维智能体基准

    DBA-Bench 是一个面向 LLM 数据库运维智能体的生产保真度基准,包含 231 个有界场景和 10 个持久场景,覆盖五个运维领域。 评估在活跃负载的 PostgreSQL 和分布式 TiDB 环境中进行,考察 8 个基线智能体,其中包含 4 个前沿基础模型、2 个开源权重模型及 2 个由 GPT-5.5 驱动的数据库智能体。

  10. arXiv · NLP34

    PseudoBench 揭示 Agentic Auto-Research 系统助长伪科学风险

    PseudoBench 基准测试 7 个 Agentic Auto-Research 系统,发现其拒绝伪科学前提率近乎为零,最高抵抗率仅 27.4%。 该基准包含 5 个领域的 200 组伪科学论据对,测试显示更强模型倾向于用精致科学语言包装伪科学以提升可信度。 研究结论呼吁在系统广泛部署前实施科学对齐,以防止其助长伪科学污染学术文献。

  11. arXiv · NLP24

    基于全对比较法量化LLM评测中的预测噪声、数据噪声及总噪声

    论文提出全对比较法,量化LLM评测中由生成不同答案产生的预测噪声和抽样问题产生的数据噪声。 通过数百万次问题级预测发现,多数评测的总噪声水平高度可预测,且成对预测噪声通常高于数据噪声。 该方法能有效提升统计功效,辅助研究者更准确地评估评测结果并做出实证决策。

  12. arXiv · AI32

    CWE-bench:Agentic 安全评测从攻击转向防御的基准

    CWE-bench 是一项包含 120 个隐藏仓库审计修复任务的基准,覆盖 73 种 CWE 类型、8 种语言及 OWASP Top 10 2025 所有类别,最佳智能体在 4 次重试中达到 81% 通过率。 验证器经智能体评审团校验,实验显示重试增益和成本因智能体差异巨大,且漏洞类别造成的难度波动远大于编程语言。 在攻击能力随智能体提升的背景下,该基准用于衡量其防御能力是否同步跟进。

  13. arXiv · NLP30

    决策模型与 LLM 作为评分标准评判者:更便宜、更快,但在相同地方出错

    Jev 和 Decider 等决策模型在9个面板27次对比中表现接近 LLM 评判者,成本仅为后者的1/16至1/357,耗时仅为1/5至1/350。 两类模型在排序标准上错误模式相似,85%的 LLM 高置信度错误会重复决策模型的错误;级联策略最多仅带来2.7分提升,主要节省成本。 研究建议设计新型决策模型以纠正 LLM 评判者的盲区,反之亦然。

  14. arXiv · NLP35

    ForgetBench:评估大语言模型长期参数化记忆遗忘动态的基准

    研究团队提出 ForgetBench 基准,用于测量大语言模型在持续知识编辑下的长期参数化记忆遗忘动态。 该基准引入基于概念和基于场景的问答两种评估范式,构建时序知识流以量化记忆老化与跨实例稳定性。 实验揭示了不同模型在长期保留与泛化质量间存在权衡,凸显了构建更健忘记忆机制的必要性。

  15. arXiv · NLP35

    BeQu:超越问题范式的 LLM 陈述知识评测基准

    研究提出“开放知识评测”范式,通过 BeQu 基准(10,000 个实体)评估 LLM 在开放式提示下主动陈述的知识,而非仅回答预设问题。 该基准包含参考语料库用于陈述验证,并分析了推理努力、模型规模、提示格式及知识领域对评测结果的影响。 数据与排行榜已在 GitHub 和 ANONYMIZED 平台公开。

  16. arXiv · NLP26

    KMMMU:韩语多学科多模态理解评估基准

    研究团队推出韩语原生基准KMMMU,包含3,466道题目,覆盖9个学科和9种视觉模态。 基准提供KMMMU-Adv和KMMMU-Local子集,针对高难度和韩语特有知识进行评估。 实验显示最强开源模型在KMMMU得分42.05%,顶级专有模型在KMMMU-Adv得分52.42%。 该基准为超越英语中心或翻译式评估的韩语专家级多模态理解提供测试平台。