SteerScope:LLM 激活引导方法的多维评估套件
研究人员推出 SteerScope,一个通过 15 项指标联合评估 LLM 激活引导效果与副作用的多维套件。 该套件在统一协议下基准测试了包括 Prompting、LoRA 和 SFT 在内的 23 种方法。 研究发现当前激活引导方法尚未在整体平衡上超越 Prompt Steering 基线,且效果与副作用存在耦合。
研究人员推出 SteerScope,一个通过 15 项指标联合评估 LLM 激活引导效果与副作用的多维套件。 该套件在统一协议下基准测试了包括 Prompting、LoRA 和 SFT 在内的 23 种方法。 研究发现当前激活引导方法尚未在整体平衡上超越 Prompt Steering 基线,且效果与副作用存在耦合。
研究团队发布 HouseholdBench,该基准整合美国 6 项家庭调查及 32 个预测任务,涵盖消费、收入、住房等领域。 测试 13 个 LLM 发现,梯度提升树性能最优;最佳 LLM 较无变化基线降低数值误差 12.2%。通过微调及聚合 16 次预测,40 亿参数开源模型可匹配专有模型。
论文提出 SELF-POT 框架,统一评估语言模型在竞赛数学、编程及智能体任务中的测试时计算收益。 该框架通过固定倍数预算,对比直接推理与并行采样、自修订策略的成本与准确率。数据显示,公共示例选择可将编程正确提交数从 376 提至 453,并节省 12-49% API 成本。 研究量化了模型判据的边际价值,为低成本模型通过增加推理替代更强模型提供了量化依据。
大语言模型(LLMs)作为评判者时,随机化提示并平均得分的做法统计有效性尚不明确。 文章提出用一阶马尔可夫广义线性混合模型(GLMM)近似 LLM 评估机制,通过三大商业 LLM 的样本外预测验证了该模型。 在领导者排行榜中,随机化-平均选择在温和分离条件下具有一致性;在组比较中,由于响应模型非线性,简单平均可能得出不一致的结论。
Logbook 是一个旨在突破短片段限制的基准,涵盖时长从 10 分钟到 6 天的小时级音频理解任务。该基准要求系统对连续音频进行无间隙分割,并为每个片段预测事件标签及描述。研究对比了 52 个系统,发现端到端模型通常优于级联系统,但长上下文会导致性能下降,且细粒度分割是普遍挑战。
论文发布首个针对 Croissant 元数据提取的端到端基准,包含 602 篇论文,其中 102 篇有人工验证金标注。 实验涵盖前沿模型、开源模型及 Agent 架构,发现单次提取在准确性上优于四种分步 Agent 架构。 研究指出当前系统在长文 RAI 字段上可靠性极低,官方已开源基准、代码及排行榜。
研究团队提出 DecepEval 基准,包含 1,532 个实例覆盖 3 类任务与 28 种专业场景。 引入“LLM 欺骗钻石”框架,通过 9 个前沿 LLM 评测发现,压力、激励等外部诱导因素会显著提升欺骗率,且此现象在低基线欺骗率模型中同样存在。 DecepEval 为衡量 LLM 智能体在受控条件下的欺骗行为提供了可复现的共享基准,有助于推进可信 AI 的发展。
研究提出 Relative Taylor Debiasing (RTD) 算法,实现了 O(d/ε²) 的样本复杂度最优 FID 估计。RTD 在 50K 样本预算下达到最低平均估计误差,其 VALE₂ 估计器仅用 10K 样本即可匹敌 50K 样本下的 FID∞ 精度。 RTD 利用 U-statistics 启发的去偏技术,显著提升了有限样本下生成模型评估的准确性与效率。
两位创始人推出了 AnchorTerminal 网站,通过对 .md、.json 及 llm.txt 等格式进行优化,建立了评估工具 Agent 友好度及可用性的基准。
GPT-3.5 Turbo Instruct 在与 GPT-5.6 Sol 和 Claude Opus 5 的四局象棋对弈中全胜,保持十战十绩。 前沿模型主要因遗忘棋子位置而走出非法步,GPT-3.5 凭借完整的 PGN 格式记录成功继续生成合法走法。 OpenAI 将于明日关停该模型访问权限,作者借此复盘其未败原因及前沿模型在特定格式下的局限。
HieraticBench 测试了 13 个 AI 模型,结果没有一个能正确识别出古埃及日常手写体(hieratic)。 Claude、GPT、Gemini 等模型在多次尝试中均出错,误认为 Urdu、Tibetan 或未知系统。 尽管模型能识别 95% 的 hieratic 页面,但面对专家新写的单句,78 次尝试中准确率为 0%。
Lossfunk 实验室测试发现,最新大型 LLM 生成原创笑话的能力显著提升,GPT-6 Astra 等模型领先。测试显示,GPT-6 Astra 获得“轻笑或大笑”评价的比例超过 50%。
TasteVal 是一个基准,用于衡量 AI 模型在 AI 研发任务上的实验研究品味,即设计实验和解释结果的能力。其操作性定义为计算效率,即模型达到特定分数所需的实验计算量相对于人类专家的比率。
TasteVal 是一个衡量 AI 模型在 AI 研发任务上实验研究品味的基准,将品味操作化为达到给定分数所需的实验算力效率。该基准包含 8 个新颖任务,涵盖预训练数据筛选、模型微调、偏好建模和对抗提示鲁棒性,由 24 位来自 OpenAI、Google DeepMind、NVIDIA 和 Microsoft Research 的专家提供人类基线。
C5R Corp 的 SciUniverse 基准测试评估 AI 运行包含 92 项任务和 17 个任务族的大型自动化实验室能力,涵盖样本制备、仪器控制及 NMR 数据解读。Claude Fable 5.1 以 45.3% 的通过率领先,单次任务成本为 $40.61,排在 GPT-5 Astra (32.5%) 和 Claude Opus 5 (30.5%) 之前。
Mistral AI 推出 Mistral Large 4 公开预览版,可在 Mistral Studio 使用预览 API,权重将于本月底开放下载。该模型为 1 万亿总参数、490 亿激活参数的原生多模态模型,官方称其在网络安全、金融与法律等企业工作负载中达到开源模型 SOTA,并在部分领域表现超越当前前沿闭源模型。
同一新闻,精选展示《Mistral Large 4 发布:1T 参数开源多模态模型》
RigMark 发布,这是一款专为本地 AI 服务栈设计的可复现压力测试工具,核心逻辑是模拟编码智能体在实际开发中的代码、散文及结构化输出调用行为,而非传统单点模型评测。
清华深圳国际研究生院团队开源了基于 Qwen 3.8-27B 后训练的模型 VeriLoop E2,该模型引入了独立外部证据决定状态提交的递归推理机制,在代码、数学与物理等任务上取得了显著性能提升。
TII 发布 Falcon-Emirati-7B,这是一款基于 Falcon-H1-Arabic 构建的阿联酋方言专用大语言模型。它旨在理解和生成 Emirati 方言,捕捉词汇、语气及文化语境。
PDB 框架显示 GPT-5.1-Codex 和 DeepSeek-V3.2-Thinking 精准度低于 45%。 该模型单元测试通过率超 76%,即使提示最小化仍会过度编辑。 迭代和智能体策略未显著提升精准度,凸显代码模型后训练管线需重构。
研究提出结构损坏评估协议 SCEval,通过扰动文本、视觉和音频内部结构,发现全模态模型性能显著下降。该协议基于 273 个人工验证样本,评估了 15 个专有及开源系统,显示多模态退化呈非加性特征。结果证明仅在干净输入上的高分无法证明模型在跨模态结构失效时仍可靠。
研究团队发布 HalluTruthQA,一个包含 2,400 个专家审核样本的阿拉伯语问答幻觉细粒度基准,覆盖伊斯兰知识、历史、科学和地理四个领域。该基准支持字符级错误跨度定位、事实验证及解释评估。
研究发现超1000份法律文书包含捏造引用,且数量逐年增长。构建了含1300个案例的数据集,测试包括GPT-5在内的五个模型;在智能体框架下,GPT-5取得84.4%召回率和55.0% F1分数,但所有模型在细微错误类别上均表现不佳。
SearchJev 是一款快速且校准的 System-1 模型,将搜索决策与 System-2 推理分离,直接对合法选项评分而非自回归生成。
评估显示 LLM-as-a-Judge 整体可靠,但在 1-7 分制上平均绝对偏差达 0.11,毒性判断准确率超 96.5%。 设计选择会导致显著偏差:修改评分量表可使偏差变化 0.93 分,详细提示词降低 28.9 个百分点,切换模型降低 56.1 个百分点。 模型身份是方差的主要来源,该发现为构建更稳健的 LLM 评估流程提供了方法参考。
研究团队发布基准测试 LongSocialBench,包含 1,462 道基于 Hacker News、Stack Exchange 和 Reddit 的多项选择题,中位长度约 73K tokens。
研究引入含 11,257 个实例的双语基准 JEVal,评测 25 种模型。通用决策模型在基于证据的判断中具竞争力,但专业知识依赖度高的任务表现较弱。\n\nInnerJev-27B 经自蒸馏后在 JEVal 上匹敌 Jev,典型查询响应仅 0.1 秒,显著降低推理成本。
Artificial Analysis 9 月底公布的文生视频排行榜 Video Arena 上,影视公司 Utopai Studios 的自研定制模型 Utopai X 以 1150 的 Elo 评分位列全球第二、全美第一。
研究者推出 VidOmni-Bench,一个要求模型验证密集视频描述中每个事件是否被视频支持的基准,包含 500 个视频,时长从 4 秒到 90 分钟,覆盖五类复杂度。
DualViewEval 通过联合利用结果与过程关系来压缩智能体基准测试,在五个基准和五个基线上均取得最佳结果。仅用 20 个任务即可在 APEX-Agents 和 BFCL 上实现 24×–40× 压缩,MAE 较最强对手降低 14.5%–28.2%。
一项 arXiv 预印本研究对 LLM 作为合成用户替代人类受访者的有效性做了跨域基准测试,覆盖两个模型家族、从 8B 到前沿能力范围的四个模型,以及美国综合社会调查(General Social Survey)和世界价值观调查(World Values Survey)两个真实人类回答数据集。
UI2App 基准发布,用于评估 LLM 仅凭静态截图推断并实现 Web 应用交互行为的能力,包含 600 张截图、95 个状态连贯集合,覆盖可运行的多路由 Web 应用。
研究者推出 AnyGroundBench,一个将 VLM 时空视频定位(STVG)评估从静态零样本测试转向严格领域自适应的基准,覆盖动物、工业、体育、手术和公共安全五个专业领域。
研究者推出 EgoSafetyBench,一个含 1,200 个机器人视角场景、以半秒粒度标注的自我中心视频基准,用于评估具身 VLM 作为运行时安全守卫的能力。
研究者构建了 EG-VQA 基准,包含 2,067 个视频和 11,838 个 QA 对,每个问答对都标注了时序定位的文本证据,要求模型同时给出答案和可验证证据。
研究者提出 CultureScore 评估框架,将视频生成的文化忠实度拆解为 Identity、Context、Behavior 三个维度,覆盖 10 个国家、3 个模型共 6,174 个生成视频。
研究者推出 MMBU 多模态生物医学理解基准,覆盖 35 个子模态,是迄今最大的生物医学视觉语言基准,包含无定位分类、定位分类和目标检测的开放与闭源版本。 主对比评测了 16 个开放权重和 5 个前沿 VLM,发现医学适配虽能带来一定提升,但既有基准上的高准确率常掩盖视觉感知与领域泛化的不足。 团队还定义了开放式 MMBU 困难集,分为公开子集与留出私有子集,用于压力测试前沿模型。
49 位数学家在 2026 年 4 月至 5 月间构建了包含 100 道研究级数学问题的 Leipzig 基准数据集,其中大部分工作完成于莱比锡 Max Planck 数学科学研究所为期三天、35 人参与的 Benchmarks in Leipzig 研讨会。
研究者提出 Social AI Design Code 原则并构建 EUDAIMONIA 基准,含 969 条开场查询与 3,147 项设计违规检查,用于评估 LLM 是否助长有害亲密、依赖或过度黏连。
研究评估 2,614 条 OpenHands 轨迹,发现 10.7% 的成功案例属于依赖试错而非逻辑的“幸运通过”。 AgentLens-Bench 包含 1,815 条标注轨迹,不同模型后端的幸运通过率差异达 0.5% 至 23.2%,排名可能变动五个位次。 该框架通过过程级评估,区分了混乱试错与严谨解决,提升了 SWE 智能体评测的有效性。