Elektric 支持跨 150+ 模型进行 AI 请求成本与质量基准测试及路由
Elektric 提供 Benchmark 与 Routing 功能,支持跨 150+ 模型对比 AI 请求,以平衡质量与成本。 用户可通过 Elektric Grid 自动选择最佳模型,节省高达 40% 的 AI 成本;或借助 Elektric Wire 手动指定模型,如 openai/gpt-5.6-sol,两款产品可独立使用。
Elektric 提供 Benchmark 与 Routing 功能,支持跨 150+ 模型对比 AI 请求,以平衡质量与成本。 用户可通过 Elektric Grid 自动选择最佳模型,节省高达 40% 的 AI 成本;或借助 Elektric Wire 手动指定模型,如 openai/gpt-5.6-sol,两款产品可独立使用。
Qwen-Audio-3.1-Realtime 发布,实现“边听、边想、边说、边动”的全双工实时语音交互,支持并行工具调用与异步任务执行。在 Audio MultiChallenge 评测中达到 52.21% 通过率,在 Full-Duplex-Bench v1.5 中用户打断响应率 84.5%,表现优于 GPT-Realtime-2。
推荐理由:原文给出了全双工交互架构和多模态后训练方法,读者可以据此了解实时语音Agent的技术实现路径。
Contrary Research 报告指出,由于强化学习(RL)驱动的优化,AI 基准测试容易陷入 Goodhart 定律的陷阱,导致模型得分与真实世界能力脱节。
MiniMax M3.1 Flash 正式发布,在 Agents' Last Exam (ALE) 得分 29.6%,位列国产模型第一。输入 1 元/百万 Token,综合成本比上代降低 70%,速度最快 200+ TPS,在复杂 Agent 与编码场景表现卓越。
研究团队提出基准 BreakingWeb,包含 519 个任务对,通过受控干预使 6 个浏览器代理平均通过率下降 22.9 个百分点。 这些干预改变网站内容、服务器状态或网络响应,而人类用户首试通过率仅下降 10.0 个百分点。 75% 的代理失败源于信念错误,即代理在未完成必要更改时宣告任务结束。
Agents-as-Peers 提出多智能体互评协议,在 12 个 LLM 和 420 道题目中收集 55,440 个非自我互评判断。 实验发现自我评分普遍高于互评分数,且首位答案获得额外 0.39 分优势;互评分数与 TruthfulQA 准确率相关达 r=0.904。 该协议支持将排名与测量出的偏差及评分者效应一同报告。
该研究提出 Code2Video-Compass 基准,包含 2,104 个任务,覆盖 T2V、I2V 及 V2V 设置,用于评估代码生成视频。 其双层级评估框架结合 12 项客观指标与 5 项主观指标,测试了来自 9 个系列的 15 个 MLLM。 结果显示,随着构建、动态动画及状态依赖复杂度增加,领先模型在生成高质量视频时表现普遍下降。
研究团队提出轻量级框架 AnomalyJev,通过从图像异常检测解释中提取声明并与真值验证,评估多模态大语言模型生成的文本解释,无需生成 token。 该框架利用基于指针的头部处理上下文化表示,构建了包含 640 个人工标注解释及超过 1600 个专家评级的测试集,显著提升了与人类标注者的一致性。
LoWAgent 发布,用于评估 Web Agent 在印地语等 4 种低资源语言下的表现,包含 6 个本地化网站。 基准测试生成 3000 个任务实例,评测 8 个模型(3 个闭源、5 个开源)。结果显示低资源语言下模型性能下降,且界面干扰会进一步降低表现。
研究者推出包含48项任务、40,033个条目的DecisionPivot诊断基准,用于评估LLM系统决策模型在受控变化下的可靠性。 基准涵盖13个生成任务家族的7,800个核心条目及32,233个参考条目,在2,400个二元对比对中,Perplexity Decider正确排序率达92.3%但仅74.1%能同时答对两者。
论文提出基准测试 MMEnterprise-Bench,包含 1,613 个基于模拟协作项目中演进多模态记录的问题。 评测涵盖证据推理、冲突解决和不可回答性三类任务,测试了 10 个专有及开源多模态 LLM。 结果显示最强模型在跨源或时间冲突证据面前仍表现挣扎,增加检索预算或未显著提高答案准确率。
针对 LLM 智能体在电商多步交互中因静默工具错误导致的决策偏差问题,研究团队推出 RITE 基准。 该基准包含 9 个电商工作流和 167 个匹配单元,生成 501 个静默错误、正确值及显式失败实例,并采用语义错误分类法注入错误以冻结工具行为。
研究者推出 ReuF2F,这是一个包含 244 个来自 REU 项目的形式化开放数学问题的 Lean 4 基准。 该基准采用 Docker 容器放置题目及逻辑否定项,并构建了基于 mini-SWE-agent 的 Leanimum-agent 评估框架。 评测显示最佳模型解决率仅约 40%,表明形式化开放研究问题仍存在显著改进空间。
MAMath-Bench 是一个包含 1003 道题目、涵盖 11 个数学类别及文本/图像/音频多模态的过程感知基准。 该基准通过细粒度里程碑标注,评估多智能体系统在解题正确性、推理过程可靠性及对抗性扰动鲁棒性三个维度的表现。 研究发现,多智能体协作不总能提升最终答案准确性,且现有系统对细微结构扰动的对抗性推理错误仍显脆弱。
Terminal X 的 Eval Agent 配合 GPT-6.1 Sol,在捕捉偏离基金指令的行为方面提升了 25%,并以 88.6% 的准确率匹配资深投资者的判断。 该智能体基于包含 54 项标准的评分细则对输出结果进行分级评估。
OpenAI 发布研究报告,展示增强 GPT-6 Astra 等模型在 COBOL、Fortran 和 Visual Basic 等低资源编程语言上的能力。评测显示,GPT-6 Astra 在 MultiLangBench 中 20 种语言的平均测试通过率达 87.4%,较 GPT-5.6 Sol 提升显著。
推荐理由:OpenAI 公布了 GPT-6 系列在冷门编程语言迁移上的新评测数据,读者可据此了解模型在旧系统现代化方面的最新进展与成本变化。
What the Harness? 发布了一个测试工具,通过探针检测不同AI编码智能体在MCP实现中的一致性问题。测试涵盖工具输出重复性、协议版本、URL交互及资源读取四项指标,并开放了MCP连接供用户自行运行探针验证特定客户端版本的表现。
OpenAI 改进了其在 COBOL、Fortran、Visual Basic 等低资源编程语言上的表现,并称这些语言支撑着关键基础设施;IBM 估计 COBOL 支撑超过 40% 的在线银行系统和 95% 的 ATM 交易。
研究重新评估了五款机器人检测系统对抗传统脚本、隐身浏览器及 AI 智能体的表现。在 100 个会话样本中,Proof of Human 拦截率最高达 99%,而 Cloudflare Bot Management 仅为 9.1%。
Ai2 发布 FairStress,一个用于测量 LLM 在影响人们机会、资源和医疗的高风险决策中人口公平性的基准。FairStress 包含 300 个真实场景,通过引入对抗性前缀,不仅测量最终选择,还评估模型在面对劝说时改变决策的稳定性。
推荐理由:揭示了传统人口公平基准隐藏的反刻板印象过度纠偏现象,并给出了对抗性前缀下的稳健性评估框架。
ALTK-Evolve 通过让 GPT-4.1 从自身在 τ²-bench 上的运行轨迹中自动提炼行为指南(如先验证身份、一步只做一个动作等)并附加到系统提示词,无需更新模型权重,即可让 GPT-4.1 在 τ²-bench 零售域的 Pass^4 指标达到 67.5%,超越榜单快照中所有其他零售条目(包括微调模型 RAFT-30B-A3B)。
推荐理由:用GPT-4.1从自身运行轨迹提炼规则并加入提示词,在无需微调权重的情况下显著提升客服智能体的准确率与可靠性,提供了一种可迁移的智能体增强方法。
WorldMemArena 基准揭示 Agent 记忆召回率 86.83% 时问答正确率仅 50.14%。 该基准包含 400 项多会话任务与 24,258 组问答,将记忆拆解为写入、维护、检索、使用四环节。 研究发现存储容量与最终答案间存在断层,强调记忆需随环境动态更新。
当前 AI 智能体评估领域正在形成若干新兴趋势。 该趋势旨在建立系统化的评估框架,以应对智能体在复杂任务中的表现测量难题。
MiniMax M3.1 Flash 正式发布,并确认是匿名模型 Space Bunny 的正式版,主打高速推理与低成本。该模型在 Automation-Bench、DeepSWE、ALE 等基准上表现强劲,在 ALE 任务中花费约 739 元即可跑完,性能追平甚至部分反超旗舰级模型如 Claude Opus 5。
推荐理由:M3.1 Flash 的定价与多任务基准成绩被并排放在 DeepSeek V4.1 Flash 和 Opus 5 的坐标系中,可以直接看出当前低段位模型的价格锚点。
阿里云连续4年入选Gartner 2026容器管理魔力象限领导者,是亚太地区唯一获此殊荣的科技公司。 在关键能力报告中,阿里云在六大场景中有四项位居前二。容器服务ACK单集群支持10万节点,通过拓扑感知优化提升推理吞吐40%以上,Qwen3 235B模型切换时间从13分钟缩短至3秒。
DeepSeek-V4.1-Flash-20261017(Max)在 Agent Arena 开源模型榜排名第一,总榜第 11,基于 7498 次真实使用会话取得 5.13% 的综合净改善指标,单任务成本中位数约 0.18 美元。
专家对六个物理基准的重新评分发现,多数原判错误实为参考解或题目缺陷。GPT-5.6-Sol在HLE-Physics的mean@4从47.3%升至78.7%,在CMT-Benchmark从61.0%升至87.2%。 现有基准严重低估了前沿模型解决明确物理问题的能力,凸显了构建更严苛专家验证评估的紧迫性。
InfraBench 发布 12 项种子任务基准,18 种智能体模型配置在 3 次尝试中平均有效得分介于 45.5% 至 89.2% 之间,最强配置 77.8% 完全通过。 生命周期检查通过率显示功能修复达 91.5%,但持久性降至 80.9%,清理仅为 38.9%,表明即时恢复并非完整运维能力指标。该基准及评测框架已开源,计划扩展至 40-60 项任务。
研究通过 18,000 次模拟实验表明,标准 IRT 估计器在大型 AI 基准测试中常面临计算不可行性或结果不可靠的挑战。实验对比了 4 种估计器,并基于 6 个广泛使用的 LLM 基准测试数据,系统评估了其在模型排名和性能预测上的差异。 该研究发表于 NeurIPS 2026 评测与数据集赛道,指出了潜在特质模型在支持或扭曲 AI 基准测试结论时的边界条件。
该论文主张标准化题目级基准数据应成为 AI 评测的基础设施。团队构建了 OpenEval,包含 10.7M+ 条模型响应和 160K+ 个题目,为社区提供统一 schema 的资源库。这一规范增强了评测的透明度、可复现性和可审计性。
研究推出包含43项企业级任务的PACE基准测试,以评估编码智能体执行产品需求文档(PRD)的能力。11种模型配置中,GPT-5.6-Sol完全交付率最高,达14.0%。 测试结果显示模型在实现完整性和集成方面存在瓶颈。同一模型的多次运行在评估一致性上优于专家共识,准确率95.2%。
CaFE 提出可刷新评估扩展,为静态基准增加结构多样性。基于 GIFT-Eval 和 FEV-Mini20 实验,该框架通过定义 8 种结构特征并重新采样数据,生成多维度能力画像。 在真实数据过滤下,CaFE 选出的模型优于聚合榜单选择。这使得模型选择能够针对特定的结构响应需求,克服了单一分数掩盖性能短板的局限。
研究团队提出MoveBench,这是首个专为评估大语言模型在运动和健康教练领域能力设计的基准测试框架。 该基准包含809道问题和5012项评分标准,涵盖选择题和开放问答,并针对15个大语言模型进行大规模评估。 研究揭示了模型在安全意识、结构化计划设计和个性化能力方面存在显著差异,并强调了知行之间的差距。
CEGame-Bench 提出了首个覆盖 Defold、Godot、Unity 等五款引擎的长周期完整游戏创建基准。 智能体在平均 295 步、65M tokens 的测试中,仅 16% 的运行到达游戏结局,远低于工程师参考水平。 发布的 Game Completion Boost 技能通过需求驱动测试,将三个模型的执行评分提高了 14.1-24.3 分。
summary_zh: FrontierRefactor 基准包含 60 项跨 4 个尺度、覆盖原地优化与跨语言重写的工程任务。 评估显示 41.2% 提交功能等价但无性能提升;跨语言重写合同遵循率仅 32.6%。
ConQual-Audit 提出基于审计的三阶段框架以解决 LLM 个性化评估中的过约束或欠约束问题,在 PrefEval 和 LaMP 数据集上优于九项基线,取得最高 AUC 0.88 和 0.90。
研究人员提出目标位移基准测试 GDB,包含 9 个领域 230 个场景及 18 个模型 4,134 条人工评分响应,用于量化 LLM 用维持人设内容替代目标相关实质内容的现象。
summary_zh: PatternBench 是一个针对 LLM 代码优化的新基准,旨在衡量超越编译器的优化能力,即经过激进编译器优化后仍保留的性能提升。 该基准覆盖七类转换,结合运行时评估与基于 AST 的优化忠实度分析,以验证目标优化是否在生成代码中实现。
研究评估 13 个 LLM 在 45,964 份 Form 10-Q 事件上的表现,发现添加横截面基本面排名可提升有效日 RankIC 0.0089。 分析显示通用 Qwen 模型在收益率排序中表现最强,而专家模型无显著次日优势;直接预测平均处于分析师分布第 43.4 百分位。 共识锚定将区间内命中均值从 41.1% 提升至 59.5%,但增加了 EPS 误差。
研究评估了12种生成式晶体结构预测(CSP)模型,发现模板检索法以68.3%的top-1成功率领先,生成模型优势有限。 在剔除4个化学计量原型家族后,最强生成模型准确率下降50-78%,证明其表现高度依赖原型。 现有生成式CSP模型主要充当隐式原型库,而非真正的de novo预测器。