PerfArena 开源 LLM 代码性能竞技场
PerfArena 发布开源 LLM 代码性能评测竞技场,基于正确性、时延、内存和能耗对 13 个模型进行跨语言排名。 在 10 个 CLBGComp 基准和 99 个 LeetCodeComp 问题中,got-6-astra 是唯一在时延、能耗和内存上未被显著超越的模型,且解决率分别达 100% 和 99.7%。 该榜单持续更新,帮助开发者依据性能指标而非仅价格选择 LLM。
PerfArena 发布开源 LLM 代码性能评测竞技场,基于正确性、时延、内存和能耗对 13 个模型进行跨语言排名。 在 10 个 CLBGComp 基准和 99 个 LeetCodeComp 问题中,got-6-astra 是唯一在时延、能耗和内存上未被显著超越的模型,且解决率分别达 100% 和 99.7%。 该榜单持续更新,帮助开发者依据性能指标而非仅价格选择 LLM。
视觉语言模型在证据不足时常给出过度自信的确定性回答,难以区分需澄清的歧义问题与可直接回答的明确问题。 研究提出轻量框架AmbiSteer,结合提示词与激活引导,并利用线性分类器预测输入歧义性。该方法将模型正确处理歧义输入的比例从平均59.0%提升至77.0%。
大语言模型代理从 24,588 篇肉瘤摘要中生成 1,570 个通用数据元素(CDE),保留 53 个高频 CDE 进行全语料提取。79.2% 的摘要成功完成证据关联提取,100 篇抽样中 94.9% 的值与 LLM 提取结果完全一致。人类审核员对 56.6% 提取值的正确性予以确认。
LitArc-Bench 推出 39 段中文文学节选,包含 81 名成人填写的 430 份问卷及 9,020 个 VAD 评分,用于分离模型预测中叙事位置、词汇情感与文本特异性动态的影响。 基准测试显示,仅靠位置预测唤醒度相关系数 r=.470,但模型在文本不变量阴性对照中表现达到随机水平。 该工具明确了文学读者反应中哪些成分可在浅层解释之外被恢复,指出形状、校准与人类变异性需分开评估。
研究人员提出 GT-FENG 框架,统一规则治理领域的事实评估与错误归因。 该框架将回答与适用规则比对,Medicaid 案例显示记录本州档案可使仅匹配他州数值的错误减少 68-78%。 框架作为开源 Python 包 gtfeng 发布,为构建相关评测基准和工具包奠定基础。
NER-D 基准测试涵盖 9 个领域的 13 个数据集,用于评估德语命名实体识别模型。 测试对比了 GPT-5.4 mini 与开源小模型,结果显示 GPT-5.4 mini 在 13 个数据集中的 6 个上表现更优。 LoRA 微调使小型模型性能大幅超越专有模型基准,且基准测试资源已公开可用。
提出 Concertina 方法,将 N 层教师模型折叠为单共享块,并在 Qwen3-4B 上验证其有效性。 该方法的 2.27B 学生模型在 22B tokens 上蒸馏,保留教师 90% 的常识/数学推理能力,八项基准平均 84%,超越 Qwen3-1.7B 基线。 代码已开源,证明紧凑模型无需大规模重训,折叠自身并配合正确数据即可恢复大部分能力。
研究发现 LLM 身份指纹具有传染性,模型会继承前序对话者的特征,导致 API 中继审计失效。 DeepSeek 替换 Claude Sonnet 时,检测器识别率从 0.97 降至 0.72;Haiku 降级后从 0.87 降至 0.54。 提出的 Lineup 方法通过对比相同历史下的参考分布进行审计,假阳性率为 0.056,有效识别 0.81 的替换会话。
Agent-as-a-Judge 提出主动评测范式,通过多智能体协作、工具集成与规划获取缺失证据,弥补固定上下文 LLM 判官的不足。 该框架定义了结构化工作流与观察驱动控制的设计空间,并整理复现关键智能体判官的基准分数,揭示了不均衡的智能体增益。 研究指明了成本、可靠性及治理等开放挑战,为大规模部署可信智能体判官提供依据。
FEND框架通过分析音频与流式转录识别外呼远端身份,20秒内输出语音信箱、IVR、AI或真人四类标签。 在公开基准测试中,其语音信箱检测准确率达100%且零真人误判;AI callee识别利用语音时序特征达到0.952 ROC-AUC。 生产环境数据显示真人误判为自动化标签的比例仅为2.9%,显著优于标准AMD仅区分人机二值标签的局限性。
研究团队发布 VariNLI-VE 数据集,包含 2,250 个针对 SNLI 文本及其视觉对应项的重标注结果,涵盖标签、置信度及解释。 数据显示,视觉蕴含任务中人类标注分歧并未如预期般减少,且标注者常保留相同标签但改变解释理由。 评估发现,视觉语言模型在视觉蕴含任务中准确性较低,与人类标签分布一致性较弱,且不确定性高于文本任务。
BLiMP-RO 是首个针对罗马尼亚语的语法基准,包含 493 个由语言学家构建和 5,942 个经人工验证的半自动生成句子对,涵盖 10 个领域的 50 种语法现象。
PaperCritic 通过强化学习训练 AI 审稿人,专注于评估论文的客观严谨性,在域内测试集上超越前沿模型。 该方法利用 PaperSound-23K 数据集优化精确率与召回率,性能成功迁移至 Nature 系列论文及代码审查等跨领域任务。
RAG-FGO 提出了一种针对生成式 RAG 查询重写智能体的动态优化框架。 该框架将查询重写建模为混合离散-连续空间中的黑盒优化问题,引入精英保留内存池以缓解噪声反馈对优化稳定性的影响。 实验结果验证了该方法在多样化 benchmark 上的有效性与鲁棒性。
针对掩码扩散语言模型(MDLM)后训练中块随机采样导致的高方差问题,研究人员提出了全块估计器,确保每个块仅评估一次。 该估计器在保持无偏性的同时消除了块选择带来的组间方差,在数学、规划等5个基准测试中平均比基线高出12.79分。
研究人员提出一种任务中心框架,结合注意力、激活和表征信号,用于刻画 16 个 LLM 在 24 个基准测试中的内部处理模式。 该框架揭示从检索主导到推理主导的连续谱系,并发现知识密集型与推理密集型任务存在系统性处理差异,有助于优化基准选择与模型评估。 代码已开源,论文被 TACL 接收。
研究通过视觉流干预揭示多模态大语言模型中的“对齐幻觉”,表明层间视觉-文本相似度无法一致区分受损与原始流。 在13个涵盖0.5B至72B参数、来自五个系列的模型中,以高斯噪声替换投影器输出的视觉token虽显著降低任务准确率,但CKA、SVCCA、MIR及主夹角余弦四项标准标量指标均未有效捕捉该差异。
研究人员发布 UltraBench 2,用于统一评估超声图像分析中的视觉基础模型,涵盖多解剖部位与任务。 该基准强调标准化与可复现性。分析显示,超声专用预训练在分类任务上仍占优势,而通用模型在分割任务上已达到同等水平。 该成果已被 ML4H 2026 会议接收,有助于解决现有评测碎片化问题。
研究团队提出 BBOWP-Bench 基准测试,评估 LLM 从自然语言推导 Black-Box Optimization 问题中搜索空间与优化算法的能力。 该基准包含问题描述、执行环境及人工参考方案,覆盖多个 BBO 领域;评测显示 LLM 会随预算调整算法选择,但在描述模糊时难以确定关键变量及范围。 BBOWP-Bench 代码与数据集已公开,论文被 NeurIPS 2026 接收。
MMAO-Cls 在七个标准表格基准测试中,集成验证目标得分 0.9433,排名第二仅次于 GA-lite (0.9446)。 其在留一法测试中平均得分为 0.8882,优于 RandomSearch (0.8808) 和 GA-lite (0.8857),且使用最紧凑的特征子集(特征比率 0.4881)。 结果表明该多智能体优化器适用于分类任务,但社区共享对测试性能的具体贡献尚未完全解决。
SA-RAG通过从嘈杂对话数据中直接构建表格结构,解决了传统RAG在处理噪声上下文时的可靠性问题。 该框架结合质量感知的结构归纳方法,同时支持免训练和基于训练的结构生成策略,在两个真实数据集上显著优于现有RAG基线。 结果表明,高质量的结构化表示对鲁棒RAG应用至关重要。
DRTriton框架通过强化学习训练LLM将PyTorch程序转换为Triton内核,在KernelBench Level 2任务上92%的基准测试中实现加速,显著优于GPT-5.2(23%)和Claude-Sonnet-4.5(19%)。
提出自动可微滤波框架,通过基于自动微分的梯度优化,从部分噪声观测中联合学习动态系统状态、动力学模型及滤波参数。 框架利用理论驱动的损失函数,在Clohessy-Wiltshire方程、Lorenz-96系统、Lotka-Volterra方程及准地转模型等跨领域实验中验证了通用性,并为定制滤波算法提供了指南。
summary_zh: HetCCL 是一种集合通信库,支持跨 NVIDIA 和 AMD GPU 的 RDMA 通信,无需修改驱动程序。 该库通过集成 NCCL 和 RCCL,在混合环境中实现高效通信,且在与 NCCL 或 RCCL 单独使用的场景中保持同等性能。
研究人员推出 CTF-Dojo 平台及自动化工具 CTF-Forge,包含 658 个容器化 CTF 挑战,支持可验证反馈训练。 基于 486 条高质量轨迹训练 LLM 智能体,在 InterCode-CTF 等基准上取得最高 9.9% 绝对提升。 最佳 32B 模型 Pass@1 达 31.9%,超越 DeepSeek-V3-0324 等前沿模型,确立开源新纪录。
Cyber-Zero 是首个免运行时框架,通过逆向工程 CTF 题解生成智能体轨迹,在三大基准上较基线提升最高 11.4%。 该框架利用公开 CTF 题解与角色驱动 LLM 模拟,无需实际环境即可生成长程交互序列。 其最佳模型 Cyber-Zero-32B 在开放权重模型中创 SOTA,性能媲美 DeepSeek-V3-0324 与 Claude-3.5-Sonnet。
在异构噪声下,高维数据中的真实欧氏几何可以从被破坏的成对距离中恢复。 无需先验知识,该方法能无偏估计真实距离,恢复误差随维度和样本量增加呈多项式收敛。 在单细胞 RNA 测序数据中,该方法能可靠地恢复局部邻域结构。
提出礼貌性前瞻性规划,通过联合最小化即时成本与所有机器人的聚合预期未来成本,减少长期任务序列的副作用。 采用独立每机器人学习评估器避免组合联合滚出,支持模块化部署;在家庭与餐厅两个PDDL域中验证有效性。 在长序列中,相比短视和自私前瞻性规划,总成本分别降低10.4%和4.5%(双机器人家庭)及20.5%和6.7%(三机器人餐厅)。
Reforge 提出了一种可追溯的评估流水线,旨在解决二进制分析基准中因编译器优化导致的地面真值对齐可靠性问题,并引入不确定性感知评估机制。该流水线构建了八重门控置信漏斗和三层分层体系,在受控微基准测试中显示,高置信度产出率随优化级别提升从 87.2% 下降至 65.9%。该工作证明了七款主流 LLM 的函数命名概念验证,并获得了 2026 年国际应用计算大会最佳论文奖。
Larch 框架通过优化 AI SQL 查询中语义过滤器的执行顺序,在多种数据集上显著降低 token 消耗。该框架包含 Larch-A2C 和 Larch-Sel 两个变体,分别利用图神经网络建模和监督学习预测选择性来指导动态规划。 实验结果显示,Larch 比 Palimpzest 和 Quest 减少 6%-30% 的总 token 成本,并将 token 开销降低 3-19 倍。
summary_zh: DeltaBox 提出基于变更的 OS 级沙箱检查点机制,实现毫秒级状态保存与回滚,解决现有方案高延迟瓶颈。 通过 DeltaFS 冻结可写层实现文件状态 copy-on-write,DeltaCR 从冻结模板进程 fork 恢复内存状态,两者协同保证一致性。
TransitLM 是首个支持模型绕过结构化地图依赖的公交路线规划数据集,包含中国四座城市近 1300 万条记录,覆盖 120,845 个站点和 13,666 条线路。
**summary_zh:** 提出一种结合机械与智能体的规范推导方法,集成到 Move 智能合约语言及其验证器 Move Prover 中,用于自动推导函数合约。
研究揭示时空深度伪造检测器易受规避攻击,提出SpInShield框架以解耦语义运动与可操纵频谱伪影。 SpInShield通过可学习频谱对手生成严重频谱畸变,采用捷径抑制优化策略,在模拟幅度频谱攻击下AUC比最强基线高21.30个百分点。
提出一种可移植的有效性筛查方法,用于评估 LLM 基准中置信度信号是否随正确率变化。 在 20 个前沿模型 452 题测试中,15 个模型信号有效,1 个无效,4 个不确定;1500 题 MMLU 测试显示判定依赖切分点。 该筛查分离了盲目自信、盲目撤回和反转,仅当信号可测量地追踪正确率时才标记为有效。
论文提出 FedSharp 框架,解决去中心化联邦学习中信道噪声累积及拜占庭攻击问题。在 100 节点环且含 33 个拜占庭节点的实验中,FedSharp 在 MNIST 上准确率达 93.5%-94.9%,显著优于单模型选择基准的 29.4%-38.1%。
CPGRec+ 通过引入 PER 和 PRG 模块,在两个 Steam 数据集上展现出优于现有技术的准确性和多样性。 该框架利用 LLM 生成游戏与玩家的上下文描述,并调整边权以缓解 GNN 模型中的过平滑问题。 研究发表于 ACM Transactions on Information Systems (TOIS),代码已开源。
提出一种受限 VMBQC 模型,仅增加单个可训练参数,参数规模从 N x D 降至 N+1。 数值与代数证明表明,该最小扩展能生成对应幺正模型无法学习的概率分布,优化更可行。
研究推出涵盖79项深突变扫描、21项流感中和任务及SARS-CoV-2预测的基准ViroGym,其中ProGen2模型表现最佳。 测试表明深突变扫描与中和任务能可靠识别可泛化至现实世界突变的模型,且两者互补。 相关数据与代码已在GitHub开源。
该研究提出用2D投影近似3D椎骨掩膜,以识别颈椎骨折。在包含2019名患者的RSNA 2022数据集上,患者级F1分数达82.28%,AUPRC为92.00%。 该方案将2D掩膜反投影并融合为近似3D掩膜,提取CT感兴趣区域。使用2.5D CNN-Transformer模型进行分析,掩膜替换未导致AUPRC显著下降。 研究证实投影掩膜可作为颈椎骨折识别中3D椎骨分割的有效代理。