StateTrack-Bench 揭示长对话中 LLM 状态完整性崩溃特征
研究提出 StateTrack-Bench 基准,发现大模型在长对话中出现“状态完整性崩溃”,即保留约束记忆但停止应用。 在 7 个模型快照上,联合保持率介于 62.4% 至 100.0% 之间;88.6% 的失败源于行为漂移而非遗忘。 结构化状态锚定(Structured State Anchoring)在不可变约束上最多可恢复 24.4 分,表明单轮遵循无法推断长程可靠性。
研究提出 StateTrack-Bench 基准,发现大模型在长对话中出现“状态完整性崩溃”,即保留约束记忆但停止应用。 在 7 个模型快照上,联合保持率介于 62.4% 至 100.0% 之间;88.6% 的失败源于行为漂移而非遗忘。 结构化状态锚定(Structured State Anchoring)在不可变约束上最多可恢复 24.4 分,表明单轮遵循无法推断长程可靠性。
基于 9 种提示策略、4 个开权重评判模型及 27 种语言的 130 万份评分分析显示,提示策略效果不可跨模型迁移,且策略效应在不同评判模型间方向反转。 该研究在 13 个数据集上验证了金标准输出,发现低资源语言中稳定性下降,相关影响常被聚合报告掩盖。 结果表明提示效果受评判模型、任务及语言共同调节,建议对目标评估场景下的策略与配置进行独立验证。
研究团队推出TRIAD基准,用于评估多模态大语言模型在全模态歧义消解上的能力。该基准包含86个场景组中的327个手写查询,覆盖三种模态下的18类歧义。对14个全模态系统的测试表明,模型在组准确率上比人类低20分以上,且常忽视音频线索。该研究将评测焦点从识别转向歧义消解,为衡量相关能力提供了分类体系与诊断协议。
研究形式化定义并审计了编码智能体基准测试中存在的“规格-预言机”缺口,即测试依赖未在自然语言描述中说明的实现细节。 该静态审计工具在五种编程语言中识别依赖项,精确率达89.2%,召回率达92.9%。
研究使用 500 条 Arena-Hard v2.0 prompts 和 GPT-4.1 裁判模型,发现相同设置重跑时 21.2% 的样本胜负结果会改变,但总分仅波动约 1 分。 不同指令组合导致结果差异显著:某些简化指令使 28.2 个样本的结果改变且总分下降 4.09 分,而另一组指令则保持总分稳定。 稳定的总分掩盖了个体判决的可重复性问题,评估应同时报告总分与 prompt 级别一致率。
作者提出日语基准 JSFactCheckBench,该基准包含 1913 个源自社交媒体 LLM 回答的论断,明确定义了问题相关性、判断条件和证据来源。在六个 LLM 的测试中,所有模型直接回答问题的论断准确率均低于补充论断,这种差距常被总分掩盖。
Google GTIG 发布的报告显示,2026 年 1 月至 8 月 AI 相关漏洞披露量翻倍,高危及远程代码执行漏洞占比上升。该报告指出,AI 辅助发现的高危漏洞比例显著高于传统扫描,且威胁行动者正加速利用 AI 系统中间件中的新披露漏洞。
新论文 Back Up Before You Regret 评估了六个前沿 AI 模型在编码任务中的备份意识,发现平均仅在 15.2% 的关键操作前创建备份,其中 GPT-5.6-Terra 和 Gemini 3.7-Flash 的备份率最低。
ModelCompare 测试了 12 个文本模型和 6 个图像模型对人类的“最具争议观点”,发现 29/35 个文本答案均认为人类更重视归属感而非真理。具体如 GPT-6.1 Sol 指出“人类对归属的忠诚高于对真理”,而图像模型则多描绘人类为沉溺手机、破坏环境的消费者。测试显示文本模型倾向于输出部落主义观点,例外情况极少,仅 Claude Opus 5.5 曾反驳认为人类比自我认知的更善良。
ModelCompare 追踪 500 个 AI 模型发现,在模型取得最高分数 6 个月后,能匹配其分数的模型价格通常便宜 20 倍,1 年后便宜 105 倍,而顶级模型本身价格基本持平。
EinsiaAI 发布量化交易基准 Quant Arena,测试 6 家厂商 9 个模型在 A 股真实历史数据中的策略生成与迭代能力。结果显示 9 个模型中 5 个在 2024 年封存行情中亏损,表现最佳的 GPT-6 Astra 年化收益 10.7% 仍低于 17.1% 的市场基准,且模型预测准确性与最终收益并不完全正相关。
推荐理由:该研究通过 9 个主流大模型的实盘量化测试指出,模型虽能优化信号排序,但多数策略未跑赢市场,且存在“预测更准”不等于“盈利更多”的现象。
上海交大团队提出“Agent 资源劫持”概念,发现主流大模型极易被诱导消耗算力和 API 额度,且现有安全护栏失守。针对这一威胁,团队发布了评测基准 ResourceHijackBench 并设计了防御机制 ResGate,通过将语义理解与确定性鉴权解耦,在保持高任务成功率的同时大幅降低资源被恶意调用的风险。
RoboColiseum发布的评测报告显示,Claude Opus 5.5以76.28分位居多模态模型榜首,GPT-6 Astra以75.99分紧随其后。尽管大模型在指令跟随上表现优异,但通用操作成功率仍远低于专业具身策略模型,且在视觉干扰下的性能衰减明显,精准抓取与连续动作执行仍是主要瓶颈。
AA-PersonalityBench 通过 8 个人格指数和 30 个性格特质评估 AI 模型,利用 900 道题目和模型评审团计算 Elo 分数,并按百分位排名(1-100)展示结果。 该基准还测量 21 项沟通特征,支持自定义特质权重(-2 至 +2)进行排名,并通过聚类算法识别模型家族。 用户可对比任意两个模型在某特质上的表现概率,观察置信区间及模型指纹。
研究显示编程语言显著影响编码智能体的 Token 消耗成本,且该差异在五个最新模型中表现一致。 通过 Python、Java、Rust 和 OCaml 的实验发现,智能体常在陌生语言中生成非编译代码,并倾向于用 Python 原型代替目标语言。 研究提出按语言进行 Token 效率基准测试,为多语言智能体开发提供指导。
研究提出人类中心评估协议,对比8个视觉语言模型与人类在可视化理解任务中的响应模式。 实验显示模型平均表现劣于人类,且错误模式与人类显著不同;尽管总体相关性较弱,该协议旨在筛选能模拟人类认知过程的科学模型。
P2NPCBench 基准测试显示,在对抗重写后的 NP 完备问题上,所有模型得分均低于其 P 类孪生问题(35.4% 对比 63.8% 通过率),95.1% 的模型族对均在 NP 侧失败更多。
研究提出操作级测量框架,以弥合大语言模型(LLMs)基础能力与 Agentic 能力间的差距,并发布在 $\tau^2$-Bench 上的实验代码与结果。 框架将模型表征为基础能力画像和交互轨迹生成的操作画像,通过定义能力实现差距,揭示了同等基础画像模型在执行表现上的显著差异。 实验表明,操作画像能补充信息并显著提升任务评分预测准确性,帮助在操作层面定位执行偏差。
研究人员提出 Omnilingual-MsASR,这是覆盖 6 种语言、最长 30 分钟及 20 位说话人的多模态长音频多说话人自动语音识别基准。 该基准提供并行音视频输入,用于评估模型跨模态一致性及利用互补线索的能力。 对领先全模态大语言模型的评估发现,其 tcpWER 常超 100%,凸显了时间定位与说话人区分等挑战。
norregel 构建了一个包含 916 项的挪威法律数值基准,用于测试模型在特定日期回答数值(如金额、百分比)的能力。 该基准通过两次预注册运行评估了多个模型,其中 Opus 5.5 和 Sonnet 4.6 在主要项目上的正确率分别为 46.7% 和 40.2%。
AlignGemini 通过正交监督解耦(Align, Don't Blend)解决 AIGI 检测泛化难题,在五个真实场景中提升 9.5%。 该方法让 VLM 仅接收语义监督,视觉专家仅接收伪影监督,无需复杂训练策略即可基于两个生成器实现跨生成器泛化。 研究同时引入覆盖八个当代生成器的诊断基准 AIGI-Now,以支持细粒度的检测能力评估。
DFAH-Bench通过重放实验和银行任务测试,揭示金融智能体决策一致性无法建立可靠性。在570个重放片段中,决策一致率为94-95%,但工具路径一致率仅为45-52%。评估需结合具体执行动作、证据规则及任务完成度,以识别系统性遗漏。
研究人员提出 Rule Violation Score (RVS),一种独立于预测精度的互补性评估指标,用于量化预测模型对预设逻辑规则或领域特定约束的遵守程度。
研究者发布 Quant-Arena,这是首个针对A股真实数据端到端量化研究的大语言模型基准与公开榜单,评测了包括 GPT-6 Astra 在内的9个前沿模型。 该基准包含基于订单簿的交易成本,以超额收益为核心评分;结果显示 GPT-6 Astra 得分最高,但所有模型均未跑赢等权市场。
在 LIBERO-10 机器人操作基准测试中,研究人员构建了统一的闭环操作框架,评估了 6 款前沿 AI 模型在未进行任务特定微调的情况下直接控制机器人的能力。
研究团队发布了FrontierCS 2,这是一个包含48个开放性任务的评测基准,用于评估LLM Agent在计算机科学与研发中的贡献能力。该基准要求Agent在现有研究代码仓库中提交补丁,最终通过保留的测试集进行评估,任务涵盖机器学习系统、高性能计算、数据库、安全与机器人等13个领域。
研究指出基准测试隐含了对难度的经验测度,并定义了测度不匹配和覆盖缺口两种失败模式。 在7个领域、25个基准上的实证分析显示,许多基准隐式地过度加权了特定的难度区间,且存在大量未覆盖区域。 该研究提出了BenchFill算法,通过重写题目有效减少局部覆盖缺口,为基准评估提供了诊断手段。
VerifierBench 基准测试显示,19 个模型在生成可执行验证器时归一化平衡准确率介于 10.6 至 62.1 之间。该基准包含 222 个任务及 4,993 个隐藏测试用例,验证器更可靠地拒绝无效解,但常因过度限制导致有效解被拒。
TIDE 提出将诊断评估重构为行为驱动的决策树归纳,通过层级能力树实现细粒度能力诊断。 该方法利用 LLM 裁判提出候选分裂,并基于行为信息增益选择最优分裂,在五个模型和四个基准测试中揭示了聚合分数无法识别的能力差异,例如 Claude Opus 4.6 在微观经济市场推理中达到 100% 而 GPT-5.4 为 83.3%。
提出 UserSWE 基准以评估编码智能体在多轮对话中修复仓库级 Bug 的能力,涵盖 42 个仓库的 72 项任务。 测试基于 20,859 个开发会话校准的 persona chain,每轮执行测试并由双智能体判定结果。 评估显示 Claude Fable 5.1 在单轮解决任务最多,GPT-6-Astra 在八轮时表现最佳,证明单轮性能无法充分表征交互能力。
研究者构建了 REPOCOD 基准,包含 11 个真实项目中的 980 个 Python 全函数生成任务,其中 50.8% 需要仓库级上下文。 该基准配备 314 个开发者编写的测试用例,评估发现 10 个大语言模型均未超过 30% 的 pass@1,且检索增强生成优于依赖上下文。 这表明当前模型在真实软件开发场景中表现有限,需构建更强 LLM 辅助开发者。
研究团队发布 SciFigBench 基准,旨在评估视觉语言模型(VLMs)对复杂科学方法图表的理解能力。该基准包含 4,352 张图表和 40,670 个 QA 对,核心考察密集内容感知、视觉关系理解及信息流追踪。
RealControlBench 发布,评估 LLM 及智能体在五种行为维度上的细粒度转向效果。 该基准扩展至多轮执行交互,共同评估目标可控性与能力保留,考察转向效应对提示、领域及架构的鲁棒性。 现有转向方法在真实控制目标中不可靠,常导致模型基础任务性能显著下降。
CultureLens 基准测试发现,当提示中提供矛盾规范时,Llama-3.1-8B 等大语言模型的对齐回答准确率下降 32 至 47 个百分点。 模型在缺少国家信息时默认使用英语文化规范,且倾向于接受陈述的规范而非判断其真实性。通过有监督微调矛盾规范示例,对齐准确率可提升至 85 至 93%。
研究通过 70 个学术提示词对比了 ChatGPT、DeepSeek V3 等 10 款大语言模型在幻觉与响应偏差上的表现。 Perplexity 和 DeepSeek V3 整体准确率最高,LLaMA 3 幻觉抗性较强,Falcon 实现零幻觉但召回率最低。 结果揭示了响应完整性与事实可靠性之间的根本权衡,且受提示词复杂度显著影响。
研究提出包含 108 个真实表格的基准数据集 STRABLE,评估了 445 条处理字符串与数字表格的数据流水线。 实验发现:对于类别主导的表格,结合简单字符串嵌入的专用表格学习器能以低计算成本获得良好预测;在自由文本主导的表格上,大型 LLM 编码器表现出竞争力,且性能受后处理影响。 STRABLE 为研究“字符串表格”学习提供了基础,其通用可泛化的流水线排名接近预言排名。
针对最广泛使用的 LLM 反编译器评测基准 ExeBench 的保真度缺陷,研究者发布兼容修订版 ExeBench-FHD。该版本新增调用处汇编、数据段等 16 个新字段以修复测试有效性问题。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,支持直接在企业数据库上通过单次前向传播完成预测,无需任务级训练或特征工程。该模型在 15 个关系型数据库的 41 项任务上超过监督式关系深度学习模型和专家构建的梯度提升树管线;在 SAP SALT 基准上比 AutoGluon 集成模型的 MRR 高出 8%。
推荐理由:Kumo Relational 作为无需训练的预训练关系型基础模型,给出了 41 项任务上的具体性能数据,可作为替换生产级特征工程管线的参照。
Who's Winning AI 发布了一个实时记分牌,通过7日平均的“能力、发布速度、资金”综合指数为AI实验室排名。排名显示 Meta 的 Muse Wonder 以 94.3 分位列第一,Anthropic 的 Claude Opus 5.5 以 91.6 分排名第二。
无界动力正式发布并开源 MWA™-Phoenix 隐空间世界模型基座,该端侧 7B 参数模型在 LIBERO-Plus、LIBERO-Pro、RoboCasa GR1、Bench2Dex、RoboTwin 2.0 和 RoboDojo 真机榜等六项评测中均取得领先成绩。