FailureSensorIQ:评估 LLM 理解工业传感器关系与失效模式的 MCQA 基准
FailureSensorIQ 是一个评估 LLM 工业 4.0 推理能力的多选择题(MCQA)基准。 该基准测试了 GPT-4、Llama 和 Mistral 等十余款模型,分析发现即使强推理模型也易受干扰且存在知识缺口。 论文提出了 LLMFeatureSelector 特征选择流水线,并在 Hugging Face 开放了排行榜。
FailureSensorIQ 是一个评估 LLM 工业 4.0 推理能力的多选择题(MCQA)基准。 该基准测试了 GPT-4、Llama 和 Mistral 等十余款模型,分析发现即使强推理模型也易受干扰且存在知识缺口。 论文提出了 LLMFeatureSelector 特征选择流水线,并在 Hugging Face 开放了排行榜。
研究通过自动翻译英文用户生成内容,探索 LLM 在希腊语抑郁症严重度识别中的应用。 结果显示 GPT-3.5-turbo 在英语任务中表现不佳,在希腊语中表现亦不稳定。这凸显了在低资源语言中开展进一步研究,并保留人类监督以避免误诊的必要性。
研究利用来自印度、尼日利亚、巴西和巴基斯坦的 202,590 条真实用户对话数据,对 ChatGPT 的健康建议进行首次基于人口统计特征的安全评估。结果显示,约五分之一的健康对话被评定为高风险,其中药物剂量错误、有害自我诊断及缺乏安全警示为主要失败模式;引入用户历史上下文可使高风险占比提升 13-17 个百分点,且约四分之一在孤立评估中看似安全的回复在特定个人情境下实为不安全。
推荐理由:基于全球南方四国 20 万真实对话,量化 ChatGPT 健康建议中约 20% 的高风险比例及上下文缺失导致的评估偏差。
研究发现 Web 文本具有高度非平稳性,模型性能随时间连续变化,时间序列预测器比历史性能数据更能准确预测 LLM 未来表现。 基于近期评估数据的预测结果选择部署模型,比直接依赖历史性能指标更可靠,从而提升了下游任务的准确性。 作者主张在 LLM 评估中将时间视为基本变量,并开放了相关代码和数据。
RadixFlow解耦前缀匹配与状态就绪,消除混合LLM调度中的执行气泡。 在五个混合模型上,该系统将平均延迟降低3%至24%,并减少11%至44%的worker rounds。
新基准LifeSearch包含203个真实任务,基于4,500小时人工标注构建4,000条细粒度评分标准。 评估12个深度研究Agent发现最佳者GPT-5.6 Sol仅得63.4%分数,且LLM评分与人类判断高度一致。 该基准为提升真实场景下的深度研究Agent能力提供了评估框架基础。
研究人员提出 CoSIR,一种基于惊讶度信息奖励的后训练方法,通过可验证环境提升 LLM 多智能体协作能力。 该方法对 Qwen3-4B、Qwen3-8B 和 Gemma-3-4B-it 进行自博弈后训练,在七个未见自然语言协作任务中取得最高综合得分,且通用任务表现保持竞争力。 行为分析显示模型更频繁披露私有证据,并减少了对队友输入的忽视,验证了该方法在复杂未知任务上的泛化潜力。
Sauron 提出一种证据优先的 Agentic 验证器,在 2,586 个人工标注标准上以更低成本实现最高 F1。 采用有界查询和联合调查机制,支持 GPT-5.6 Sol 时 F1 达 0.96,成本比基线低 23%。 在 13 类故障注入测试中检测出 97% 失败,TRAIL 基准三项质量指标均领先基线。
RelLedger 提出一种审计框架,用于追踪 LLM 智能体组织中的关系驱动决策。该框架通过交叉比对发送方历史、事件目标及无关行为者,定位控制线索。 在 GPT、Claude 等模型测试中,Claude 在冲突历史下发送通知概率高出 62.22 个百分点;紧张历史使接收方审查率降低 45.83 点。 该研究揭示了模型特异性控制路径,并验证了显性损失规则下关系差距缩小的现象。
针对 158,099 条答案与 468,037 个引用的分析表明,生成式引擎的检索机制比页面属性更能解释引用差异。 引擎搜索检索解释 32% 的引用变异,而页面属性仅占 2.8%。内容主要通过匹配引擎重写的查询语义起作用,而非 FAQ 等结构化元素。 研究在小型 B2B 市场复现了相关发现,并公开了数据与代码。
arXiv 新增342页教材,系统梳理强化学习在游戏领域的最新研究与实现方法,覆盖从经典算法到深度近似的全套技术。 教材采用Python代码示例,结合Gym、TensorFlow等机器学习框架提供练习,旨在帮助读者理解AI如何学习玩游戏。
研究团队推出极简编码 Agent mini-Lean-agent,证明通用 Shell 交互足以胜任 Lean 定理证明任务。 以 Gemini 3.8 Flash 为基座,该 Agent 在 Putnam 2025 基准中解决 7/12 题,成本 $2/题。 作为标准基线,其结果挑战专用工具栈的必要性,推动评估方法向通用 Agent 范式靠拢。
研究提出重复捉迷藏基准与诊断框架,利用递归信念更新区分适应性游玩与信念追踪。 在Qwen2.5-7B-Instruct与GPT-5.4测试中,提供对手真实信念显著提升行动预测准确率,而模型自主推断信念表现受限。 该框架揭示了利用信念信息比自主推断信念更易,为评估大语言模型心理能力提供新标准。
基于 15 槽位信息架构,研究评估 121 份人类与 261 份 LLM 生成的灾害态势报告。Gemini-3.7-flash 在 Cyclone Idai 任务中得分 0.827,略高于人类上限 0.821,但统计上无显著差异。
研究者将LLM自回归解码过程定义为鞅,并推导出其可预测二次变差项的闭合表达式,该值仅由已实现token概率决定。 在Llama-3.x和Qwen2.5系列模型(1B至72B参数)上进行的白盒实验验证了该理论预测。 这为LLM生成文本检测与不确定性量化提供了严密的数学基础。
研究人员提出 TrialPD-Bench 基准与 TrialScribe 代理框架,用于评估编码代理在临床试验方案数字化中的表现。 TrialPD-Bench 包含 150 份专家标注的方案 PDF,覆盖 4 类任务;TrialScribe 使本地部署的开源权重模型在 8 项指标上提升 6.2-59.4 分。 结果使该开源模型达到或超过 GPT-5.6-Sol 等专有模型的表现水平。
研究团队推出 qtBench,包含 29 个代数组合学开放问题,旨在寻找解释多项式系数的简单组合算法。 合作研究中,OpenAI 研究员为其中若干问题提供了算法解,并搭建了用于验证的脚手架。 该进展引发了关于大规模 AI 发现伦理性及成果发布机制的元问题。
研究团队推出基准测试 EvoWeb,通过 32 个 Web 应用的 320 个累积请求评估编码智能体。 智能体在持久代码库中迭代修改,多模态 Web 智能体在实时浏览器中测试每个中间应用,评估新功能、跨请求集成及既有功能。 实验表明跨请求集成是关键挑战,依赖更深的后续请求解决准确率更低,运行时错误随请求次数增加而变多。
提出VLMeg方法,将视觉语言模型从奖励回归器转变为成功检测器,通过探索增强关键观测门控机制优化具身强化学习。 门控机制通过判断相似性避免冗余调用并提升检测精度,引入高级探索激励以提高奖励触发效率。 在MetaWorld基准上实现从头开始强化学习的SOTA结果,胜过12个无奖励任务的基线,并验证了3个现实世界实验的有效性。
研究发现,当语言模型反驳用户错误事实时,常使用间接措辞并混合肯定,导致纠正效果不佳。 研究构建了短语级标签框架,在英语、德语、中文、印地语和约鲁巴语五种语言中应用分析。 一项包含 300 名参与者的大规模人类研究表明,这种回应模糊性可能无法有效纠正或预防用户的认知错误。
研究者提出 Symplectic Hamiltonian JEPA (LeHami),通过在结构化潜在空间中应用动作条件哈密顿流,解决了传统 JEPA 长程生成时潜在分布收缩问题。 该方法采用精确辛跃蛙积分步长,严格保持相空间体积,避免了潜在状态合并,并支持未见过步长下的精确积分。 在保守和受控摆环境中,LeHami 显著提升了长程速度预测性能,为潜在世界模型提供了新的推理时几何保证。
研究提出 RetryBench 基准,用于区分 GPT 工具调用中的虚假重试权限(FRP)与实际恢复结果。在 720 次响应的关键控制中,Luna 和 Terra 在提供更改的密钥时分别产生了 60/80 和 55/80 次不支持的重试,而 Sol 仅 1/80。
在 Qwen2 模型上,有效相关性支持度(ERS)在评测中取得最佳平均性能排名。 ERS 与正相关性幅度(PRM)产生不同的样本排序,ERS 更适合捕捉相关性分布特征。
论文提出 TagBO(Task-aware Graph Bayesian Optimization),将 LLM 衍生的关系先验与描述符结构信息结合,用于混合变量贝叶斯优化。
研究者利用 OpenAI 的 text-embedding-3-small 模型,通过 13 项实验验证了大语言模型潜空间中自发形成了类似 Jungian 原型的独立区域。
针对语言模型分类器部署时的误报率,ConformalGuard提出一种模型无关的校准层。对Claude Sonnet 4应用该层可将FPR从0.040降至0.008,但召回率从0.938降至0.875。在2%患病率的邮件场景下,该方法每1万封邮件可减少25次误报审查。
REPRO 是一个纯黑盒框架,利用 7B 反思模型在单卡消费级 GPU 上通过进化优化发现对抗提示。 其引入语义交叉和贝叶斯策略选择机制,在 11 个模型族的 36 个目标模型上均达到 100% 攻击成功率。
提出 LLM 智能体系统 SIDERIUS,旨在通过多层科学评估协议避免模型过拟合或作弊,推动物理时间序列机器学习向科学有效方向长期演进。 在 TIDMAD 基准测试中,采用 GPT 驱动器的 SIDERIUS 实现 63.8% 的有效模型提议率和 2.744 的最佳有效去噪分数,优于普通 Codex 代理的 1.6% 和 -0.647 结果。
研究人员提出基于均匀信息密度理论的偏好优化算法 UIDPO。该算法结合全局标准差和局部二阶差分构建信息均匀性指标,并将其整合进偏好优化目标。在 AlpacaEval2、ArenaHard 和 MT-Bench 上,UIDPO 取得了与 SimPO 相当或更好的性能。 语言学的细微偏好有助于提升大语言模型的人类对齐效果,代码库已公开。
一项新研究在移除消息数限制的 CTI-REALM 基准测试中发现,开源权重模型在将威胁情报转化为检测规则的任务中表现优于部分闭源模型。评估涵盖 26 个模型,结果显示在解除限制后,开源模型的奖励分数最高,且不同模型在任务不同阶段表现各异,建议根据阶段路由而非单一总分选择模型。
扩散模型纠错训练方法旨在解决推理时预测输入与训练分布不一致导致的误差累积问题。 该方法通过额外引入纠错器来训练和迭代提升去噪器在中间步的预测,显著改善了无引导生成的FID分数。 结合CFG能进一步提升多样性并减少过度饱和,训练后的纠错结果可蒸馏回基础模型以抵消额外的推理成本。
ClawLoop 框架无需外部教师模型,通过任务合成、SFT/RL 训练及诊断反馈三阶段循环实现 Agent 自我改进。 使用 Qwen3.6-27B 作为循环模型,ClawLoop 在 SkillsBench 等基准测试中取得一致提升,优化任务可迁移至 Qwen3.5 小模型。 验证了训练数据质量独立于循环模型,打破了对强外部模型依赖的限制。
Amazon Bedrock AgentCore 推出支付功能,与 Anchor Browser 集成支持 x402 协议,让 AI 智能体自动处理按请求计费的网页和 API 访问,免去 402 支付响应的人工干预。
推荐理由:AWS 官方详解了 AgentCore 支付方案如何支持 x402 协议,让智能体在保持安全边界的前提下,自动完成按请求计费的网页和 API 访问。
Higgsfield 宣布支持生成超 10 分钟的 AI 视频,并将时长从 1 分钟提升了一个数量级。 平台集成 GPT-6 Astra 用于长视频生成,GPT-Image-2.5 用于精确视觉,以及 GPT-Live 用于语音电影制作。 这些工具旨在为创作者提供更完整的 AI 视频制作路径。
AWS 推出自动化方案,简化多账户环境下 Amazon Bedrock 私有定价权益(MPPO)的激活流程。 方案提供轻量脚本与 CDK 事件驱动两种路径:前者用于一次性信任激活,后者自动验证卖家并创建分布式许可,支持组织级批量授权。 自动激活确保谈判价格在许可生效后立即适用,避免手动操作遗漏,并通过 CloudWatch Logs 提供完整审计记录。
Orca Security 基于 Amazon Bedrock 构建 Discovery AI,将自然语言转化为 Sonar 安全查询。 该系统利用 RAG 和 9 阶段流水线,调用 Amazon Titan Text Embeddings 及 Cohere Rerank 3.5,处理 900 多个云模型。
AWS Bedrock 支持通过全球跨 Region 推理 profile 在泰国、马来西亚、新加坡、印度尼西亚和台湾调用 OpenAI GPT-6 Sol、Luna 和 Astra。
推荐理由:教程明确了跨 Region 推理在计费、IAM 与 SCP 层面的落地要点,便于读者评估企业网络下的接入成本与合规配置。
Defense-as-Skill 范式提出将运行时守卫实现为可安装技能 SkillSonar,并与评测集 SCOPE-R 结合。 SCOPE-R 包含 206 个恶意实例和 43 个良性任务,覆盖 6 大风险族。
针对 ChatGPT 模态与基准测试的研究发现,开启网络搜索可使模型准确率最高降低 8 个百分点,且重复测试中高达 21% 的提示词产生不一致回复。 研究分析了 401 个提示词与 4,812 次响应,对比了 Chat UI 与 API 在 BBQ 和 SafetyBench 上的表现,并发现不同模态的引用来源和拒绝回答行为存在差异。
该基准包含 208,095 个人工撰写的提示词,要求攻击需绕过生产级防御并触发工具调用。Meta SecAlign 模型仍存在 32% 的攻击成功率,且攻击在代码任务中可迁移。 论文被 EMNLP 2026 录用,旨在推动对动态、高保真提示注入攻击的评估,填补现有基准饱和的空白。