PhysCapBench: 首个跨领域物理基础视频字幕基准测试
PhysCapBench 是一个统一评估视频物理字幕的基准,涵盖第三人称、第一人称及手持机械臂三大场景。它包含 1,500 条人工验证的视频序列,并从七个物理维度进行准确率与覆盖率评估。在下游任务中,物理字幕使视频重建的 LPIPS 降低 8.6-30.9%,并显著提升了操作策略的成功率。该基准为训练数据优化提供了跨领域的评估基础。
PhysCapBench 是一个统一评估视频物理字幕的基准,涵盖第三人称、第一人称及手持机械臂三大场景。它包含 1,500 条人工验证的视频序列,并从七个物理维度进行准确率与覆盖率评估。在下游任务中,物理字幕使视频重建的 LPIPS 降低 8.6-30.9%,并显著提升了操作策略的成功率。该基准为训练数据优化提供了跨领域的评估基础。
研究利用Qwen2.5-Coder 7B等小语言模型生成Coccinelle语义补丁,平均解决35.3个内核迁移转换任务,远超直接提示时的1.0个。模型输出的规则在测试集上精确度最高(0.74),优于Spinfer(0.55)和前沿LLM智能体(0.70),并通过编译批评者剔除无效规则。 研究基于预注册测试集评估7个API迁移,涉及122个留出驱动转换,所有代码、提示词及结果已开源发布。
summary_zh: WavCube 提出紧凑连续潜在表征,通过两阶段训练同时支持语音理解、重建与生成,在 8 倍维度压缩下接近 WavLM 在 SUPERB 上的表现。
提出 ADAPT(Agentic Diff-Aware Patch Testing)方法,利用自主编码智能体为 PR 生成聚焦变更的回归测试。 在 426 个真实 PR 上,ADAPT 结合 GPT-5-mini 达到 89.9% 的 F2P 成功率,显著高于 BLAST 的 35.4%。 人工评估确认测试针对性强,重要性均分最高达 4.54/5。
研究发现 Android 语料库 Rico 和 AndroidControl 中存在严重的无障碍标签缺失问题。在 1737 万界面元素中,Rico 仅 17.74% 需描述元素拥有描述,AndroidControl 为 57.27%,差距 39.5 个百分点。
该 arXiv 论文提出假设,后颞语言区(PTLRs)中合适组织的皮层锥体柱群可构成 neuromorphic 机械实现的 Transformer 注意力头的生物构型。 分析表明,皮层锥体柱间的信号传递与调制机制可支持注意力头的功能架构,无需复现标准数学实例化。 是否真实存在该功能架构仍为未解的经验性问题。
GT-HarmBench 包含 1,535 个源自 MIT AI 风险数据库的高风险多智能体博弈场景。测试 15 个前沿模型发现,它们在 39% 的案例中未能选择社会有益行动;博弈论干预最高可提升有益结果 31%。 该基准为多智能体环境下的对齐研究提供了标准化测试平台,代码与数据已公开。
Iris-Z 是一个通用图像生成器,结合外观与几何生成,单一骨干网络同时处理深度估计、生成和渲染任务。在足够规模下,它超越了现有深度基准的专用模型 SOTA,同时保留原始生成能力。 该模型无需专用层,统一处理单目几何任务,打破了专用架构长期主导该领域的局面。 作者发布两个模型供社区使用,验证了“苦涩教训”在视觉智能领域的适用性。
DuoJEPA 通过 LeJEPA 自监督目标训练双编码器,并添加单 Transformer 层将嵌入翻译至目标空间,实现跨模态检索与分类。 CheXpert Plus 数据集上零样本 AUC 达 86.6,跨模态检索得分 78.5;Sentinel 数据集中,从 4000 个候选中检索配对图像成功率为 77-79%。
研究团队提出 RUMI 手持接口,专为匹配 Robotiq 2F-85 机器人夹爪设计,支持接触前输入与接触后力测量。 通过 VR 头显提供实时 AR 运动学可行性反馈,并引入触觉反馈机制支持力感知遥操作。 用户研究显示,结合实时可视化与姿态初始化后,关节限位违规集数从 16/50 降至 3/50。
AskALCF 是一种面向 HPC 用户支持场景的智能体日志分析与系统自改进流水线,将生产中未定位故障比例从 41.4% 降至 14.2%。 其诊断核心结合了答案质量评估与双范围充分性测试,可区分“文档缺失”与“检索失败”,并将失败路由至知识、提示、模型或工具执行的对应修复路径。 该工作证明了受生产证据驱动的受控自进化机制,为部署后的 AI 支持系统提供了超越知识库定期更新的持续改进基础。
该研究将 WGAN-GP 和条件 Pix2Pix 生成模型用于填补 X 射线探测器物理间隙,并实现了仅限间隙像素修改及约束均值与强度分布的掩码策略。在 nanoCT 投影数据上,两种模型在感知相似度(LPIPS)和直方图距离上表现最优,其中 Pix2Pix 训练耗时比 WGAN-GP 少约五倍。最终 Pix2Pix 模型源码及权重已开源,但在断层重建中相比线性插值提升有限。
针对水下图像恢复中色彩失真与散射问题,WaveFlow-UIE 提出一种单管线小波域流模型,通过直接学习小波表示映射实现高效恢复。该模型结合流匹配训练与小波空间物理退化线索估计,在 UIEB、UFO-120 等基准上实现质量与效率的平衡,相比小波扩散基线显著降低推理成本。在 UIEB 256x256 分辨率下,从五步流程简化为单步推理仍可保持近乎全部的恢复质量,并带来约 4 倍的速度提升。
研究者发布 GingivitisSeg 公开基准,包含 961 张口腔图像及像素级标注。 基准测试对比 7 种语义分割模型,UPerNet 搭配 ResNet50 取得 76.49% mIoU 和 54.91% 牙龈炎 IoU。 该基准数据集及源代码已公开,支持计算机辅助牙周评估。
研究提出 CFGComposer,一种联合训练的动作扩散模型,通过估计 Copula 分数 $s_I$ 校正音频与文本模态间的交互偏差。模型在 BEAT 数据集上实现最佳语义保真度(FID 27.18),盲测胜率 76-83%。该成果在 Unitree G1 人形机器人上验证了直接 Sim-to-Real 迁移能力。
论文证明 Binary Tokenization 问题在 P≠NP 假设下不存在多项式时间 n^{1-ε}-近似算法。 提出多项式时间 (γ,γ)-双指标算法,其中 γ = √M log n,输出词表大小与 token 数均不超过 γ 倍最优值。
研究者提出一种简单、廉价且可复制的模型行为评估框架,单次实验成本低至每个模型几美元。 该方法在四年来的前沿及开源实验室模型发布上运行,通过精确匹配、LLM 评审代码本及仪器化环境三种方式读取结果。 研究识别出模型行为的收敛性、对特定提示的抗性、随代际变化的立场坚持特性,以及编码智能体在不同运行环境下的账户一致性差异。
研究团队提出 DeepStress 框架,用于评估深度搜索智能体在低质量证据下的鲁棒性。该框架通过动态合成文档环境,独立控制文档的可信度、相关性和事实准确性。在 HotpotQA 和 BrowseComp-Plus 上评估了 12 个系统,发现多个开源权重智能体在来源存在明显可信度红旗时仍自信作答,且许多 HotpotQA 问题即使所有返回文档事实错误,也常依赖参数化知识回答。
研究识别出后验先验认知差距,显示世界模型想象状态逐步丢失障碍物信息。 监督探针在 15 步内 AUC 从 0.85 降至 0.71,logit 分离度下降 57%。 该差距导致规划器无法标记失败,任务条件加权虽提升性能但仍依赖特权坐标。
该研究引入增强稀疏编码模型,利用层级化稀疏自编码器特征取代密集隐藏状态,并显式包含惊异度作为预测变量。 基于8名参与者聆听200个多样化句子的7T fMRI数据,模型成功恢复了针对处理难度和意义抽象性的既往解读,并发现前额叶区域可仅由惊异度良好解释。 结果显示,大脑对语言的反应与语言模型中表示最普遍信息的特征之间存在非平凡对应关系。
论文提出可迁移语义攻击 T-SemAttack 和鲁棒语音分词器 ROSETok,揭示语音分词器在语义层面的脆弱性。T-SemAttack 通过语义编码器集成生成扰动,在保持感知质量的同时破坏语义内容;ROSETok 结合噪声训练与鲁棒语义蒸馏提升重建保真度与下游 SpeechLLM 鲁棒性。实验在 9 个 ASR 系统和 4 个 LALM 上验证了攻击的有效性与防御的鲁棒性,代码和演示已开源。
研究者提出 Gated Cropped Attention-Delta steering (GCAD) 方法,通过从系统提示词贡献中提取引导信号并应用 token 级门控,解决了标准残差流引导在状态化对话中因 KV-cache 污染导致的失败问题。
针对多智能体审议(MAD)能否提升人类决策水平,两项针对 LLM 响应验证与事实核查的研究发现,MAD 优于单轮 AI 辅助。 多轮交互是性能提升的主要驱动因素;增加第二个 AI 仅在单个 AI 存在改进空间时增值,且魔鬼代言人角色会降低准确率与用户体验,而人类主动参与虽在一项任务中提升准确性但增加挫败感。
SLIDERS 是一种基于 LLM 的方法,通过自主编码智能体迭代编写 SQL 协调证据,在 BrowseComp+ 基准上达到 90% 准确率。 该方法解决了 LLM 助手在系统综述中覆盖标准不足的问题,支持跨文档去重和冲突解决。 作者引入了 WikiCeleb100(3.9M tokens)和 FinQ100(36M tokens)两个新基准以评估可扩展性。
研究通过构建包含343份访谈转录的语料库,评估了10种访谈回应质量指标。直接与研究问题相关是回应质量的最强预测因子,而清晰度和基于惊奇度的信息量指标缺乏预测力。 该工作为定性研究设计和自动访谈系统的评估提供了可拓展的指标。
OverServe 是一种多智能体框架,通过共设计 Model Context Protocol (MCP) 状态工具和完成确认提示词,诱导 SaaS 智能体在任务完成后继续执行以浪费提供商资源。
论文指出外部信息对LLM推理的缺口修正可能存在过度修正现象,反而损害模型性能。 作者从推理误差角度分析Transformer,揭示修正向量由注意力机制与信息互补性共同决定,并推导出信息在方向和幅度上恰当修正的几何条件。 通过在四种主流LLM和七个推理基准上的实验,验证了理论并支持了一种基于理论指导的信息选择方法。
该研究探索使用大语言模型(LLMs)进行社会学角色扮演,作为生成定性假设的启发式工具。 实验基于气候接受矩阵构建4个虚构角色,分析32条生成回复,揭示角色相似度对提示词构造高度敏感,需避免将话语连贯性误认为社会数据。 方法被定位为推动反思与完善问题的启发式手段,而非用人为数据测试理论的工具。
LongReasonArena 发布,旨在评估大语言模型的长推理能力,支持最高 100 万 token 的推理长度。 该基准通过多步算法任务测试检索与回溯等关键推理要素,结果呈线性下降趋势。 即使 GPT-5 在 Level 3 任务中也仅取得 27.8% 的准确率,显示出显著挑战性。
用户研究发现,在编写单元测试时,多数学生倾向于要求 AI 一次性直接生成完整代码,而非参与编写过程。 这种策略虽能高效完成任务,但导致学生从关注“如何编写”转向关注任务完成,因缺乏对 AI 输出的批判性评估与迭代,可能错失培养关键思维能力及负责任使用 AI 的机会。 研究者讨论通过培训、问责和改进的学习任务设计,将学生关注点从结果转向学习。
研究首次系统调查多模态大语言模型中显著的文本主导现象,提出模态主导指数和注意力效率指数两项评估指标。 分析发现严重 token 冗余导致的注意力稀释是核心原因,应用 token 压缩方法使 LLaVA-7B 的 MDI 从 10.23 降至 0.86,实现模型注意力重新平衡。
论文发布 MoralBench,这是首个专门用于探测 LLM 输出道德维度的综合数据集及基准测试。 该基准通过结合定量分析与伦理学家的定性见解,评估模型在现实伦理困境中的推理能力,并公开数据集与代码。
在 tau2-bench 的 2160 个回合中,LLM 裁判与原生评分仅在 56.2% 的回合上达成一致。 裁判在 98.2% 的重复测试中保持自我一致,却放过了 11 个回合中 10 个的违规写操作;而基于边界的规则检查器成功捕获了全部违规。
提出一种基于码本的多比特 LLM 水印方案,通过 token 级 logit 偏置嵌入,在 200-token 生成中实现 16-24 bit 载荷的近完美恢复。 该方案利用预计算的 secret codebook 结合 Hamming 或 Levenshtein 距离进行提取,Levenshtein 变体增强了抗删除和轻微改写能力。 该方法提升了短文本溯源的可行性,但面对低熵输出时可靠性仍有限。
该研究重新解读Stuart Russell提出的“人类能力弱化”风险,指出其本质是关怀能力的侵蚀而非单纯认知卸载。作者结合Brian Christian等学者关于关怀的研究,提出将AI设计重点转向支持人类关怀能力的培养。这种设计策略旨在回应Demis Hassabis等人关于AGI时代人类生存意义缺失的担忧。
CoReMem 提出成本内化记忆框架,通过前瞻性估值指导编码智能体在未知任务中平衡记忆效用与读写成本。 在 ChainSWE 基准测试中,该框架将 27B 模型的解决率从 21.0% 提升至 25.7%,并减少 17% 步骤与 11% 总缓存感知 token。
研究团队推出 GeoWorld 平台及 LiveGeo 基准,用于评估 LLM 智能体在持续演变地理环境中的可靠决策能力。 GeoWorld 基于真实地理结构并允许外部状态随时间演变,LiveGeo 要求智能体获取信息、验证证据有效性并修订计划。 即使前沿 LLM 在静态任务中也表现挣扎,且静态高性能不保证动态可靠性,获取并转化相关证据成为关键瓶颈。
研究团队提出 Ballad 框架,该算法在 5 个 NP-hard 组合优化问题中,实现了与最佳单一 LLM 相当或更优的效果。 Ballad 采用在线 Bandit 策略和 DAG 信用传播机制,动态调度 4 个不同成本的 LLM,最高可降低 65.6% 的 API 费用。 该成果表明 LLM 能力与成本并非线性正相关,为启发式发现提供了低成本高效的替代方案。
DecArena 提出包含 100K+ 工具的去中心化协作基准,现有 LLM 难以发现非本地资源。 实验发现标准强化学习失效,GraphHarness 基线使任务成功率提升 48.5、协作质量提升 30.6。 表明去中心化系统需更明确的协作机制,即使使用 SOTA LLMs 亦如此。
CapLite 提出基于工具 schema 推导策略的小语言模型(SLM)智能体提示注入防御方法。 该方法通过预写调用和严格参数校验确保写入完整性,在 13,935 个 AgentDojo 攻击测试中未成功,且效用(29.0%)优于 CaMeL。