跳到正文
10月6日周二
  1. arXiv · AI26

    PSI-Bench:可解释且具临床意义的抑郁症患者模拟器评估框架

    研究者推出 PSI-Bench,一个可在轮次、对话和人群三个层面自动评估抑郁症患者模拟器行为的框架,并对两个模拟器框架下的七个 LLM 进行基准测试。 测试发现模拟器回复过长、词汇过于多样、变异性偏低,且过快推进治疗阶段并转向正向情绪;模拟框架对保真度的影响大于模型规模。 人类研究显示该基准与心理健康专业人员的判断高度一致,为未来模拟器设计与评估提供了可解释、可扩展的基准。

  2. arXiv · AI39

    HLE 多选题子集的心理测量分析:维度与测量精度

    一项对 29 个 LLM 在 HLE 纯文本多选题子集上的心理测量分析发现,HLE 由单一通用推理因子主导,领域标签仅解释题目响应主成分 3.5% 的方差。 拟合双参数逻辑 IRT 模型后,域内与域间残差相关性几乎相同(Cohen's d = 0.016);测试信息函数显示测量精度集中在中等能力水平,在 θ = 0 以上急剧下降。

  3. arXiv · AI33

    如何衡量超越人类能力的智能?论文提出对抗式心理测量评分系统

    针对人类编写的基准测试饱和、超人类能力难以评估的问题,研究者提出基于相对测量的新范式:由模型生成能区分其他系统的公开挑战,聚合结果形成可随被测系统扩展的对抗式心理测量评分系统。 论文描述了减少私有信息攻击动机、支持无裁判裁决的实用协议,并在可验证与开放式不可验证领域实例化该框架。 该框架展示了模型生成评估如何持续测量超越人类前沿的系统。

  4. arXiv · AI22

    大语言模型懂八字规则却不会用:Bazi 基准测试揭示理论与案例推理差距

    一项针对传统中国八字的基准测试发现,六个语言模型在理论题上的准确率全面高于案例题,排除无效回答后差距仍达 16.60-29.56 个百分点。 该基准包含 3,000 道中文多选题,覆盖 14 个理论类和 11 个案例类,主结果基于 2,492 题的精炼集;十二长生与纳音平均准确率分别为 89.10% 和 88.62%,而事业与六亲仅 36.98% 和 38.19%。

  5. arXiv · AI20

    MechHypoBench:首个评估AI科学家生成机制假设的基准

    研究团队推出 MechHypoBench,这是首个专门评估 AI 智能体能否从经验数据生成数据驱动机制假设的基准。该基准融合了 14 个科学领域的机制与包含 1798 万条记录的真实数据集。 实验通过检验假设在保留条件下的后果进行评估,结果显示当前通用 AI 智能体生成的假设与真实机制之间存在显著差距。

  6. arXiv · ML20

    BIRD 基准测试:统一评估 LLM 驱动迭代奖励设计算法

    研究团队发布 BIRD 基准测试,旨在为基于 LLM 的迭代奖励设计提供统一配置与评估空间,解决现有方法难以直接比较的问题。 该基准在 MuJoCo、Meta-World、Assistax 和 HumanoidBench 环境中评估发现,少量简单的设计选择组合即可显著优于此前已发布的各类方法。 BIRD 基准测试突出了简单基线的强大性能,为后续研究何时需要更复杂的算法复杂度提供了依据。

  7. Hacker News AI93

    Reflection 发布 501B 开源权重模型 Beam,主打编码与智能体场景

    Reflection 发布其首个开源权重模型 Beam,这是一款 501B 总参数量、23B 激活参数的稀疏 MoE 模型,面向编码、推理与智能体工作负载。模型在 23.8T tokens 上预训练,并使用了 10.5K 块 NVIDIA GB300 GPU 进行 4 周的高强度强化学习,生成超 1 亿条 rollouts。

    同一新闻,精选展示《Hugging Face 开源 501B MoE 模型 Beam》

10月5日周一
  1. R/ArtificialInteligence66

    GPT-6 Astra 无视觉操控魔兽世界通关及 ChatGPT 图像广告测试

    开发者将 OpenAI 的 GPT-6 Astra 连接至开源魔兽世界客户端,模型通过读取原始服务器网络数据包和 SQL 文件而非视觉画面,在 40 分钟内零死亡通关兽人起始区域并自主管理装备。此外,OpenAI 正在图像创作工作流中测试静态图像广告,面向美国部分广告主,免费用户可见而付费用户不可见。

  2. arXiv · ML31

    VisAudit:评估多模态智能体进行视觉诊断与修复的基准测试

    研究人员推出 VisAudit 基准测试,用于评估多模态智能体在图表渲染中的缺陷诊断、代码修复及验证能力。该基准包含 1,900 个带缺陷样本、300 个初始正确图表,覆盖 21 种图表类型及 10 种缺陷类别。实验显示,最强模型在自主修复任务中仅能完全恢复 47.4% 的有缺陷图表,暴露出自主审查能力的显著不足。

  3. arXiv · ML28

    ArrivalBench 揭示 Agent 生成数据管道的时序错误

    基准测试 ArrivalBench 发现,单次运行验证的 Agent 数据管道在重放非理想交付时序时存在 7.0% 至 79.2% 的隐蔽错误率,远超其单次测试的认证通过率。 该研究区分了隐蔽的错误表结果与可监控的崩溃,指出提示幂等性风险虽能将某模型的隐蔽失败率从 48.2% 降至 10.5%,但会导致其崩溃率从 9.0% 激增至 37.0%。