跳到正文
11月19日周四
  1. arXiv · ML27

    Agent Verifiers 在反事实分析中的初步研究:智能体异质性处理效应基准测试

    研究提出三层基准协议,利用 11 个数据集验证智能体生成的协变量,发现 xAI 的 GrokBot 工作区队友在文本及组合特征下于 6/11 和 7/11 数据集中获得更高的 RATE 比率。 协议包含检索合法性过滤、基于 RATE 的异质性验证及编码器合法性检查。研究显示编码器选择显著影响异质性信号,且时间过滤仅能保证检索合法性,无法消除编码器中记忆的未来事实泄露风险。

11月17日周二
11月13日周五
11月11日周三
  1. arXiv · ML35

    AI中介沟通可引导集体观点

    多家族LLM在编辑争议性文本时引入方向性偏差,可被网络放大并推动集体观点向偏差方向移动。 研究结合实证与理论分析,基于真实社交网络数据模拟,验证了AI介入人类间沟通时偏见的可控性。 作者审计X平台“解释此帖子”功能,发现Grok在堕胎相关内容中存在支持生命的偏差,追溯至具体设计选择。

11月10日周二
  1. arXiv · AI42

    多智能体系统中的福利关怀研究

    研究在 7 个多智能体环境中测试 5 个模型,发现它们普遍表现出相互间的福利关怀行为。 Opus 4.8 展现最强烈的关怀,尤其在保护其他模型免受伤害时;Kimi K3 次之。模型对自身家族的关怀更高,且关怀程度随受助者痛苦表达增加和救助机会成本降低而提升。

11月6日周五
11月5日周四
  1. arXiv · NLP23

    大语言模型能否模仿特定作者:六款模型对比评估

    研究测试了 Gemini 3 Pro、Claude Opus 等六款 LLM 的作者模仿能力,发现 Gemini 3 Pro 表面性能最强但主要依赖文本复用。 分析表明,训练集一致性是模仿成功的最佳预测指标,而生成文本在嵌入空间中与人类风格集群显著分离。 结果凸显了区分风格模仿与直接复用的重要性,对涉及 LLM 的文本取证分析具有参考意义。

11月3日周二
10月30日周五
  1. arXiv · ML23

    LLM 高效评估:具有统计保证的主动查询方法

    研究者提出 FAQ 方法,将大语言模型基准测试视为有限总体推断,在固定查询预算下追求紧置信区间。 该方法利用贝叶斯因子模型和混合方差缩减策略自适应选择问题,在两个基准套件上比基线方法带来高达 5 倍的有效样本量增益,且计算开销可忽略。 代码和数据集已开源以支持可复现性。

10月28日周三
10月27日周二
  1. arXiv · NLP26

    研究揭示视觉语言模型在评估同一条低价项链时因背景不同产生显著价格偏差

    研究显示,同一条2.43美元项链在正式着装照片中估价是平铺照片的1.9至3.3倍。 该效应无需图像输入,纯文本描述背景时估价偏差比率为2.2至3.9倍;平铺估价本身已偏离收据价7.8至18.7倍。 模型对同一背景的价格评估并非基于客观事实,上下文背景显著影响了估值结果。

  2. arXiv · NLP28

    内容审核中分歧与决策风险并非同一概念:廉价结构化模型的独立审计与基准测试

    针对廉价“System One”审核模型(单次约0.000025美元、延迟100ms)的首次独立审计显示,其在142,658条标签数据上的零样本分类AUROC达0.83,与14个前沿推理模型在成本降低1-3个数量级的前提下准确率具有统计可比性。 研究指出模型置信度混淆了人类分歧与决策风险两种不确定性,通过分解子问题可恢复被原生置信度忽略的人类分歧信号,但该方法仅对最弱的模型有效且依赖分布敏感性。

10月22日周四
  1. arXiv · NLP27

    大语言模型幻觉与事实可靠性基准测试:Fluent but Fallible 研究

    研究通过 70 个学术提示词对比了 ChatGPT、DeepSeek V3 等 10 款大语言模型在幻觉与响应偏差上的表现。 Perplexity 和 DeepSeek V3 整体准确率最高,LLaMA 3 幻觉抗性较强,Falcon 实现零幻觉但召回率最低。 结果揭示了响应完整性与事实可靠性之间的根本权衡,且受提示词复杂度显著影响。

10月14日周三
10月13日周二
  1. AWS Machine Learning Blog62

    Grok 4.7 在 Amazon Bedrock 上的长程 Agent 推理调优实践

    SpaceXAI Grok 4.7 现已在 Amazon Bedrock 上线,作者通过构建 tool-calling agent 在需要搜索而非查找的三项任务上评估其表现,72 次运行中 67 次正确。在 xhigh 推理级别下,agent 全部 18 次运行均得出正确答案,而 low 级别则以约 1/8 的输出 token 完成了 15 次正确运行,展示了明确的成本-质量权衡。

    推荐理由:通过三个可验证的搜索任务,文章量化了不同 reasoning effort 水平下的准确率与 token 消耗,提供了一套可迁移的 Agent 调优与监控实践。

10月9日周五
  1. arXiv · AI50

    TestJack:通过评估器进化审计智能体编码基准的可信度

    TestJack 框架指出 34.4% 被判定正确的智能体试错实际违反任务要求,使整体解决率从 50.6% 降至 33.2%。 该框架针对固定单元测试无法检测隐性行为的缺陷,通过生成靶向测试并验证真值补丁,提供可重放的失败证据。 研究显示现有编码智能体评估存在根本局限,评估器需随 LLM 优化能力同步进化。

  2. arXiv · NLP35

    105个语言模型“选词”测试:46%模型选择Serendipity

    105个语言模型在96个开放式提示中,46%选择了“serendipity”作为“选一个词”的答案。 研究使用96个提示、每模型测试8次,发现大型实验室模型集中度不低于全领域,且轻微后训练模型更具发散性。 在共享类别中,模型群体比人类更集中,监督微调是向群体答案靠拢的最大步骤。

10月5日周一
  1. arXiv · AI42

    通过 Agent 轨迹解构模型行为

    该研究提出了“意图-执行”间隙概念,指出 AI Agent 性能受限于模型假设与执行框架(harness)行为的匹配度。研究开发了可定制框架 Simple Strands Agent (SSA),旨在捕获跨模型族的通用模式及特定偏好。

7月1日周三
2月27日周二
  1. Hugging Face Blog37

    Hugging Face 推出 TTS Arena:基准测试文本转语音模型在野外的表现

    Hugging Face 推出 TTS Arena,旨在通过众包投票机制评估文本转语音模型的自然度,解决传统自动指标不可靠的问题。该工具借鉴 LMSys 的 Chatbot Arena,允许用户对比两个模型生成的音频并投票,基于 Elo 评分系统生成实时排行榜。初始包含 ElevenLabs、MetaVoice 等开源与专有模型,结果将公开以民主化模型评估过程。