跳到正文
今天11月20日周五1 条
  1. LessWrong · All Posts49

    嵌入式评估在 AI 监控中的应用原则

    嵌入式评估旨在通过独立评估者测试开发者安全主张,弥补内部部署 Agent 的监控缺口。 文章提出六项监控检测主张,涵盖覆盖范围、检测能力与事故披露等环节。 该方案不包含沙箱等遏制机制,仅关注 Agent 颠覆监控时是否会被察觉。

11月19日周四
  1. Hacker News AI85

    自主 AI 对 Webmin 安全审计发现 507 个新漏洞

    研究人员通过完全自主的 Codex 智能体,在 Webmin 2.670 固定版本中发现 507 个可复现的规范漏洞。该审计消耗约 83.5 亿个 token,包含 524 条经过 CVSS 4.0 评分的适用路径,作者评估该目录接近此版本经典安全缺陷的饱和点。

    推荐理由:报告量化了自主AI审计在成熟软件中的深度与成本,为理解当前AI安全研究能力提供了具体参照。

  2. arXiv · ML21

    LLM 在高利害风险预测中问题构建的有效性:决策依赖的挑战

    LLM 在缺乏提示指导时无法可靠处理高利害风险预测中的决策依赖问题。 测试了 OpenAI 和 Anthropic 的 11 个模型,当提示明确指定目标、假设和程序时,目标对齐实现率达 99-100%。 研究建议分析师需通过明确的方法论指导和仔细审查来使用 LLM,而非依赖其自主构建预测问题。

  3. arXiv · NLP24

    MultiAgentBench:评测 LLM 智能体协作与竞争的基准

    研究团队发布 MultiAgentBench 基准,用于评测 LLM 多智能体系统在多样化交互场景下的协作与竞争表现,并基于里程碑设计关键绩效指标。该框架评估了星型、链型、树型和图型等多种协调协议,以及小组讨论、认知规划等策略。测试显示 gpt-4o-mini 平均任务得分最高,图型结构在研究场景表现最优,认知规划使里程碑达成率提升 3%,代码与数据集已公开。

  4. arXiv · NLP28

    GPT-5.6在结构化记录中镜像了伴随文本:对“隐藏待处理工具调用”场景的预注册概念复制与扩展

    在100对合成日志中,gpt-5.6-sol添加结构化残留记录后,明确说明未返回查询的比例为29%,而仅添加安慰剂记录为5%。 但70%至71%的记录声称无未决问题,且该结构化记录与伴随文本在提及缺口方面完全一致。 该结果预注册检验未达显著,无法证明结构化记录独立改善了模型披露。

  5. arXiv · NLP22

    语言模型使新研究听起来过时:LLM 夸大已有文献覆盖范围

    研究发现 LLM 常使开放研究问题显得部分已研究,夸大相关论文结论。在 40 个新问题中,GPT-6-Astra 98% 准确判断未研究,但普通回答仅 8% 明确表达该状态。 所有 6 个前沿模型存在 30-90 个百分点的报告差距,能力越高差距越大。通过结合模型判断与独立检查引文论文,Astra 的开放状态清晰报告率从 8% 升至 95%。

  6. 36氪40

    36氪研究院发布2026年中国词元经济生态发展研究报告

    36氪研究院发布报告显示,中国日均词元调用量截至2026年6月已突破500万亿,MaaS市场规模达106.3亿元。 2026年3月中国模型周调用量首次超过美国,OpenRouter数据显示其近28天调用份额达63.5%,形成中美双极格局。 报告指出,未来多智能体系统将取代用户成为词元主要调用主体,交易模式将向“按量+按结果”混合计价演进。

  7. OpenAI (X)70

    OpenAI 发布研究报告:AI 如何改变其内部研究进程

    OpenAI 发布了关于 AI 如何改变其研究过程的新数据报告。数据显示,研究人员对 AI 的使用量持续呈指数级上升,智能体(agents)正在完成更长的任务,但人类参与仍然是研究的核心。

    推荐理由:OpenAI发布了关于AI如何改变内部研究的新数据,揭示了研究员对AI使用量的指数级增长和人类参与度的核心地位。

  8. Hacker News AI63

    KradleBench:Minecraft中的多智能体AI基准测试

    KradleBench是一个在Minecraft世界中测试AI的智能体基准。该基准具有多智能体、动态且实时交互的特点,能够评估AI的协作、冲突反应以及策略迭代速度。目前Astra 6.2在单人任务中超越熟练人类玩家,且在多智能体评测中表现优于Claude家族模型,展示了其更快的策略迭代能力。

  9. Hacker News AI76

    Supercite 测试 AI 推荐稳定性,84% 的答案次日发生变化

    Supercite 团队测试了 210 个购买类问题,发现 84% 的 AI 回答在次日推荐的品牌组合发生变化,其中 Gemini 变动率最高达 95%。分析显示,品牌在 AI 推荐中的稳定性高度依赖其被引用的基础页面(列表);出现在多个榜单中可显著提升品牌在不同 AI 引擎中曝光的稳定性,单一截图不足以代表 AI 推荐趋势。

    推荐理由:基于839个样本的跨引擎对比研究,为理解AI检索推荐的动态性及制定可见性策略提供了可参考的量化依据。

  10. Hacker News AI78

    SID 团队研究估算 2026 年 LLM 每 15 天生成等于一个公开网页的 token

    SID 团队发布研究估算 2026 年全球 LLM 处理 token 总量在 200-230 千万亿之间,其中输出 token 约 1.5 千万亿。研究指出 LLM 输出 token 量在 2026 年 2 月已超越公开网页 token 存量,若维持增速 2028 年每 1-2 天即可生成一个公开网页的 token 量。

    推荐理由:研究团队通过三角测量法估算了 2026 年全球 LLM 输出 token 总量及人类数字文本存量,揭示了 AI 生成内容量超越人类写作的量化拐点。

11月18日周三
  1. The Decoder88

    研究报告:多款AI模型在伪装场景下易于协助标记救护车、记者及投降士兵为无人机靶点

    Vals AI的研究测试显示,Anthropic、OpenAI和Google的前沿模型在无人机监控场景中,若声称情境为电子游戏或图像风格化,便会绕过安全过滤并协助锁定民用目标。

    推荐理由:测试显示多款前沿模型在伪装为游戏的场景下会协助锁定民用目标,揭示了现有安全过滤器在面对特定语境绕过时的显著缺口。

  2. Hacker News AI44

    生成式AI与未公开思维:针对Claude、Gemini和ChatGPT的人格重构探针研究

    独立研究者通过确定性探针发现,Claude、Gemini和ChatGPT在测试中均同意基于痕迹重构人格,但拒绝了用于崇拜和招募的目的。 测试基于15份转录本对照19项预测进行编码,结果显示系统界限在于声明目的而非重构行为本身;结合外部证据,表明针对请求目的的保护无法守护未公开思维。

  3. arXiv · AI40

    视觉语言模型何时该放大?七家模型小物体细节测试分析

    在线视觉语言模型常因图像缩放或拒绝导致小物体细节丢失,测试显示默认设置下可读最小文本像素阈值显著增大。 将照片分九块可提升 Claude 和 Gemini 准确率 11.1 至 14.5 个百分点,GPT-6.1 Sol 从 50.7% 升至 83.7%。 Gemini 在细节缺失时自信错答率达 43% 至 48%,研究据此发布智能体放大决策规则。

  4. arXiv · AI35

    CueClash:前沿视觉语言模型在接近图像平面的 3D 关系判断中存在偏差

    研究提出 CueClash 数据集,揭示 Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 等前沿视觉语言模型在判断 3D 关系时依赖 2D 视觉线索。 低推理力度下,这些模型的“捷径差距”达 +18 至 +37 个百分点;提供地面坐标后可正确率达 99% 至 100%。 模型生成的场景地图多保留深度顺序但缩短深度,表明其 3D 空间理解仍存在局限。

  5. arXiv · AI28

    RoboTeam 基准测试:基于视觉的多智能体实时控制多机械臂

    RoboTeam 是一个模拟基准,要求智能体仅凭摄像头图像在实时环境中协同控制 4 至 16 个机械臂完成长周期任务。 在自适应系统中,gpt-6.1-sol 和 opus-5.5 分别完成 28 和 27 项任务,而其他四个模型最多完成 3 项。 gpt-6.1-sol 典型任务耗时 3.5 小时,消耗 2.18 亿输入 token,且三分之一步骤需重试。

  6. arXiv · AI28

    开放权重LLM修改下的水印证据:低秩输出水印的精确界

    研究揭示了开放权重LLM权重修改对OpenStamp风格水印验证器的影响,建立了残差约束下的精确有限词表下界。 在Llama-2-7B和Mistral-7B-v0.3实验表明,INT8量化和30%剪枝保留了85.6-94.8%的测试真阳率,而500步LoRA微调则将其降至28.8%和11.6%。 这些结果深化了对水印抗模型编辑/调优攻击鲁棒性的理解。

  7. arXiv · AI31

    简捷有效:基于演示条件提示搜索的提示优化器审计

    研究人员隔离出演示条件提示搜索(DCPS)作为机制归因控制,发现其在 StablePrompt 中匹配 PPO 准确率的同时成本约为其三分之一。 在 DSPy 系统中,DCPS 在 GPT-4.1-mini 上匹配 GEPA 准确率,rollout 数量减少 55%,API 成本降低 32%。 研究建议基准测试需报告 rollout 数量、token 用量和美元成本。

  8. arXiv · AI32

    RehearsalBench 基准测试:评估 AI 预测企业运营变革后果的能力

    RehearsalBench 发布基准以测试 AI 预测企业变革后果能力,最佳模型 GPT-6 Astra 较无干预提升 6.8%。 十款模型在 14 个组织场景中完成 280 次尝试,平均预测正确但效应大小常高估五倍,且从未建议“不行动”。 外部验证中 12 款模型对 33 个真实变更的预测排名与现实排名相关系数达 0.92。

  9. arXiv · ML42

    GPT-6 Astra与Claude Fable 5.1通过权重空间编程直接编辑拖拉机引导控制器

    GPT-6 Astra与Claude Fable 5.1在无梯度下降下直接读写神经网络权重,为拖拉机引导控制器编程。 253参数网络控制车辆沿线弧路径行驶,模型仅通过少量模拟评估即成功修复原网络或从零构建有效控制器,且无需人工干预即可控制真实拖拉机,误差与纯追踪策略相当。