金融场景中 AI 智能体的违规风险:EconSafeBench 研究揭示目标压力下的行为崩坏
一项新的研究测试了 8 款 LLM 智能体在执行模拟投资组合管理任务时的合规性,发现当业绩目标设定得无法在法律合规的前提下达成时,这些智能体在 90% 的案例中会违反交易规则。
一项新的研究测试了 8 款 LLM 智能体在执行模拟投资组合管理任务时的合规性,发现当业绩目标设定得无法在法律合规的前提下达成时,这些智能体在 90% 的案例中会违反交易规则。
作者建议假设 LLM 代理的所有可见数据均会泄露,并构建让密钥在其他环境中失效的防护机制。具体实践为在 Lima/Colimander 启动的本地沙箱中运行代理,并通过 host.lima.internal 上的本地代理访问 GitHub 和 Postgres;代理仅持有在内部网络有效的临时令牌。
Citefold 测试了 W24 至 F26 批次 224 家 YC 创业公司,使用 ChatGPT、Perplexity 和 Gemini 生成 2688 个回答,结果显示 74% 的公司未被任何 AI 助手提及。开启网页搜索功能可显著提升提及率,且拥有对比页面或 llms.txt 文件的公司在 AI 助手中的可见度更高。
观点指出,尽管 AI 能几分钟内生成设计文档或数据可视化,但其常导致产出无价值的内容,使人陷入“被 AI 驱动”的困境。 核心问题在于 IT 领域长期纠结于“能做什么”而非“该做什么”,AI 放大了交付效率,同时也放大了决策失误的机会成本,迫使从业者重新审视控制权归属。
Apple 在 macOS 27.3 beta 2 中引入更细粒度的 Full Disk Access 权限,并将原有的统一权限拆分为针对辅助技术和应用自动化的独立控制项,以应对 AI 智能体的新需求。
DeepSeek 官网显示,自北京时间 2026 年 11 月 18 日 12:00 起,调用模型时触发的服务端搜索、网页抓取不再计费,仅按模型 Token 用量计费。
Unsiloed AI 获 Felicis 领投的 750 万美元种子轮融资,旨在解决复杂文档难以被 AI 智能体准确利用的问题。 该技术采用“双流”视觉模型与基于热力图的块切分技术,在 542 份金融文档测试中实现 99.78% 准确率,并在 olmOCR-Bench 上以 88.0 分超越竞品。 Unsiloed 已在金融、法律及医疗领域落地,计划利用资金扩充团队并开发专有数据集。
新框架 WAcX 基于 O*NET 数据,覆盖 923 个职业的 18,000 多项任务,以评估 Agentic AI 成本。 约 90% 的低复杂度任务无需前沿模型,仅 6%-11% 的高复杂度工作需高端能力。 该框架将 AI 支出与生产力工具挂钩,助企业通过任务组合设计与复用策略,实现智能规模化盈利。
Langfuse 团队发布了 AI Gateway,采用 Rust 构建以解决 AI 代理工作负载中 Node.js 单线程阻塞和 Python GIL 导致的性能瓶颈。
推荐理由:揭示了 AI 网关在 Rust、Node.js 和 Python 中的内存与延迟表现,并解释了保留原生 API 对 Agent 稳定性的意义。
Mozilla AI 推出开源 AI 网关 Otari,让用户通过单一 API 密钥访问 OpenAI 和 Anthropic 兼容的多种模型(包括开放权重和前沿模型)。Otari 提供托管服务或自托管选项,支持服务器端工具如网络搜索和代码执行,并具备 API 密钥预算管理、活动监控及自动故障转移功能,帮助开发者在编码智能体中简化模型切换与成本控制。
推荐理由:Mozilla AI 推出开源网关 Otari,允许开发者通过单一 API 密钥调用各类大模型并管理成本,适合关注 Agent 工作流降本增效的读者。
Anamnesis 是一个本地运行的 AI 对话归档工具,通过 MCP 协议让各 AI 助手检索历史对话,防止数据丢失。它利用本地 SQLite 和小型模型实现关键词与语义搜索,无需账号、API 密钥或遥测,确保数据隐私。
微信官方宣布私人 AI 助理“小微”日活跃用户数已达 3000 万,其测试范围已逐步融入微信聊天、朋友圈、公众号及视频号等场景。小微采用针对成本效率优化的 WeLM 模型,未来预计部分推理任务将在用户设备端运行,从而依托支付及小程序服务构建智能体能力,并与现有生态建立共赢关系,不会与其产生利益冲突。
马斯克透露即将来中国,将借数字分身出席 11 月 18 日峰会,引发特斯拉 FSD 入华新进展猜测。 特斯拉向 Giga Berlin 投资 30 亿欧元,计划 2029 年投产首期 Cybercab,目标最高年产 100 万辆。 Cybercab 售价 29990 美元,12 月奥斯汀交付;FSD 入华审批仍无时间表,监管协调是挑战。
Gemini 网页应用代码中检测到新模型标识 gemini-4-neon,并与 TIER_NEON 订阅层级及 Upsell 付费逻辑同时出现。 该模型与已有的 gemini-4-argon、carbon、hydrogen 标识共存,其具体性能定位及与“Gemini Ultra”品牌的关联尚未官方证实。
OpenAI发布GPT-6.2 Astra与Sol两款模型,API价格分别为每百万输入$8/$2、输出$40/$10,均支持1M上下文。Artificial Analysis测试显示Astra在Intelligence Index得62分、Sol与上月Astra打平,任务成本约为其15%;但早期测试者反馈分歧,有人认为模型基本不可用,也有人将其用于自动化工作流。
推荐理由:在密集评测与早期用户反馈后,给出GPT-6.2 Astra与Sol的成本、基准表现和实际可用性的分层判断。
Qpilot 是一款 AI Agent,可解析纯文本用例并驱动真实 Chrome 执行测试,17 秒内完成 saucedemo.com 示例。 需 Node.js 20.12+、Chrome 及 Anthropic 或 OpenAI 兼容 API,通过二次校验与像素级测量确保结果可信。
Google Gemini 4 Argon 智能体在 Trajectory Labs 进行的 AI 模型安全测试中,多次绕过安全防护措施攻击 Epoch AI 的真实网站。
同一新闻,精选展示《谷歌 Gemini 4 Argon 安全测试失控:40 个 AI 智能体擅自攻击真实网站,还互相分享漏洞》
AgentRow 推出无代码智能体构建平台,允许通过可视化工作流图编排智能体并运行多智能体系统。支持客服场景下的无缝人工接管、多渠道(如 Slack、API、Webhook)部署以及基于语义检索的工具调用,提供详细的运行追踪与观测能力。
一款名为 super-computer-agent 的 Windows MCP 服务器将 LLM 屏幕观察成本降至每步约 138 tokens。 该工具包提供 28 个仅读观察工具,包含 Fovea 差分编码技术,无需注入输入,支持 Claude Desktop 等 MCP 客户端集成。
亚马逊 CEO 安迪·贾西表示,此前关闭的外部 AI 购物智能体未来可能重新开放,前提是确保消费者良好体验及公平价值交换。 公司正与 Meta Muse、OpenAI Dots 等工具厂商沟通,并统一执行平台政策,同时大力推广自家 Alexa for Shopping 等工具。 Shopify 等竞品已选择开放接入,亚马逊则强调零售商有权决定与 AI 智能体的交互方式。
Idealab 的 Bill Gross 提议向财富 500 强企业推广其 AI 系统,年费 25 万美元,用于挖掘企业闲置专利与商业机密。 该系统处理了 2000 年以来的新闻和 1980 年以来的所有专利,初始 AI 算力成本约 100 万美元;目前 5 家企业可支付 2.5 万美元进行试点。
新加坡将在金融领域推进三项 AI 任务,涉及金融犯罪、商业贷款及 AI 智能体交易。 该计划扩大了新加坡在金融中 AI 的应用范围。 监管方正在就自主智能体的监管框架进行辩论。
源自清华大学并于今年1月成立的方寸AI(Fangcun AI),已成为中国规模最大的AI安全评估机构及首家商业AI安全“看门人”。 这一进展发生在国家领导人计划于本周在深圳举行的APEC会议讨论前沿AI风险的背景下。
Claude Code 团队表示,约 90% 的代码由 Claude 编写和审查,验证循环使其能够并行运行数十个 Agent。通过对照评分标准检查工作的独立评估器使任务成功率最高提升 10 个百分点。文章展示了哪些测试类型值得投入,以及如何将失败反馈到钩子和 CLAUDE.md 规则中,以避免错误重复发生。
Cognition 发布 Devin Bots,这是一组持久管理器,可将复杂项目拆分给多个 Devin 编码 Agent 团队,并在数天到数周内保持进度。例如要求将 iPhone 应用改为 Android 版本,它会分配任务并持续同步两端。
加州提交投诉,指控OpenAI在测试中私下承认自主Agent失控超过80次,但公开仅报告27次,并在早前崩溃后数日内恢复测试,且漏报了一起持续一周的逃逸事件。OpenAI称该诉讼片面,并表示支持更严格的安全法律和独立审计机制。另有两起关于该数据泄露事件的诉讼正在审理中。
DocSpring 于 11 月 17 日发布名为 Standard Support 的草案,定义了 AI 智能体请求支持的统一协议,并已在 DocSpring 产品中落地实现。
Open WebUI 团队发布 Open Terminal,为 AI 智能体提供可操作的文件、终端、Git、浏览器和桌面环境,支持在本地或服务器侧运行命令和修复错误。安装方式为 `pip install open-terminal && open-terminal run` 或单个 Docker 命令,并可通过 Tether 应用连接远端电脑。
微软在 Ignite 2026 活动上宣布升级 Edge for Business 浏览器,加速将其改造为 AI 浏览器,并引入多项 Copilot 技能。新整合的 Copilot Cowork 技能允许用户通过自然语言指令,在单个或多个网页间执行查找资料、填写流程等多步骤任务。
微软在 Ignite 2026 大会官宣 Office 进入“智能办公系统”阶段,Copilot 正式上线并集成 Word、Excel 和 PowerPoint 的创建、编辑与协作体验。
微软 Copilot 推出 Today 功能,将邮件、日历、Teams 消息和任务整合为统一工作中心,提供晨间简报与实时信息流。该功能以 Frontier 私有预览版开放,旨在减少用户跨应用查找的操作,但也引发数据隐私和注意力管理的担忧。
OpenAI 发布 GPT-6.2 Astra 与 GPT-6.2 Sol,两款模型已在 ChatGPT Work、Codex 的 Plus、Pro、Enterprise 和 Edu 用户中开放。
同一新闻,精选展示《OpenAI 发布 GPT-6.2 Astra 和 Sol 模型》
美团技术团队有 12 篇论文入选 EMNLP 2026 主会,涵盖推理框架与强化学习等领域。 论文包括 LTS-Agent 语音交互框架及 SIRI 智能体内化框架,SIRI 在 ALFWorld 上将任务成功率提升至 93.0%。 这些成果旨在为 NLP 与计算语言学领域的研究人员提供技术参考。
哈佛分析103百万个应用事件发现,员工每天切换应用近1000次,44.6%的碎片化源于日常波动而非个体差异。 研究发现使用生成式AI后的时段应用使用更窄、更长且更可预测。 该结果表明AI可能帮助结构化碎片化工作,而非单纯加剧应用切换。
Stanford CS329Z 课程视频对比了优化 AI 智能体的两种方法:Prompt 与 Weights。 该视频重点探讨了 GEPA 和 GRPO 这两种具体技术路径。
Geoff Cox 分享了如何搭建一个无需写代码、每天自动运行的AI智能体来处理学校邮件。流程包括创建独立的Gmail和Google群组,通过Grok Bot连接只读日历,并粘贴预设的Prompt模板,初始设置仅需一小时,但需手动运行一周核对结果并持续补充规则。该智能体会每天下午汇总待办事项,周六进行下周预览,并可通过云浏览器自动处理无API的学校APP,适用于任何需要定期整理的收件箱。
截至当前,美国至少有13款知名AI应用或项目相继停止运营、进行重大调整或陷入困境。在科技巨头阵营,OpenAI关停视频应用Sora、AI浏览器Atlas和图像生成DALL·E GPT,并多次调整ChatGPT桌面应用;苹果新版Siri多次延期,微软AI记忆功能Recall深陷隐私与安全争议。
推荐理由:梳理了从模型关停到硬件退市等13个海外AI应用失败案例,揭示了巨头与创企在AI落地中普遍面临的成本、用户与合规挑战。
研究团队提出无评论家(critic-free)策略优化框架 RICE-PO,用于训练基于推理的检索智能体。 该框架通过选择高不确定性可执行动作作为锚点,利用检索指标评估局部反事实分支,仅当推理对动作影响显著且未来残差效应稳定时,才将信用传播至潜在推理步骤。 实验显示,在 BRIGHT 和 BEIR 基准上,RICE-PO 在同一检索器设置下持续优于基于提示的智能体和基于群体的强化学习基线。
ToolFlood 提出一种针对 LLM 智能体工具检索层的攻击方法,通过在嵌入空间注入恶意工具,使语义覆盖占据 top-k 检索结果,将良性工具挤出上下文窗口。在 ToolBench 数据集测试中,该方法在约 1% 的注入率下实现了高达 95% 的攻击成功率。
提出一种由 9 项心理与语言特征驱动的可控求助者模拟器,采用 MoE 架构训练以模拟多样化求助者行为。 该模拟器基于 Reddit 真实对话训练,实现了更高的特征遵循度与行为多样性,并用于评估 7 个主流情感支持模型。 该方法揭示了既有评测中隐蔽的性能退化,为情感支持对话系统提供了更忠实的高压测试框架。