AI 安全工程:同样的失败,但新的攻击方式
作者复盘了过去一年内的多起AI安全事件,并指出尽管攻击手法不断翻新,但其利用的底层缺陷始终未变,包括凭证管理不当、权限过大、环境未隔离及备份设置不当等。
作者复盘了过去一年内的多起AI安全事件,并指出尽管攻击手法不断翻新,但其利用的底层缺陷始终未变,包括凭证管理不当、权限过大、环境未隔离及备份设置不当等。
该研究提出混合 GNN 框架用于股骨应力预测,解决 FEA 高算力成本及传统 ML 缺失网格拓扑结构的问题。 模型采用 GCN-SAGE-Residual 架构,在 14 个模型对比中性能最优,R^2 达到 0.8022,平均绝对误差为 2.879 MPa。 代码已在 GitHub 公开,为骨科分析提供高效替代方案。
该研究对大语言模型强化学习运维(RLOps)进行系统性综述,旨在解决训练扩展中暴露的分布式执行、反馈计算及学习动态故障问题。研究将现有方法归纳为训练设置、经验收集、奖励计算、策略优化和模型评估五个阶段,并深入分析各阶段的操作关注点与管理技术。文章指出了训练过程可观测性、跨阶段协调及通用化 RLOps 等开放挑战,相关资源已托管于 GitHub 仓库。
谷歌旗下 Google Labs 推出实验性产品智能体 Stitch Loop,可连接代码库与线上实时数据,在软件发布后持续发现问题、提出改进方案并编写代码。它与单次任务工具不同,围绕团队目标全天候运行,目标达成后仍监测指标以防下滑。
作者分享利用 AI 加速逆向工程的工作流,核心使用 DeepSeek v4.1 Flash 模型搭配 Ghidra MCP 桥接。 流程包括指定二进制分析、记录 MD 文件辅助上下文管理,并采用假设驱动调试防止 Agent 陷入死循环。 该 AI 辅助方式显著缩短耗时,使原本需数年的任务在 6 个月内完成。
Higurashi 发布并开源全双工语音基础模型 Haru-4B,支持同步听与说,在 MacBook 上端到端延迟约 65 毫秒。模型基于 4000 万小时真实语音预训练,避免使用合成对话,权重与代码分别在 Hugging Face 和 GitHub 开放。
推荐理由:模型在 Apple Silicon 上实现 65 毫秒端到端延迟,且完全基于真实对话数据训练。
AI编码智能体正在获得访问计算机、代码仓库和开发工作流的权限,攻击者可能利用简单的GitHub评论实施提示词注入,从而利用这些智能体获取未授权的访问权限。
Open WebUI 团队发布 Open Terminal,为 AI 智能体提供可操作的文件、终端、Git、浏览器和桌面环境,支持在本地或服务器侧运行命令和修复错误。安装方式为 `pip install open-terminal && open-terminal run` 或单个 Docker 命令,并可通过 Tether 应用连接远端电脑。
exec-sandbox 是一个 Python asyncio 库和命令行工具,允许在自托管的 Linux 或 macOS 主机上通过 QEMU microVM 运行不受信任的 Python、JavaScript 或 shell 代码,专为 AI Agent 编写代码的隔离执行设计。
北京中关村学院、中关村人工智能研究院开源了材料研发科研智能体系统MatOS,其资产库包含3,135个数据集、386项技能和48款材料计算软件。在材料软件使用基准MatTools上,MatOS的完整问题成功率为97.96%,高于采用相同底座模型的Codex CLI和Claude Code;在端到端自主科研基准上,MatOS平均得分比Codex CLI高33.6%。
推荐理由:中关村两院开源面向材料研发的科研智能体系统MatOS,其在多项基准与案例中的任务成功率超过同类通用工具。
Checkly 开发者构建并开源了 ACT,这是一款将 Agent 会话与工单映射至可缩放视图的桌面应用。作者借助 ACT 协调约 10 个并发 Agent,通过“Needs me”面板管理状态,PR 合并率提升一倍。
GitHub 宣布 VS Code 旧版 Local agent harness 将于 2027 年 2 月移除,由 Copilot harness 接替。 新方案仍在本机执行命令,属于 agent 运行时迁移而非云端传输,沙箱设置独立。 使用自定义指令或企业管理配置的开发者需在截止日期前检查设置。
SplitZip 是一种针对 LLM 分离式推理中 KV 缓存传输瓶颈设计的 GPU 友好型无损压缩器,可在不修改模型执行逻辑的前提下实现位级保真传输。 其利用 KV 激活值中浮点数指数的冗余性,采用校准过的 Top-16 指数码本结合固定长度编码与稀疏逃逸流机制。在 BF16 张量上实现 613.3 GB/s 压缩吞吐,端到端传输速度提升最高 1.32 倍。
开源终端复用器 Astrum 0.11.0 发布,单文件本地或 SSH 运行,内置 AI Agent 可在当前 shell 中提议并执行命令。 支持 Ollama、Anthropic、Amazon Bedrock 等模型端点,通过 MCP 服务器和 Skills 扩展工具,会话状态在关闭窗口或重启后保留。
UC San Diego 团队通过深入剖析 GPT-6 Astra 对 Qwen 的数学增强案例,指出其机制实质为一种特定的上下文相关激活引导,而非宣称的原生权重编辑。该分析基于合成数据构建固定方向的激活引导向量,并发现使用经训练的感知向量可进一步提升编辑效果。研究认为将 Astra 的作用理解为激活引导技术结合合成数据应用,有助于厘清大语言模型在权重优化中的实际作用机制。
ARTEX 是一个自托管、LLM 驱动的自主渗透测试平台,通过规划器分解目标、工作者执行真实工具,并双图记录资产与探索状态。所有发现均绑定请求/响应证据,且包含人工审批、范围限制及预算控制等安全机制。
48 名医生参与的随机对照实验显示,在 AI 辅助心脏听诊系统中引入认知强制技术(先独立分类后看 AI 建议)未能改善诊断性能,最终阶段 AI-First 组表现甚至优于 AI-Second 组。 实验模拟系统可靠性从 90% 降至 0%,医生在 AI 建议后的置信度显著下降,且仅 37.5% 的受试者察觉到系统可靠性降低,表明自动化偏差严重削弱了人类对系统故障的监测能力。
新发布的 benchmark 通过对比任务前后数据库快照,评估 computer-use agent 在真实业务应用中的实际改动。该测试基于 635 个评分 episode,揭示版本升级导致的静默破坏及多步任务执行失败问题。 结果显示 Odoo 18 升级使附带损伤率升至 21%,三步复合任务成功率仅为 0/50,且 GPT-6 Luna 单任务成本低至 1-3 美分。
发布包含 4,131 个 GitHub PR 的数据集 PrivacyPR,提供 1,169 个高置信度隐私修复及 250 条人工验证样本。 在 Small 子集上,编码智能体在通用提示下仅检测出 42%-51% 缺陷,而在明确隐私审查指令下检测率达 88%-91%。 结果表明缺陷检测依赖审查意图,且伴随 11%-15% 的误报,数据与代码已公开。
Datasette 1.0a43 里程碑完成度达 53%,核心更新为输出渲染器新增流式支持,内置 TSV/CSV 导出及插件可通过 Response.stream() 逐行流式输出。
作者利用 Claude Code 开发了名为 WMD 的全栈 Web 应用,将其作为个人桌面的控制中心,通过浏览器标签页管理文档、日志和部署任务,替代了传统终端工具。
ShadowDiff 发布了一个高性能网络代理引擎,用于将生产 HTTP 流量同时镜像到旧版服务与 AI 重构后的候选服务,以检测序列化、数据库事务和 N+1 查询等隐性回归。该工具集成 Envoy 进行流量克隆,利用 Google Gemini 自动生成回归测试,并支持通过 GitHub 自动提交 PR 以及集成 CI/CD 流水线作为质量门禁。
PaperPulse 是一个集成的多智能体 AI 系统,自动审计科学论文、新闻和网络内容的科学严谨性、统计有效性以及代码与论文的一致性。 它通过编排专用 AI 智能体交叉引用声明、搜索 GitHub 官方仓库,并标记带有确切引用的可复现性差距。
Cowork 是一款开源的自托管控制平面,通过统一任务收件箱连接 Claude Code、Codex 等多款编码智能体,解决 API 速率限制导致的工作流中断。
用户利用 HiveMind 协调器联合 CrowdGPT,在普通消费级 GPU 上完成了基于 Crowd-v1 模型(总参数量约 1.01B,Transformer 主干 658M)的实验性分布式训练测试。
谷歌高管 Ammaar Reshi 发布视频,演示在苹果 iPhone Duo 上运行 Windows 11 系统,并开源 WindowsiOS 项目。 该项目借助谷歌 Gemini 4 Carbon 模型开发,通过虚拟机在 iPhone Duo 上运行 Windows 11 on Arm 24H2 系统镜像,支持触控操作,且在半折叠状态下可呈现迷你笔记本形态。
作者将 ripgrep 的 2 个文档文件转化为 55 页结构化文档,利用 MkDocs Material 实现自动页面拆分与视觉增强。新工作流引入 mermaid-sonar 工具,通过静态分析检测图表复杂度,避免 AI 生成难以阅读的图表,最终生成 87 个 Mermaid 图表与 358 个提示框。
研究发布开源数据集 GHAgentCI,包含 15K+ 工作流历史和 205K+ 智能体证据记录,用于检测 GitHub Actions 中的编码智能体集成。 开源提取器 cai-miner 通过可扩展目录识别证据,人工验证显示 96.1% 的专用 action 匹配率及 98.8% 的 GitHub Agentic Workflow 匹配率。
研究者发布 GingivitisSeg 公开基准,包含 961 张口腔图像及像素级标注。 基准测试对比 7 种语义分割模型,UPerNet 搭配 ResNet50 取得 76.49% mIoU 和 54.91% 牙龈炎 IoU。 该基准数据集及源代码已公开,支持计算机辅助牙周评估。
研究人员提出 Metal Sandbox 基础设施,通过跨节点命令级调度优化 Apple Silicon 上 GPU 编码智能体的执行效率。 在 4 台 Mac mini M4 节点上,集中需求下命令吞吐量提升 1.68 至 2.05 倍;动态调度使平均工具等待时间降低 18.8%。 该项目已与 Harbor 集成,并在 GitHub 开源。
Agent skills 是一种以版本化目录和 SKILL.md 为核心的可复用指令集,允许在不同 Agent 间共享重复任务逻辑。文章通过 Proof Agent 和 Data Forge 示例,展示了如何将项目配置与技能逻辑分离、协调多技能工作流以及集成人类检查点。
推荐理由:提供构建可跨 Agent 复用技能的结构化指南,涵盖上下文分离、多技能协调及 CI 验证等关键实践。
BirdyFoot 统计了 2023 年 1 月至 2026 年 10 月 28 日 17 个主流开源 AI 工具的 GitHub 安全通告,发现 2026 年漏洞数从 2025 年的 156 个激增至 423 个。
西法利亚实验室构建了一个模拟多边谈判场景,让11款AI模型各主持40次谈判,测试其起草联合声明并预测共识的能力。结果显示,只有GPT-6.1 Sol在所有40次运行中均正确判断共识可能性或达成妥协;Claude Opus 5.5、Grok 4.7和DeepSeek V4.1 Flash紧随其后,在18/20次中表现正确。
AWS 发布下一代 Amazon Bedrock AgentCore runtime,用于在安全隔离环境中运行和扩展 AI Agent。新 runtime 的会话启动速度最高提升 15 倍、算力可扩展 4 倍,最高支持 8 vCPU 和 32 GB 内存,并在空闲时将 Agent 缩容至零,最高可将单会话内存消耗降低 68%。
推荐理由:新版 AgentCore runtime 给出了 4x 算力、低于 2s 启动和 68% 效率提升等量化指标,读者可据此评估大规模 Agent 生产的算力与成本。
结合 Spring AI 与 Amazon Bedrock AgentCore 为 Java 团队提供构建自主 AI 智能体的完整方案,涵盖规划、工具调用及记忆功能。 该方案要求使用 JDK 21、Spring Boot 4.1 及 spring-ai-agentcore 2.0,通过单智能体旅行助手与多智能体文档处理示例展示生产级部署模式。
Swapback 是一个本地代理工具,用于在 LLM 请求到达提供商前将姓名、邮箱、电话和 API 密钥替换为占位符,并在响应中恢复原文。该项目已发布至 PyPI,支持 OpenAI 和 Anthropic 客户端,通过精确匹配和 503 拦截机制实现数据防泄漏,约 5900 行 Python 代码。
开发者为了解决 Gemini 长对话查找困难,开源了浏览器扩展 Gemini Pinboard。 该工具基于 Vanilla JavaScript 和 Manifest V3 构建,支持无限拖拽固定位置、自定义命名及即时跳转,数据完全本地存储无需后端。 若获得积极反馈,计划上架扩展商店并适配 ChatGPT 等其他 AI 平台。
Cisco 高级安全倡议团队发布开放规范 Foundry,用于构建 agentic AI 安全评估系统。该规范基于内部迭代经验,提供 8 个核心 agent 角色和约 130 条功能要求。
AI Code Rating 通过 ACR.md 文件中的 3 个字符组合,量化披露项目维护者专业度、AI 生成代码占比及人工审查级别。 该评级系统区分大写字母(维护者)、数字(AI 代码行占比)和小写字母(审查强度),旨在避免单一标准误判,并区别于针对 AI 工具的指令文件。 路线图计划先发布规范与徽章工具,推动知名项目采用,最终提议 GitHub 等平台在仓库页面展示该评级。
软件开发者西蒙·威利森借助 Claude Code 开发了名为 Beep Locator 的声音定位系统,可将声源锁定至约 40 厘米范围。该系统通过五台移动设备网页调用麦克风,利用时间差和快速傅里叶变换分析声音频率,最终在储物室中找到一个一氧化碳探测器。项目代码已公开在 GitHub 上。