Amazon EKS 使用 NVIDIA Run:ai 实现 GPU 内存分片
在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。
在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。
Meta 通过 Ranking Engineer Agent 系统实现广告排序模型中的技术传播(technique propagation)。该系统由 AI 智能体驱动,自 2026 年 3 月起承担超过 60% 的技术传播工作,早期数据显示工程生产力提升 3 倍,部分模型训练计算量中位数降低 4 倍,预计年底前实现 4500 万美元以上的计算成本节约。
文章提供 10 个可复制的 MCP 提示词,通过数据提取 API 连接 Claude Code 或 Codex,处理发票、表格、扫描件及表单的红字遮蔽。 每个返回数值均附带页码、边界框和置信度分数,解决了 AI Agent 无法溯源数据出处的问题。
作者系统梳理了 AI 生成文本中常见的结构性与词汇性特征,如特定句式、节奏平坦及套话填充,并提供了具体的修改方法与前后对比示例。文中引用了多项研究数据,指出这些特征可作为识别 AI 写作的参考,而非绝对证据,同时推荐使用浏览器端检查工具辅助修订。
作者以虚构自行车租赁语音智能体为例,说明在延迟、成本与可控性之间为语音 AI 选择推理栈的方法。文章先通过 1,200 通电话、24,000 次 LLM 请求。
Agentest 是一款开源 AI Agent 评估工具,通过读取 OpenTelemetry GenAI 轨迹执行 165 项确定性离线测试,无需 API 密钥或 LLM 裁判即可判定 Agent 实际行为。
作者测试了 Apple Watch Ultra 4 上的 Siri Recap 功能,该功能通过 AI 自动总结对话并作为“备份笔记”。 Siri Recap 默认关闭,音频在 2026 款 Apple Watch 的 S11 芯片安全区本地处理后立即删除,仅通过 Apple Private Cloud Compute 上传必要数据,保留期可选 1 至 7 天。
LLM 接口常包含解析意图、消解歧义等隐性契约,直接替换易导致行为丢失。文章提出先通过审计消费者依赖恢复契约,再构建包含检索与确定性计算的替代方案。需明确区分匹配、验收与授权标准,并在可控环境中测试新决策路径,以维持替换后的可靠性。
针对 MAISI-Iliad 安全培训制作的一组 Solomonoff 归纳法与 AIXI 入门幻灯片,旨在澄清常见误解。 内容涵盖 Michael Cohen 等人关于 AI 安全应用的工作,并带有 AIXI Labs 的研究倾向。幻灯片图形制作使用了 AI 辅助。
游戏媒体 GameGPU 测试显示,通过外接采集卡将 PS5 Pro 运行《GTA 6》的信号接入 PC,并启用 NVIDIA DLSS 5 实时神经渲染,游戏帧率从原生 30 FPS 提升至约 262~286 FPS,最高提升 853.33%。
Cosmonic CTO Bailey Hayes 探讨 wasmCloud 如何优化分布式 AI 推理,指出 WebAssembly 因轻量、快速启动和低资源消耗适合边缘实时推理。 演示显示使用 Ollama 的图像分析组件体积仅 292 KB,远小于传统容器,提升了本地开发与部署效率。
Exa 在 AWS Inferentia2 和 Trainium2 硬件上优化嵌入基础设施,吞吐量提升 50%。 通过权重布局优化、自动混合精度及自定义 NKI 内核减少内存溢出和 FLOPS,实现最高 1.5 倍性能增益。 单位经济性的改进支持 Exa 在数十亿文档规模下更高效地索引网络数据。
该列表整理了受 LLM/AI 使用污染的免费/开源软件,提供无 AI 替代方案及最后无污染的 commit 记录供用户 fork。 项目定义了多种“污染”标签和“积极优点”徽章,要求用户通过提交 pull request 上报新发现的 LLM/AI 使用情况。 列表强调这是为避免开源开发者受骚扰而设,倡导以尊重和建设性的方式推动“No AI”政策。
Viper Messenger 1.5.35 版本在 Mac 端侧上线 AI 聊天功能,使用 gpt-oss-20b 模型结合应用内指南回答 Viper 相关问题,且全程离线运行。该版本在不训练模型权重的前提下,通过改写指南页面、拆分问题和代码校验将正确率从 1.5.34 的 41% 提升至 61%,幻觉率从 24% 降至 4%,支持 Apple M5 Pro 等 24GB 内存设备。
拥有 20 多年视觉特效经验的专家评测了 Apple 在 27 个操作系统版本中推出的生成式修图工具。 工具存在分辨率上限(12.19 MP)和合成滤镜导致画质模糊的问题。自 27.2 版本起,编辑图片会嵌入 SynthID 水印,但 Apple 未在界面中明确披露此行为。
作者分享利用 AI 加速逆向工程的工作流,核心使用 DeepSeek v4.1 Flash 模型搭配 Ghidra MCP 桥接。 流程包括指定二进制分析、记录 MD 文件辅助上下文管理,并采用假设驱动调试防止 Agent 陷入死循环。 该 AI 辅助方式显著缩短耗时,使原本需数年的任务在 6 个月内完成。
AWS 官方在 Amazon Aurora PostgreSQL 中展示了一套 RAG 客服机器人设计模式,专注于实现 AI 可解释性。方案利用 pgvector 进行向量检索,通过 Aurora ML 直接在 SQL 层生成向量嵌入,并使用 Amazon Bedrock Guardrails 验证回答的接地能力。
Airbnb 通过在 Amazon Bedrock 上评估模型得分与“每任务成本”来运营内部编码智能体,并在生产环境通过 CloudWatch 监控延迟、限流与开销。评估体系包含 7 个任务集、多维度评分器及推理强度档位控制;生产侧监控包括延迟、令牌消耗、吞吐量与缓存命中率。该流程使 Airbnb 能够在模型发布后数小时内完成评估并调整智能体配置,使重度用户的成本在切换模型后降至约原来的七分之一。
推荐理由:结合 Airbnb 的一线实践,拆解编码智能体在 Amazon Bedrock 上的成本核算与监控方法,可直接复用到模型选型与容量规划。
OpenAI 阐述了如何管理前沿 AI 从训练到部署的完整风险体系。 该体系涵盖模型对齐、沙盒环境、阻断措施及持续监控。
Stretto 基于 Amazon Nova 2 Sonic 语音智能体 Tara 处理破产咨询,将单次通话成本降低 95%。 该语音模型原生处理低延迟音频,优化中断机制,结合 Anthropic Claude 3 Haiku 实现结构化数据提取。
展示了一种让 Amazon Bedrock AgentCore Gateway 在中心网络架构中连接私有 API 的模式。 该模式使用 VPC Lattice 资源网关和 AWS RAM 共享配置,强制所有流量经过中心防火墙进行双向检查。 此设计使网络团队保留所有子网所有权,支持代理在符合企业安全策略的环境下调用 MCP 服务器。
Jay Alammar 与 Maarten Grootendorst 合著的《图解 AI Agents》(An Illustrated Guide to AI Agents)已出版并登上亚马逊人工智能类畅销书榜第一名。
作者询问是否应在 LessWrong 分享自研工具“语义迷宫”,该工具迭代 2 年现已升级至 v8.7。 它由 ChatGPT、Gemini 等模型协作开发,旨在通过映射语言基础功能推导有用属性,作者强调其基于自身思维过程而非生成式垃圾。 此前因担忧误用及遭遇自动审核负面反馈,作者暂时保留发布决定。
教程介绍了如何在 AI 智能体框架中实现专家智能体切换与子智能体委派。系统内置 general、plan、explore、build、review 五种智能体,用户可通过 SOUL.md 文件定义自定义智能体。
Transformers 通过新增专家流式加载功能,成功在 32GB 内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。该方法利用有界缓存池让 grouped_mm 直接处理流式专家,短解码速度达到 13.9 tok/s,性能接近 Strata 引擎,证明纯 Python 结合 Metal 内核可大幅提升本地 MoE 推理效率。
推荐理由:展示了如何用 Transformers 实现 MoE 专家流式加载,读者可借鉴有界缓存和 Metal 内核优化思路提升本地大模型推理效率。
macOS DarkWake 机制每小时唤醒 45 秒,导致 18 个计划任务因浏览器超时和连接过期而失败。通过添加显示状态检查的 guard script,阻止任务在屏幕关闭时运行,解决了基础故障。 后续排查发现 network-watch 任务每 10 秒重试导致数百次跳过记录,修复其重试逻辑(连接变更或每 5 分钟)后系统恢复。
作者建议假设 LLM 代理的所有可见数据均会泄露,并构建让密钥在其他环境中失效的防护机制。具体实践为在 Lima/Colimander 启动的本地沙箱中运行代理,并通过 host.lima.internal 上的本地代理访问 GitHub 和 Postgres;代理仅持有在内部网络有效的临时令牌。
Claude Code 团队表示,约 90% 的代码由 Claude 编写和审查,验证循环使其能够并行运行数十个 Agent。通过对照评分标准检查工作的独立评估器使任务成功率最高提升 10 个百分点。文章展示了哪些测试类型值得投入,以及如何将失败反馈到钩子和 CLAUDE.md 规则中,以避免错误重复发生。
作者用Pangram对过去1年108篇Launch HN帖做AI文本检测,发现22篇(20.4%)被判定为AI生成、44篇(40.7%)混合、42篇(38.9%)人类写作;人类写作帖中位upvotes为83、混合为80、AI生成为56,手书稿更易获得投票,作者建议写Launch HN/Show HN时尽量亲笔而非用LLM代写。
文章介绍了一种用于本地 LLM 服务器速度优化的 Agent 技能。 该技能通过 hill-climbing 算法自动调整参数以提升推理速度。 原文未提供具体的性能提升数据、参数规模或适用模型版本等细节。
Stanford CS329Z 课程视频对比了优化 AI 智能体的两种方法:Prompt 与 Weights。 该视频重点探讨了 GEPA 和 GRPO 这两种具体技术路径。
Geoff Cox 分享了如何搭建一个无需写代码、每天自动运行的AI智能体来处理学校邮件。流程包括创建独立的Gmail和Google群组,通过Grok Bot连接只读日历,并粘贴预设的Prompt模板,初始设置仅需一小时,但需手动运行一周核对结果并持续补充规则。该智能体会每天下午汇总待办事项,周六进行下周预览,并可通过云浏览器自动处理无API的学校APP,适用于任何需要定期整理的收件箱。
summary_zh: 该项目通过徽章系统直观展示开源项目对使用大语言模型(LLM)辅助开发的态度。 徽章选项包括“No”(禁用)、“Yes”(允许)及“Agents Please?
作者受 Alexander Lozyakov 演奏 Stroh 小提琴 Talkbox 的视频启发,利用 Claude 设计并 3D 打印出漏斗形适配器,成功将 Stroh 小提琴改装为 Talkbox。 该适配器由约 21g 的 PETG 材料制成,因乐器螺孔间距不均,需磨除 2 处各约 1mm 材料后方可安装。由于共振膜暴露类似开放式耳机,部分声音直接漏出,实际 Talkbox 效果低于预期。
Octopus CTO 阐述其工程团队在AI时代如何通过结果而非输出来衡量效率,包括部署周期、变更失败率等指标,并认为这些指标比传统的DORA指标更能反映客户价值。
在 AI 快速生成大量代码的背景下,理解代码的负担转移给了代码评审者。 核心解决策略始于提示词之前:先彻底理解问题,将 AI 的所有建议视为需自行论证的假设,而非直接采纳。 此举旨在避免盲目信任 AI,确保在消耗同事时间请求审查前,自身已具备充分的代码理解与验证基础。
开发者发布 Agent Desk,这是一个基于本地浏览器运行的终端多路复用器,专门用于管理 Claude Code 的多智能体会话,支持在单个标签页内查看并控制多个并行代理任务。
随机实验显示Google AI Overviews使外站点击量减少约40%,该功能在过半美国搜索关键词中生效。虽然AI助手当前带来的流量占比极低,但生成式引擎优化(GEO)在提升被引用率方面主要依赖传统链接画像,缺乏经过验证的独立战术。
探讨在 AI 智能体辅助开发中采用测试驱动开发(TDD)的方法,即先由人类或智能体设计测试用例,再让智能体进行代码实现。 该方法强调测试先行,通过预先定义验收标准来指导智能体的开发过程,确保输出符合预期。
作者使用 Claude 和 GPT 模型构建多智能体框架,复现并验证了硕士论文中关于平方自由数在算术级数中方差的数论问题。实验在标准订阅限制下完成,模型发现了原论文中关于多项式取模运算的数学逻辑漏洞,并修正了导致常数项计算错误的变量替换步骤。最终结果证明 AI 能够处理复杂的证明生成与审查流程,但在自主性方面仍需要人类提供方向指引和关键决策。