跳到正文
  1. AWS Machine Learning Blog62

    Airbnb 如何在 Amazon Bedrock 上用量化成本运营编码智能体

    Airbnb 通过在 Amazon Bedrock 上评估模型得分与“每任务成本”来运营内部编码智能体,并在生产环境通过 CloudWatch 监控延迟、限流与开销。评估体系包含 7 个任务集、多维度评分器及推理强度档位控制;生产侧监控包括延迟、令牌消耗、吞吐量与缓存命中率。该流程使 Airbnb 能够在模型发布后数小时内完成评估并调整智能体配置,使重度用户的成本在切换模型后降至约原来的七分之一。

    推荐理由:结合 Airbnb 的一线实践,拆解编码智能体在 Amazon Bedrock 上的成本核算与监控方法,可直接复用到模型选型与容量规划。

  2. Hugging Face Blog61

    Transformers 实现 MoE 专家流式加载,180B 模型仅需 32GB 内存

    Transformers 通过新增专家流式加载功能,成功在 32GB 内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。该方法利用有界缓存池让 grouped_mm 直接处理流式专家,短解码速度达到 13.9 tok/s,性能接近 Strata 引擎,证明纯 Python 结合 Metal 内核可大幅提升本地 MoE 推理效率。

    推荐理由:展示了如何用 Transformers 实现 MoE 专家流式加载,读者可借鉴有界缓存和 Metal 内核优化思路提升本地大模型推理效率。

  1. Hacker News OpenClaw80

    OpenClaw 如何将 CI 运行时间降低 95% 的成本方法

    OpenClaw 通过清理无用测试、优化调度策略和自适应选择测试,使 CI 计算开销降低 95.5%,运行时间减少 86.5%。文中还分享了如何平衡测试覆盖与资源消耗的具体实践。

    推荐理由:原文提供了可复用的工程方法,读者能据此优化智能体CI流程并降低运行开销。

  1. Hacker News LLM77

    DetLLM:通过纯整数运算消除LLM推理中的非确定性

    作者发布 DetLLM 项目,实现 Qwen3-0.6B 在纯整数运算下跨设备比特级确定推理。在 A100、H100、CPU 等 9 种配置下,整数推理产生唯一哈希值,而 fp16 推理产生 9 个不同哈希值。整数推理的 WikiText2 困惑度为 20.72,略优于 fp16 的 20.95;经过内核优化,解码速度可达 106 tok/s。

    推荐理由:作者展示了用纯整数运算实现跨设备比特级确定的LLM推理方法,并给出性能与困惑度数据。

  1. AWS Machine Learning Blog63

    Amazon Bedrock 四项推理成本优化配置:缓存、层级、推理与限制

    AWS 官方技术团队实测并解析了影响 Amazon Bedrock 推理成本的四个请求级配置选项,包括提示缓存时间、服务层级(Flex/Standard)、自适应推理强度(Reasoning effort)和输出 Token 限制(maxTokens)。

    推荐理由:通过实测 4 种请求级配置,揭示了 Bedrock 隐性计费规则与成本平衡点,提供了从 5 分钟缓存切换到 1 小时缓存的判断依据。

  2. AWS Machine Learning Blog68

    在 Amazon Bedrock 上优化任务成本并证明 Agent 投资回报率

    本文提出在 Amazon Bedrock 上计算和优化模型任务级成本的框架。文章指出任务成本受分词器效率、输出对齐、Agent 循环效率与推理开销四个隐性因素影响,并通过案例说明列表价更高的模型因分词更少、零次试错完成,实际成本反而更低 65%。

    推荐理由:文章展示了在 Amazon Bedrock 中结合四个隐性成本驱动因素与实际工作负载计算任务级成本的框架,并给出了证明 Agent 投资回报率的五维记分卡与落地步骤。

  3. AWS Machine Learning Blog65

    Amazon Bedrock 为托管知识库工具实现细粒度访问控制

    AWS 发布方案通过多层防线让企业 Agent 共享知识库时仍按用户权限检索。核心流程为:通过 AWS Cognito 与 Lambda 在访问令牌中注入邮箱。

    推荐理由:文章给出多层防线与可部署的CDK堆栈,读者可据此在共享Agent场景中隔离各用户的数据访问权限。

  1. AWS Machine Learning Blog69

    使用 LangGraph 与 Amazon Bedrock AgentCore Web Search 构建每日依赖项监控工具

    Amazon Bedrock AgentCore 的 Web Search API 现已可用,它为智能体提供带有来源引用的最新网络搜索结果。这篇文章介绍了一个使用 LangGraph 结合该 API 构建安全团队每日依赖项监控工具的教程,该工具通过并行搜索 npm、PyPI 和容器基础镜像,并利用代码层限制和证据检查机制来确保结果准确。

    推荐理由:文章展示了如何在 LangGraph 中将不可更改的规则与数据保留在代码中,提供生产级智能体的构建范式。

  1. Hacker News LLM78

    RTK 发布 CLI 代理,可将开发命令的 LLM token 消耗降低 60-90%

    RTK 是一个 CLI 代理,在 AI 代理读取或发送内容前压缩、路由和过滤 shell 命令输出,支持 18 个 AI 编码工具,可降低 60-90% 的开发命令 token 消耗。

    推荐理由:原文给出了 60-90% 的 token 优化和 18 个工具的接入方式,读者可以据此判断它会怎样改变现有编码代理工作流。

  2. Hacker News AI77

    压力测试对比 LiteLLM 与 Revenium 的 AI 消费限额表现

    开发者对开源代理 LiteLLM 和商用成本平台 Revenium 进行压力测试,评估其在并发请求、后端宕机及重启场景下 AI 消费限额的有效性。

    推荐理由:实测数据揭示 LiteLLM 默认配置在故障与高并发下的边界缺陷,为 AI 用量计费系统提供了可直接复用的加固方案。

  1. AWS Machine Learning Blog65

    Deep Insight 如何在生产级 AI 智能体中实现四层上下文工程

    AWS 官方教程介绍了名为 Deep Insight 的开源多智能体数据分析项目,它基于 Strands Agents SDK 和 Amazon Bedrock AgentCore,展示了四层上下文工程方法。

    推荐理由:原文给出了四层上下文工程架构与代码实现,并展示单一工具与按需加载可显著降低token占用。

  1. Hacker News LLM83

    巴西柔道 LLM 教练构建实录:RAG、重排器与 7B 模型微调

    Max DeMarzi 分享用 3 万段视频素材构建巴西柔道专用 LLM 教练的完整流程。先通过 ASR 修复和上下文检索头清洗数据,建跨学派同义词知识图谱;再用 CLIP 加 Qwen2.5-VL 把 861 个无声示范片段变成可检索文本块。

    推荐理由:给出了用视频与知识库构建领域 LLM 教练的完整技术路径,含数据清洗、检索重排与模型微调的可复现步骤。

  2. AWS Machine Learning Blog67

    Amazon SageMaker AI 通过序列级知识蒸馏构建高效 Agent 教程

    本教程演示了使用序列级知识蒸馏 (SeqKD) 在 Amazon SageMaker AI 上微调购物 Agent。使用前沿教师模型 (GLM-5.3) 生成多步轨迹并过滤,通过有监督微调在服务器上训练 Qwen3.5-4B 学生模型。微调后的 4B 模型在保留推理链的情况下,将绝对成功率从基座的 0.297 提升至 0.541,接近教师模型水平。

    推荐理由:展示了如何仅用教师模型文本输出构建数据集并微调4B学生模型,保留推理链可将任务成功率从41.5%提升至54.1%。

  1. 机器之心72

    无问芯穹登顶SOL-ExecBench:国产Agentic Infra探索RSI与GPU物理极限

    无问芯穹通过自建Agent框架在NVIDIA SOL-ExecBench中登顶四大算力赛道,展示了利用Agent持续优化底层算子以探索递归自我改进的工程实践。团队通过容器隔离与Skills机制保障优化过程的安全边界,并发现资源调度与Agent行为会相互影响系统效率。实践表明,AI基础设施正在从单纯支撑智能运行,转向通过反哺计算系统与优化自身机制参与系统的自我改进。

    推荐理由:通过剖析无问芯穹在SOL-ExecBench中的系统实践,呈现了国产Agentic Infra如何通过机制自我改进参与底层优化的RSI路径。

  1. AWS Machine Learning Blog70

    AWS 教程:基于 Amazon Bedrock AgentCore 构建企业级智能体 AI 平台

    AWS 发布架构方案,展示如何在 Amazon Bedrock 和 Amazon Bedrock AgentCore 上构建多账户智能体 AI 平台。方案通过独立的推理与工具网关及严格的部署评测管道,让各业务团队能在隔离的边界内安全开发并运维 Agent,实现规模化企业级治理。

    推荐理由:原文给出了多账户运营模型和评测管道设计,读者可据此理解如何治理企业级 AI 智能体平台。

  1. 机器之心75

    英伟达 GPU 隐藏算力被开源解锁,RTX 4090 特定 Tensor Core 吞吐翻倍

    英伟达 GeForce 显卡的隐藏算力被开源解锁,RTX 4090 在 FP16/BF16 输入、FP32 累加的 Tensor Core 运算中吞吐率从 165.6 TFLOPS 提升至 331.6 TFLOPS,接近翻倍。

    推荐理由:开源社区发现并解锁了英伟达消费级显卡的隐藏算力,读者可据此了解底层配置对 GPU 吞吐的影响及实际收益边界。

  1. Hacker News AI76

    2026 年 AI 可移植性现状:打破锁定难以实现

    2026 年 AI 工具的上下文可移植性依然复杂,虽然 AGENTS.md 和 MCP 配置易于迁移,但底层记忆与对话历史因缺乏统一标准难以跨平台同步。文中指出 Claude Code、Codex 等工具虽具备部分导入能力,但主要厂商仍限制数据流出,开源工具正在填补这一缺口。

    推荐理由:原文构建了上下文分层模型并盘点开源工具现状,读者可据此评估将项目从单一 AI 厂商迁移至多工具或本地环境的实际阻力。

  1. Hacker News AI83

    如何通过减少路由层职责提升 Meta AI Agent 可靠性

    Meta 提出“薄编排层”架构,将 1,300 行编排层与 14 个专职子 Agent 分离,使新数据列配置准备时间从数小时缩短至 1 小时内。系统通过隔离上下文避免跨子系统的交叉污染,在规模化多步工作流中显著降低了幻觉风险并提升了执行效率。

    推荐理由:通过 Meta 的 1,300 行编排层路由 14 个专职 Agent 的实践,展示了如何在生产环境中用架构隔离上下文以减少幻觉。

  2. AWS Machine Learning Blog60

    在Amazon SageMaker HyperPod上微调GPT-OSS-20B以实现多语言推理

    AWS展示了在Amazon SageMaker HyperPod上使用SFT和GRPO微调GPT-OSS-20B,使其推理和回答语言支持法语、德语、西班牙语和意大利语。基础模型多语言推理正确率仅为22%,SFT将推理语言正确率提升至100%,GRPO在SFT基础上将回答语言正确率从62%提升至70%。

    推荐理由:给出了GPT-OSS-20B微调后的多语言准确率变化,以及SFT和GRPO在不同能力缺口下的选择逻辑。

  1. Hacker News AI82

    AI 时代软件验证实践:构建自动化代码审查流水线

    在 AI 编码代理普及的背景下,传统人工代码审查已难以跟上开发节奏。本文通过引用 Faros 2026 年研究报告指出高 AI 采用率组织面临的代码质量与事故率双重挑战,并系统提出结合多模型审查与全流程 CI/CD 验证的解决方案。

    推荐理由:文章结合最新行业数据给出了覆盖CI/CD全链路的AI代码验证方法,并展示了多模型互审的实践工作流,适合团队落地参考。