跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

122 条精选近 30 天 63 条共收录 2,031 条

更新

精选归档 · 第 2 页

11月11日周三第 21–40 条
  1. 36氪72

    Agent背后的Harness竞争:从运行系统到独立生意

    微软测试显示,更换Copilot Studio背后的Harness可让复杂任务通过率提高22.1个百分点,输入Token消耗减少21%,凸显Harness成为Agent性能与成本的关键变量。Anthropic、OpenAI、DeepSeek和Kimi均在将原本服务于内部产品的Agent运行系统独立出来,提供托管服务或开源框架,使Harness成为模型公司新的竞争入口。

    推荐理由:梳理了从模型内部运行系统到托管服务的商业闭环,读者可理解Harness如何影响企业的模型选择与部署成本。

  2. Hacker News AI78

    Restless 发布 AI 智能体办公平台

    Restless 发布了一款让 AI 智能体组成团队执行公司日常任务的平台,人类负责创意和最终决策。作者演示了名为 Lantern Studio 的示例公司,其中多个智能体协作完成游戏开发任务,如构建、测试和市场研究,人类只需处理少量关键审批。该平台支持开源部署,也可使用 Codex 或 Claude Code 等模型,提供从免费自托管到每月 149 美元的五种定价方案。

    推荐理由:原文展示了智能体团队如何分工处理常规任务并保留人类决策权,提供了可迁移的组织设计方法。

  3. AWS Machine Learning Blog69

    使用 LangGraph 与 Amazon Bedrock AgentCore Web Search 构建每日依赖项监控工具

    Amazon Bedrock AgentCore 的 Web Search API 现已可用,它为智能体提供带有来源引用的最新网络搜索结果。这篇文章介绍了一个使用 LangGraph 结合该 API 构建安全团队每日依赖项监控工具的教程,该工具通过并行搜索 npm、PyPI 和容器基础镜像,并利用代码层限制和证据检查机制来确保结果准确。

    推荐理由:文章展示了如何在 LangGraph 中将不可更改的规则与数据保留在代码中,提供生产级智能体的构建范式。

11月10日周二
  1. 36氪75

    天价GPU服务器交易内幕:中介层层加价推高行情

    国内高端GPU服务器价格大幅攀升,X型8卡服务器报价近一个月内突破2000万元,远超去年末约400万元的价格。该价格暴涨既受全球AI算力竞赛需求推动,也因多层中介转手和供应链上游HBM短缺等因素被进一步推高。目前买方普遍面临无法锁定现货的困境,部分大厂转向租赁算力或寻找替代型号,而持有现货的卖家处于绝对强势地位。

    推荐理由:通过多方从业者的口述,揭示了多层中介结构如何层层加价,使得高端算力采购的供需与信任机制变得高度不透明。

  2. Hacker News AI77

    Epoch AI 发布推理性能指数:内存与通信主导的 AI 硬件对比

    Epoch AI 推出 Inference Performance Index(IPI),以 NVIDIA GB300 为基准(GB300e)量化不同芯片在智能体推理负载下的并发服务能力。

    推荐理由:该研究指出单纯使用FLOP/s会严重低估推理性能,并推出IPI指数将内存与通信纳入考量,让读者能直观对比不同芯片在智能体负载下的真实服务容量。

  3. 美团技术团队80

    美团正式开源 1.6 万亿参数 LongCat-2.5:多模态模型在国产算力上实现高效推理

    美团正式以 MIT 协议开源 LongCat-2.5,该原生多模态模型总参数 1.6 万亿、每个 token 激活约 480 亿参数并支持一百万上下文,面向长程智能体任务在代码开发、Visual Coding 与专业办公场景中端到端交付能力明显提升。

    推荐理由:原文详细披露了1.6万亿参数多模态模型在国产算力下的W4A4量化策略与训练细节,展示了在显存受限场景下落地万亿模型的具体工程路径。

  4. 量子位65

    千问办公2.0实测:Team Agent 重构编辑部协作流程

    量子位编辑部实测发现,千问办公2.0通过引入 Team Agent 模式,实现了跨钉钉群聊的项目信息自动归拢、待办任务生成及多端同步。该版本重构了云端自动化引擎,支持在 Word、PPT 及钉钉文档上进行人机共创改稿。相比个人 Agent,其核心价值在于将 AI 深度嵌入团队协作流,解决信息搬运与重复解释问题。

    推荐理由:文章通过编辑部实测展示了千问办公2.0如何串联跨群信息与任务流,为判断团队级Agent的实际落点提供了具体参考。

  5. Tibo (X)66

    Dots 新增控制多台机器的功能

    Dots 现可控制除默认云电脑外的多台机器。作者指出,用户可将多台本地电脑连接到同一个 Dots 实例,并针对具体任务选择使用哪一台机器。例如,Dots 可以在专用机器上构建和测试应用程序,同时用户可以在自己的笔记本电脑上继续编写代码。

    推荐理由:展示了 Dots 在本地多机与云端之间的任务分发能力,为构建跨设备工作流提供了新的切入点。

11月9日周一
  1. IT之家78

    谷歌推出 TPU 8tx 和 TPU 8i Max 挑战英伟达

    谷歌推出 TPU 8tx 和 TPU 8i Max 两款 TPU,面向机密计算和超长上下文窗口场景,以拓展 AI 芯片市场。两款产品基于现有芯片重新配置,分别适配政府、金融等受监管客户及药物研发、编程应用;TPU 8tx 将与 AMD 芯片协同工作。

    推荐理由:谷歌加快芯片迭代并推出专业版本,原文补充了与英伟达的对比、客户结构以及供应链布局。

  2. 36氪79

    GitHub 因 AI 代码提交激增面临存储与合并架构瓶颈

    GitHub 在 8 月 17 日发生故障,官方称因容量失败;9 月 GitHub 代码提交量达 73.8 亿次,是去年同期的 5 倍多。由于 AI 智能体频繁推送代码,GitHub 新增 400 万个 CPU 核心仍面临压力,正通过架构调整提升写入能力。

    推荐理由:文章把 GitHub 8 月宕机与 73.8 亿次提交放在一起,揭示了 AI 智能体正迫使代码托管的存储与合并架构重写。

11月8日周日
  1. 36氪65

    中美数据中心建设困境对比与内蒙古破局思路

    美国多州居民投票限制数据中心建设,背后核心矛盾在于PJM电网容量价格飙升与本地居民电费承压,而内蒙古电网面临严重弃风难题,通过乌兰察布等地的算力负荷接入与热回收方案形成差异化优势。

    推荐理由:通过对比中美电力基础设施与电网约束,揭示数据中心选址背后的不同成本结构与工程难点。

11月7日周六
  1. IT之家79

    GitHub 发布全新 Git 存储架构 Rubicon,内部测试支持 5000 个智能体并发协作

    GitHub 在 GitHub Universe 大会正式公布代号为 Rubicon 的全新 Git 存储架构。新架构支持读取按需水平扩展,内部压力测试验证其可保持极低读取延迟,并支持单代码仓库容纳 5000 个智能体并发协作及承受每秒 7200 次代码推送。目前该架构已开启小范围定向内测,计划于明年初逐步扩大开放范围。

    推荐理由:原文展示了AI智能体高并发协作对底层基础设施的流量放大效应,帮助开发者理解新架构应对持续高吞吐负载的工程意义。

  2. IT之家81

    消息称微软不再续签甲骨文 AI 算力租赁协议,重新评估超 800 亿美元云合作

    消息称微软决定不再续签甲骨文 AI 算力租赁协议,并关闭部分租用资源,原因是甲骨文提供的服务器使用了较早一代英伟达 GPU 芯片。这项合作于 2023 年公布,支持新版 Bing 算力;微软目前还在重新评估包括 CoreWeave、Nscale 和 Nebius 在内的超 800 亿美元外部云合作策略。

    推荐理由:微软因算力规格演进而调整外部云合作,原文梳理了超 800 亿美元租赁盘的现状、甲骨文业务数据和股价反应。

  3. Hacker News LLM78

    RTK 发布 CLI 代理,可将开发命令的 LLM token 消耗降低 60-90%

    RTK 是一个 CLI 代理,在 AI 代理读取或发送内容前压缩、路由和过滤 shell 命令输出,支持 18 个 AI 编码工具,可降低 60-90% 的开发命令 token 消耗。

    推荐理由:原文给出了 60-90% 的 token 优化和 18 个工具的接入方式,读者可以据此判断它会怎样改变现有编码代理工作流。

11月6日周五
  1. NVIDIA Blog65

    NVIDIA 发布 Vera CPU:最高吞吐量与最快 Agent 性能

    NVIDIA 发布 Vera CPU,其在单颗处理器内兼顾了高吞吐量与快 Agent 性能,解决了 AI 工厂对每瓦特处理能力的限制。在 100MW 数据中心对比中,Vera 比最快的 x86 CPU 实现了 1.6 倍的每瓦特 Agent 密度,比最具能效比的 x86 CPU 实现了 2 倍的 Agent 速度。

    推荐理由:官方给出了 Vera CPU 与 x86 在能效比下的实测对比数据,读者可以据此判断其在 AI 工厂场景的落地潜力。

11月5日周四
11月3日周二
  1. IT之家88

    Marvell 约 1150 亿美元全股票收购 Lumentum

    Marvell 宣布以约 1150 亿美元全股票交易收购光通信企业 Lumentum,Lumentum 隐含企业价值约 1150 亿美元,较交易传闻出现前股价溢价约 23.9%。交易预计于 2028 年上半年完成,合并后公司可服务市场规模预计扩大至 5500 亿美元,并带来超过 10 亿美元的年度运行成本协同效应。

    推荐理由:交易将合并双方在光通信与半导体领域的资产,补齐激光器等关键部件,以应对AI数据中心从铜缆向光互连转型带来的需求。

  2. Hacker News LLM83

    巴西柔道 LLM 教练构建实录:RAG、重排器与 7B 模型微调

    Max DeMarzi 分享用 3 万段视频素材构建巴西柔道专用 LLM 教练的完整流程。先通过 ASR 修复和上下文检索头清洗数据,建跨学派同义词知识图谱;再用 CLIP 加 Qwen2.5-VL 把 861 个无声示范片段变成可检索文本块。

    推荐理由:给出了用视频与知识库构建领域 LLM 教练的完整技术路径,含数据清洗、检索重排与模型微调的可复现步骤。