BitRun 开源:基于 CPU 的 1-bit LLM 运行器,Apple Silicon 实现 100T/s
BitRun 是一款支持 macOS、Windows 和 Linux 的零编译自包含运行器,专为 Microsoft BitNet b1.58 及 1.58-bit 三元 LLM 设计。
BitRun 是一款支持 macOS、Windows 和 Linux 的零编译自包含运行器,专为 Microsoft BitNet b1.58 及 1.58-bit 三元 LLM 设计。
Celestial AI 推出了全球首款在硅片中间集成光学互连的 Photonic Fabric Module,该 2.5D 封装芯片组提供 7.2 Tbps 光学连接。 模块包含 TSMC 5nm ASIC、2 个 HBM3e 和 4 个 DDR5 控制器。通过 16 个模块可构建支持 32TB 统一内存寻址的设备,用于 AI 的 KV Cache 卸载。
IBM 与西门子达成合作,推进纳米堆叠(nanostack)3D 晶体管架构开发,结合西门子在 EDA 及制造软件方面的能力加速技术落地。 该架构垂直堆叠晶体管,在 7 埃节点下指甲盖大小可集成近 1000 亿个晶体管,密度约为 2nm 芯片两倍;相比 2nm,同功耗下性能提升达 50%。 首批基于该技术的产品预计需约五年由合作伙伴投入生产,此次合作旨在跨越实验室到工厂的鸿沟。
英特尔推出 Intel Inference Microservices,将 vLLM 引擎打包为容器化微服务,面向第四至第六代至强处理器提供经过硬件预验证的 LLM 推理参数。
IBM 发布的 AI 智能体工厂通过协调器、四个并行工作者和验证器探索硬件设计空间,在量子纠错解码器优化中,使用开源模型仅花费 26 美元推理成本即实现 52 倍速度提升。
本文演示了如何通过 Python SDK 部署 Amazon SageMaker JumpStart 预训练模型并进行轻量级评估。 使用示例提示词测试,延迟 9.07 秒,生成速率 16.9 词/秒。 该流程适用于多数模型,但 Payload 格式和实例类型需根据具体模型调整。
IDC 数据显示,2026 年上半年中国数据中心 AI 加速器出货量 200.8 万颗,非 GPU 加速器 101.6 万颗,首次超过 GPU;英伟达出货 67.8 万颗、份额 34%,华为 57.2 万颗、份额 28%,阿里平头哥 7%、百度昆仑芯 4%。
该聚合站收录 24 家公司 1,694 个远程 AI 培训岗位,时薪区间 $5–$130,每 5 分钟更新。 岗位面向编程、法律、医疗等专家及通才,要求远程完成模型答案评估、示例编写或数据标注;申请需通过公司官网,部分平台支持 AI 面试匹配。 该服务通过 referral link 获利,但求职者无需付费,岗位信息直接来源于各公司官方招聘页面。
研究实测显示,vLLM 0.11.0 与 SGLang 0.5.21 仅在关闭 HTTP 连接后才停止生成;若客户端仅停止读取而不关闭连接,两个引擎会继续生成剩余答案,误差在 4% 以内。
禾赛科技发布全球首款 8K 超高清 AI 空间相机 Kosmo One,搭载 1 英寸 CMOS 并实现 360° 无死角覆盖。 该设备可在 15 分钟完成 100m² 空间重建,生成的三维模型可用于机器人物理 AI 训练及世界模型。 禾赛同步发布 AI 云平台 Kosmo World,并与高德地图开放首批千个试点,将门店重建为高精度 3D 空间模型。
Murata Manufacturing 正考虑追加投资以扩大多层陶瓷电容器的生产,主要驱动因素是 AI 服务器需求的持续加速增长。 这一举措表明 AI 基础设施的建设正在拉动组件供应链,其影响范围已超越 GPU 和内存等其他核心部件。
亚洲数据中心运营商 Princeton Digital Group 正寻求高达 12 亿美元辛迪加贷款,以资助其马来西亚数据中心扩建项目。 这笔交易是东南亚人工智能基础设施债务融资热潮的一部分,马来西亚已成为新增算力枢纽。 该融资动向凸显了当前 AI 基建扩张对债务资金的依赖。
Iluvatar CoreX 发布首款超节点 Tiangai 300 IXL144,单机柜集成 144 颗 GPU 和 18 颗 CPU,创下行业 GPU 密度纪录。 该产品面向大规模训练与推理场景,于上海 CIIF 展会亮相,旨在通过机架级集成缩小与 Nvidia 的差距。
Jensen Huang 宣布 Nvidia 将在下周宣布 20 亿美元欧洲投资。该举措深化了 Nvidia 在欧洲主权 AI 建设中的角色,帮助政府获得独立于美国超大规模云服务商的算力。
ASML 将 2026 年销售预测下限上调至 440-450 亿欧元(约 490 亿美元),称 AI 支出推动其光刻设备需求。公司同时警告未来两年可能出现供应缺口,该指引被视为 TSMC、三星和英特尔资本开支计划的重要参考,投资者将其产能展望视为 AI 硬件行情能否持续的关键测试。
Anthropic 日合并代码量从 2026 年 5 月的约 2,500 次升至 9 月的 30,000 次,因 Git 无法支撑,团队在 5 个月内自建版本控制系统 Scion,将 monorepo 从 git 迁移,并同期上线代码审查工具 Antique、代码搜索和源控 IAM,主要由 Claude 完成。
Qoder 团队推出全托管 Agent 平台 Qoder Cloud Agents,支持在云端运行复杂任务并实时返回结果。 平台提供开放 API、多语言 SDK、CLI 及 Skills 集成方式,底层通过 Managed 层处理运行与会话状态,上层 Forward 层封装用户身份、记忆、IM 渠道及定时任务能力。
岚图汽车部署硅基流动私有化大模型服务网关,构建统一调度管理平台。新模型接入时间从一周缩短至一天,模型升级实现全程不停服。 该网关屏蔽供应商接口差异,统一管理密钥与RPM、TPM配额。支持权重分流、故障降级及灰度发布,统一监控TTFT等指标。 此举解决了分散接入带来的适配与安全难题,为后续多智能体协同提供基础。
summary_zh: Rocket Software 以最高 1 亿美元估值收购以色列初创公司 Geniez AI。Geniez AI 成立于一年前,团队仅 6 人,曾获 600 万美元种子轮融资。
Anthropic 前沿红队发布研究,展示 AI 利用 15 台廉价安卓电视盒子分布式运行 Gemma4-26B-A4B 模型,总成本约 825 美元。实验表明 GLM-5.2 能在模拟网络中自主扫描节点并部署推理服务,而 Qwen3.5-9B 通过继承前代操作经验,部署成功率从 45% 提升至 61%—84%。
推荐理由:文章揭示了 AI 借助物联网设备自主复制的潜在风险,并验证了小模型经验继承机制对提升部署成功率的作用。
Anthropic 宣布内部源码控制系统已全面从 Git 迁移至自研的分布式架构 Scion 和代码审查工具 Antique。针对 AI Agent 高频协作产生的 3 万次日均代码合并负载,Scion 通过去中心化缓存和 API 优先设计,将 CPU 资源占用降低 200 倍,检出速度提升两个数量级。
Anthropic因内部Claude写代码速度过快,导致使用20年的Git系统无法处理其基础设施需求,遂成立7人团队耗时5个月自研代码版本控制系统Scion。Scion支持虚拟化checkout,显著降低资源消耗并提升效率,同时Anthropic指出其他公司将在未来6至12个月内面临同样的工具瓶颈。
MemSilicon 宣布完成基于 1T4R 技术路线的首代高密度大容量 RRAM 芯片“泰山一号”流片。该芯片采用 28nm 工艺,单芯片容量 1Gb,密度达 30Mb/mm²,访问延时小于 20ns。
llms.txt 是一个位于网站根目录的纯文本文件,用于告知 AI 助手网站身份及优先读取的页面。该文件采用 Markdown 格式,包含 H1 标题、单行描述、H2 分区及带有简短事实性注释的绝对 URL 链接列表。
Anthropic发布源码控制系统Scion,已在单体仓库中取代Git以应对AI编程负载。内部代码合并量4个月激增12倍,导致日均CI代码检出达2500万次。Scion通过客户端始终在线、服务器端提交及分布式缓存等设计,将CI检出速度提升两个数量级,基础设施占用空间降至Git镜像的1/200,并实现了25%的CPU容量提升。
Purlin 提出了一种将集合通信的语义、编排和数据路径分离的 scale-up 通信框架。 其核心包括基于输入输出布局的集合定义、共享的 SNAC 编排协议以及硬件相关的 Atom 数据路径。 在 A100、H200 和 B200 GPU 上,Purlin 实现了最高 5.14 倍延迟加速和 4.50 倍带宽提升,集成 SGLang 后显著提高了 LLM 服务吞吐量与交互性。
Koa-decision 将分类等原子动作转化为单 token 输出的约束生成,通过引入原子标签 token 并应用监督微调,实现低延迟确定性解码。在意图路由基准测试中达到 85.5% 准确率,响应时间约半秒,比最前线模型快最多 7.5 倍。该框架支持多模态输入和多标签输出,填补了现有系统在此类任务上的空白。
利用轻量适配器微调路由器并据此剪枝 MoE 专家,可在保留精度的同时大幅降低资源占用。 在 Mixtral-8×7B-Instruct 上,router-only LoRA 仅训练 0.002% 参数,移除半数专家后 MMLU-Pro 准确率为 27.54%;剪枝使内存减少 49%,每 token 延迟降低 37%。
SAKI 是一种免训练 KV cache 索引方法,直接保留注意力分数而非 Key 重建质量,在多个基准模型上优于 PCA。 在 rank 32 时,SAKI 消除了 PCA 剩余 top 64 recall 误差的 13% 到 30%,LLaMA 3.1 8B 的 recall 从 0.748 提升至 0.799。
Spectra 算法调度并行光路交换机处理 AI 训练流量,将 GPT 工作负载完成时间缩短 1.4 倍。 该算法通过分解加权排列、感知负载分配及均衡拆分三步实现,在 MoE 工作负载中缩短 2.7 倍。 已获 IEEE/Optica 期刊接收。
该研究提出前缀感知调度器 Feather,利用强化学习(RL)优化 LLM 推理中的批处理大小与前缀同质性平衡。 Feather 集成 Chunked Hash Tree (CHT) 数据结构以加速前缀检测,集成到 vLLM 和 SGLang 后,端到端吞吐量比现有调度器高 2-10 倍。 在未共享前缀的工作负载下,Feather 性能不逊于现状,通过减少 KV cache 访问次数实现性能提升。
研究团队推出 LunaTP,通过节点中心化执行加速等变 MLIP 的核心 Clebsch-Gordan 张量积卷积。 基于 NVIDIA H100 GPU,LunaTP 内核速度较 e3nn 提升最高 250.0 倍,较 OpenEquivariance 提升 17.1 倍;端到端训练吞吐量分别提升最高 28.7 倍和 3.11 倍。
论文提出 VibeServe,这是首个端到端生成完整 LLM 服务系统的 agentic loop。该系统由规划和实现/评估内外双循环组成。在 Llama-3.1-8B 上,VibeServe 性能匹配 vLLM 和 SGLang;在 4 块 AMD MI300A 上运行 397B MoE 模型时,吞吐量达经过调优的 SGLang 的 2.3 倍。
智能体 ATTUNE 在 Llama-3.1-405B 和 GLM-4.5 上分别将吞吐量提高 6.7% 和 33.9%。 其调优在相同预算下优于 OptiCo 和贝叶斯优化,并在 1 天内收回 GPU 成本。 团队开源了 ATTUNE 代码及 TrainingThroughputBench 基准。
DTScribe 利用本地大语言模型自动化生成数字孪生报告所需的概念架构与描述模型。 系统基于 21 项特征框架提取细节,通过 Ontological Modeling Language 生成模型,并使用 LLM 评审与本体推理进行完善。 研究发现,约 200 亿参数的本地模型配合至少两轮推理循环,即可产出与更大模型相当的高质量结果。
FORGE 系统利用片上 Rotor Generation Unit 动态生成专家权重,取代了 HBM 中存储的完整张量。 每个投影仅需 $O(\log^2 d)$ 转子参数,用不足 1MB 种子近似 GB 级权重,显著降低显存带宽瓶颈。 在五类稀疏 MoE 模型中替换 30% FFN 层后,系统吞吐量提升 1.3-2.8 倍,KV cache 容量扩大 1.2-2.6 倍,但精度低于未替换模型。
LinMorph 提出将 Video DiT 线性化重构为可学习的 softmax 到线性权重转换问题,以解决现有方法中初始化的根本瓶颈。 该方法学习跨参数变形,使目标 Gated DeltaNet 参数从预训练的 query、key、value 和输出投影中联合汲取知识,而非复制预定义对应物。
研究证实轻量级调度策略可在不改模型架构下优化 LLM 服务性能。 团队在 L40S、A100 及 H100 上评估 8 种策略,涵盖 Qwen、Gemma 等模型。Aging shortest-prompt-first 为最优实用基线。
针对部署后的 Deepfake 语音检测器,提出一种基于内部嵌入的无监督数据漂移监测方法。 该方法利用正则化 Mahalanobis 距离,将输入划分为可信、模糊和未知区域,并在四个检测器上验证其能有效识别数据不匹配情况。
研究构建了基于硬件测量的地理分布式 LLM 推理模拟器,评估不同调度器在严格 SLO 下的碳减排效果。 测试了四种调度器,包括基于 MILP 的设施级调度方案。该方案在三种 LLM 下最多实现 60% 碳减排,SLO 违约率平均为 3%。 减排效果随电网碳强度空间分布差异增大而提升,随系统负载增加而下降,且依赖调度器获取负载更新的频率。