BCL 实现无协调分布式训练负载正则化
提出无协调数据加载策略 BCL,通过重划分固定基数包平衡批次成本,最高降低 82.8% 的批成本变异。 在 13 个语料库及 8 块 H200 GPU 测试中,BCL 比 MFFD 快 1.05 至 1.167 倍,编译后速度提升 1.197 至 1.343 倍。 结果证明可在数据加载边界消除显著变量成本不均衡,无需运行时修改或跨 rank 元数据交换。
提出无协调数据加载策略 BCL,通过重划分固定基数包平衡批次成本,最高降低 82.8% 的批成本变异。 在 13 个语料库及 8 块 H200 GPU 测试中,BCL 比 MFFD 快 1.05 至 1.167 倍,编译后速度提升 1.197 至 1.343 倍。 结果证明可在数据加载边界消除显著变量成本不均衡,无需运行时修改或跨 rank 元数据交换。
LLM 智能体在三个 RTL 设计中,通过 8 次迭代将功能覆盖率从 88.9% 提升至 100%。 系统从 cocotb-coverage YAML 报告读取数据,并使用独立于模型的记分板检查数据完整性,但未对 LLM 生成的测试进行独立校验。
AbridgeKV 将生成的长链思维压缩至少量学习到的暂停 token 的 KV 条目中,取代原始缓存。 在 AIME 等 446 道竞赛题上,保留 1/4 生成缓存的 AbridgeKV 在准确率和输出长度上与全 KV 模型相当;在 vLLM 部署中,序列缓存缩小 3.5 倍,H100 完成任务速度提升 3.2 倍。
summary_zh: BitSparse 是一种 GPU 驻留的无损压缩格式,专为处理重新出现的稀疏 ReLU 和 ReLU² 激活设计。它通过自定义 Triton 内核将压缩和解重构集成到 autograd 函数中,在缩减激活缓存的同时确保反向传播能精确恢复数据。
LCT 是一种针对训练场景设计的 GPU 执行框架,利用浮点数据冗余实现无损张量压缩,最高压缩率达 1.455 倍。 框架通过高度优化的 GPU kernel 实现基于预计算码本的 Huffman 编码,在 162M 参数 NanoGPT 上降低 24.6% 内存占用,并支持 Qwen3-4B 微调时将上下文长度扩大 3.5 倍。
研究人员将20.1M参数、12层的GridFM教师模型蒸馏为0.62M参数、6层的学生模型,参数量减少32.5倍,消息传递深度减半。 该过程采用结合掩蔽功率流损失、输出、物理残差、潜在状态和注意力转移的多目标蒸馏方法。
提出SL1ESN,通过平滑L1正则化增强Echo State Networks读出层稀疏性,支持集中式训练与二阶联邦聚合。 在7个基准测试中,集中式设置读出层稀疏度达77%-95%,联邦设置达75%-95%;前5个基准精度差距均不超过0.7个点(集中式)或1.6个点(联邦式),联邦更新仅需几轮收敛。 结果证明稀疏读出能显著压缩模型存储、推理成本及服务器-客户端广播开销,适用于边缘计算与物联网部署。
summary_zh: RoLaQ 提出一种离线方法,通过联合旋转与量程校准优化 MLA 中 2-bit KV 缓存的量化精度。 在 DeepSeek-V2-Lite 模型上,其 SGLang 实现同等内存下 KV 容量达 BF16 的 3.96 倍,256K 输入时解码吞吐量提升 2.51 倍。
港科大周子杰团队与华为 2012 实验室提出 BalanceRoute,解决 MoE 模型推理中同步等待瓶颈。在 96 卡主实验中,BR-H 策略使解码吞吐提升约 15%。 该方法通过数学建模刻画负载不均衡,利用短期预测进行在线路由决策。目前该成果已被 NeurIPS 2026 接收,并部署于 MaaS 推理服务系统 MathBot-Pie。
台积电CEO魏哲家在财报电话会上宣布,公司已量产5倍光罩尺寸先进封装,且良率“非常优秀”。 目前除台积电外,尚无其他企业能达到这一规模,客户对量产结果十分满意。 台积电正准备在竞争对手产能不足时“救场”,强调首要任务是保障客户产品顺利上市。
summary_zh: 丹麦国防企业 MyDefence 近日推出可穿戴无人机探测设备 Wingman Edge,单兵最远在 6 公里外识别潜在空中威胁。 该设备结合射频识别与设备端 AI 频谱分析,被动扫描 200 MHz 至 6 GHz 频段,重量不足 1 公斤,约 10 秒内发出警报。
Primus Projection 引擎通过混合投影和自动调优,将分布式 LLM 训练配置搜索效率提升 10 倍以上。 在 Llama 3.1 和 Mixtral 8x22B 上验证,DeepSeek V3 671B 在 1024 GPU 上预测误差仅 4.7%,Mixtral 8x22B 吞吐量提升 27%。 该方案于 NeurIPS 2026 被接收,解决了多节点试错的高 GPU 成本问题。
苹果研究团队发布 Minions 系统,通过聚合闲置 Mac GPU 构建动态虚拟 GPU 云,使原本需排队 10 小时的大规模推理任务可在数分钟内开始执行。
该开源仓库提供分层 AI 科研工具目录,覆盖文献发现、LaTeX 写作及可复现性框架。 目录按 Tier 1-3 划分,集成 Consensus、Semantic Scholar 及 Weights & Biases 等工具。 包含 Elsevier 等出版商 AI 披露规则清单,支持社区维护与自主智能体研究。
Seldon Functions 通过编译优化替换数据管线中的前沿 LLM 调用,在两组生产级任务中大幅降低成本。
Brod 是一款自托管云端工具,允许 AI 代理通过 MCP 协议部署团队内部应用。它提供工作区管理、基于角色的身份认证、静态与服务端应用部署、加密 Secrets 以及 Staging 发布与回滚功能。支持通过 docker compose 在本地运行,或通过代理将示例应用快速部署到浏览器中。
同一 Qwen2.5-1.5B-Instruct 模型文件在 MacBook M1 与 NVIDIA Jetson Orin Nano Super 上,即使输入相同 token IDs,也会产生不同答案。
sifty 允许仅通过 URL 对网页进行分类,返回标签及概率且不回传页面内容。这能让 AI Agent 避免消耗 token 读取登录墙或错误页。免费层每日提供 1000 个单位额度,支持并行处理。
该计划强调 FDE、AI4O 和 OPC 等实战能力,旨在解决真实产业问题。 改革聚焦培养能定义问题、具备商业判断力的复合型商业领袖。
量子位智库发布《Agent驱动的企业智能化:单点提效到规模化重塑》报告,拆解企业AI落地的六大断点,提出全链路破局框架。 报告指出成熟企业级Agent需贯通任务、上下文、判断、行动、控制与衡量;网易智企案例显示,数帆EasyData与知数DataAgent将财务预算分析从2-3小时压缩至10分钟,CodeWave SDD助力企业实现最高2.5倍提效。
京东 11.11 首日下单用户数实现同比双位数增长,超百项细分服务产品首次全景展示。 推出京东服务“333”计划应对行业痛点,单项服务最高优惠 4680 元;蓝领体系累计培养超百万人员,未来 3 年再培养百万。 京东体系生产性服务规模超 3000 亿元,覆盖超 1000 万家企业客户。
SGLang 是一个面向 LLM、视觉语言模型和扩散模型的开源推理框架,支持大规模服务与 RL 工作负载。它支持多种 GPU、TPU、NPU 和 Apple Silicon 平台,生态包括 SGLang Diffusion、SGLang Omni 音频模型服务及 SpecForge 推测解码。
Gimlet Labs 联合 UIUC 和 Intel 在 IEEE IISWC 2026 发布论文,通过追踪 Claude Code 运行 ReAct Agent 的全轨迹,揭示 Agentic AI 对推理服务系统的挑战。
Apple 在 Mac Studio 集群上验证了使用 MLX 和 RDMA 本地推理近万亿参数模型 Muse Spark Open 的能力,4 台 M5 Ultra 集群生成速度超过 36 tokens/秒。该方案利用 Thunderbolt 5 低延迟通信驱动,支持 pipeline 和 tensor 并行策略,在 65,536 上下文长度下显著降低首 token 延迟,峰值功耗仅 300W。
AMD 发布了名为 Helion 的 Agentic AI 机架(agentic AI rack),提供了一个基于 Open Compute Project(OCP)spec-design 的开放架构蓝图,旨在满足智能体 AI 基础设施的灵活需求。
Type Safe AI 推出 System One 模型 Jev,输出带置信度校准的决策。官方数据显示其比 LLM 快 193.6 倍,成本低 444.6 倍,输入价格每十亿 token 42 美元。
Microsoft Research 推出 Magnetar 系统,支持 Rust、Go 或 C 程序生成零知识证明,验证仅需毫秒。 Magnetar 平均运行速度比此前最快系统快 10 至 39 倍,且安全性仅依赖标准哈希函数,规避了量子计算威胁。 该系统使通用程序无需修改即可获得可验证执行证明,推动了无信任依赖的计算模式落地。
Hugging Face 官方宣布 FLUX.3 Image Klein 已集成到 Diffusers,该模型支持文生图、多参考图生图以及基于 bounding box 的图像布局控制。H100 上蒸馏版 checkpoint 可在约 2 秒内生成 1024 × 1024 图像,并支持 NVFP4 和 FP8 量化权重。
推荐理由:介绍 FLUX.3 Image Klein 在 Diffusers 的集成细节,重点展示了 bounding-box 布局控制功能及多种量化推理方案。
GitHub AI Scan 针对 Pull Request 的功能现已全面可用。该功能补充 CodeQL,能检测 PHP、Shell、Terraform (HCL)、Dockerfile 等 CodeQL 未覆盖的语言和框架中的漏洞。
AI正通过干湿实验闭环颠覆制药行业,大幅压缩新药研发时间与成本。产业形成AI技术公司、CRO服务商、传统药企三类玩家协作格局,英矽智能管线Rentosertib进入III期,成为关键验证节点。
DeepSeek 因服务故障中断近 5 小时,官方按 10 月 8 日至 14 日 API 消耗全额发放赠金补偿。 补偿赠金自动到账,后续调用 API 时优先抵扣。DeepSeek 已启动全面排查,将剥离单点依赖以防故障重演。
Anthropic 宣布弃用 Git,转而采用自研版本控制系统 Scion,将提交、合并等代码管理操作转移至服务器端执行,以降低智能体和自动化任务的本地数据下载与存储需求。
图形引擎师可利用 GPU 优化直觉加速 LLM 推理,Q4_K_M 量化在速度和质量间取得最佳平衡。 作者使用 llama.cpp 在 RTX 3090 上测试 Qwen3 模型,将 Q4_K_M 作为默认量化格式,并分析了预填充与解码阶段的差异。 该方法为实时图形工程师提供了一套通用的推理优化地图,用于识别瓶颈并减少不必要的内存流量。
本指南演示如何构建一个自动记账代理,它将月度收据、账单、付款和银行对账单转化为对账后的账簿及月末会计包。代理运行在 Meta 的 Muse 中,利用 Unsiloed 读取文档并返回置信度分数与引用位置,使用 Python 处理确定性计算,并调用 TypeSafe 的 Jev 模型进行窄范围的类型化判断。
Windows 针对 Nvidia 的 RTX Spark 笔记本进行了深度优化,该机型采用 Arm 架构 CPU 与 Blackwell GPU 结合统一内存设计。
阶跃星辰开放 Step 5 Preview 的 BF16 与 FP8 权重,上线 Hugging Face 和 ModelScope,支持 100 万 token 上下文窗口,可通过 vLLM 或 SGLang 部署。
同一新闻,精选展示《阶跃 Step 5 Preview 权重开放,技术博客同步上线》
在比较智能体工作流时,以“每个成功任务的成本”代替“每次模型调用的成本”更能反映真实开销。即使单次调用便宜,失败或重搜仍会推高总支出。 应记录所有尝试(含失败)的计费调用、工具调用及计算用量,并预先定义可接受的输出标准。
NVIDIA 宣布 Run:ai 全面开源,这是一个基于 Kubernetes 的 AI 工作负载与 GPU 编排平台。 它支持 AI 感知的 GPU 调度、动态共享分配及多集群管理,通过 KAI Scheduler 扩展原生调度能力。 该平台旨在高效共享 GPU 资源,覆盖训练与推理工作流。
作者根据今年构建并运行的四个 AI 系统,拆解了 Agent 的运行成本,主要涵盖模型调用、驱动的系统以及防止静默失败的护栏。在模型调用方面,DeepSeek V4.1 Flash 执行一千个相同步骤成本为 0.46 美元,而 Claude Opus 5.5 则高达 26 美元。除模型费用外,实际运行中还需计入代理流量、服务器资源及故障修复时间,其中 8 天的静默故障是成本被忽视的典型例子。
Openkoda 提供全托管的保险政策管理云平台,支持团队通过 AI 快速配置从报价到理赔的全流程。 系统内置 MCP server、Stripe 及 Office 365 集成,提供多租户支持和 API,可选私有化部署以避免数据锁定。 团队拥有企业级金融与保险系统开发经验,支持固定价格签约,无按席位或保费百分比收费。