跳到正文
10月11日周日
  1. Hacker News AI32

    Show HN: Flopper 是一款 AI 基础设施硬件探索工具

    Flopper 是一个免费的 AI 基础设施硬件探索平台,核心功能是整合并对比 221 款数据中心 GPU 的规格与云租赁价格。 该平台支持 FP64 至 FP4 全精度对比,覆盖 NVIDIA、AMD、Intel 和 Google 等厂商,并追踪 786 个全球 GPU 数据中心。 提供 GPU 集群配置计算、架构深度评测及数据中心 GPU 选型指南等实用工具。

10月10日周六
  1. 硅基流动35

    硅基流动推出 TokenPlus 词元优选:一站式模型接入与智能路由平台

    硅基流动正式发布 TokenPlus 词元优选,一站式接入多模型并实现智能调度。 平台默认采用价格优先负载均衡策略,通过 Session 亲和性提升缓存命中率以降低 Token 成本;支持自动故障切换及服务提供商黑白名单,确保调用稳定性。 提供项目级权限分配与预算管理能力,简化团队 AI 模型使用流程。

  2. Hacker News AI44

    TaskHandoff 发布:自托管 AI 智能体容器化控制平面

    TaskHandoff 是一款处于 Beta 阶段的自托管控制平面,用于在本地和远程机器上运行及管理容器化 AI 智能体。 该平台支持多节点管理、Docker 工作区、环境模板及 Telegram/WeChat 等聊天集成,架构包含控制平面、节点代理和受控实例三层。 支持 iOS/Android 移动客户端及 Debian/Ubuntu 系统服务部署,界面支持中英双语切换。

10月9日周五
  1. Hugging Face Blog48

    Ai2 推出基于预算的 GPU 集群调度器以提升高影响力研究占比

    Ai2 AI 基础设施团队用含 GPU 时间预算、分层公平份额分配和时间切片机制的新调度器取代优先级调度器,使 GPU 时间分配从个案运营转为透明的行政预算流程。该团队管理数千张 NVIDIA H100、B200 和 B300 GPU,集群规模 88 至 1024 张,服务约 150 名内部研究者。此前需求常超供给 2–3 倍,旧策略导致“占位”和优先级通胀等问题。

  2. HackerNoon · AI40

    构建智能家居 AI:物理服务器与云服务器的对比选择

    构建智能家居 AI 建议优先采用本地物理服务器,云环境仅作为处理模型训练等重任务的可选补充。 云端在算力、弹性扩展及低成本方面占优,但本地物理服务器在隐私、离线运行及响应速度上更符合用户核心诉求。 物理方案掌控了隐私、控制、能效和离线工作这五项关键指标中的四项,能显著提升智能家居 AI 的数据安全性与自主控制权。

  3. 硅基流动28

    东方资产 × 硅基流动:以国产算力为底座,构建企业级大模型基础设施

    东方资产携手硅基流动,基于华为昇腾搭建专属国产算力集群,部署推理引擎与网关平台,支撑金融业务规模化应用。 Prefix Caching 技术减少 60% 以上重复计算,结合量化与统一治理网关,实现稳定、安全且经济的模型调用管理。 该系统满足自主可控合规要求,为智能问答、尽调等场景提供长期稳定运行底座,缓解算力瓶颈。

  4. arXiv · AI27

    重新思考拒绝服务延迟攻击:针对 LLM 服务框架而非模型

    研究指出传统算法级延迟攻击对现代 LLM 服务系统无效,系统级优化如连续批处理可提供逻辑隔离。 论文提出针对调度器状态转移的“填充与挤压”(Fill and Squeeze)攻击策略,利用侧信道探测在 vLLM 上实现 75-742 倍 TTFT 退化。 该攻击比现有方法成本低 30-40%,平均处理速度降低 1.5-4 倍,表明系统层需重新评估安全防御。

  5. arXiv · AI28

    BEVPIPE:基于可移植 GPU 计算 API 的 BEV 感知部署框架

    BEVPIPE 框架利用可移植 GPU 计算 API 部署多模态 BEV 感知流水线,实现端到端 19.5 倍加速,保留 98.5% 参考 mAP。 该框架将模型划分为运行时管理的稠密子图和三个外部算子扩展,通过共享 GPU 内存空间连接,支持不同 GPU 后端。 解决稀疏卷积库仅限 CUDA 和 PyTorch 的厂商锁定问题。

  6. arXiv · ML21

    低成本室内空气质量监测传感器校准:数据集、评估场景与轻量模型

    研究人员提出一种结合输入窗口压缩与残差时间特征融合的轻量级时序模型,用于低成本传感器校准。 模型基于涵盖五个地点、为期六个月的室内空气质量数据集构建,在四种评估场景下均表现出优异的校准性能。 该方法有效解决了传统成对校准忽视时空异质性的局限,并在边缘端推理中保持低成本。

  7. arXiv · NLP37

    规模化会话分析中的陈述归一化

    该研究提出“先澄清文本,再聚焦读者”的原则,通过陈述归一化将对话转化为带说话人归属和语义标签的简短陈述。 在客服电话的报价抑制任务中,归一化提升了无选择监督分类器的性能,而较弱的提示型读者同时受益于归一化和选择。 该方案支持完全由小模型构建的推理流水线,使处理数百万次会话的分析成本显著降低。