跳到正文
10月20日周二
  1. IT之家42

    粉丝借助 AI 基于虚幻引擎 5.8 重制《恶霸鲁尼》

    推特用户 @ashen_one 正在利用 AI 辅助,基于虚幻引擎 5.8 开发非官方、非商用的《恶霸鲁尼》重制粉丝项目。 项目全程公开,演示视频显示当前版本在 Mac 设备上 1080P 分辨率可达 45 帧,性能将随迭代提升。 项目目前处于开发阶段,需按 GitHub 指引手动部署,开放给其他爱好者共同完善。

  2. arXiv · AI24

    Gypscie: 跨平台 AI 制品管理系统

    Gypscie 是一个跨平台 AI 制品管理系统,通过知识图谱和基于规则的查询语言提供统一的制品视图,简化 AI 应用开发与部署。 系统支持将模型生命周期活动表示为高层数据流,并可在服务器、云平台或超级计算机上调度,同时记录溯源信息以支持可解释性。

  3. arXiv · AI39

    Koi:面向多云异构 LLM 推理机队的证据引导、自校准集群规划器

    Koi 是一种自校准集群规划器,在异构集群上将每 token 成本降低 20%,好put(goodput)较最强基线提升 1.18 倍。 它采用递归语言模型(RLM)层级生成假设,并用固定因果图关联加速器、并行度等决策与延迟、吞吐量等结果。 Koi 的消融实验显示,完整规划器综合得分 70.8,显著高于纯语言模型的 35.3 和配备确定性工具的 51.6。

  4. arXiv · AI33

    UC-RAMP:面向混合专家模型的层级微型专家剪枝框架

    UC-RAMP通过分离专家容量分配与通道选择,在25%和50%剪枝率下于6种设置中的5种取得最高十任务平均准确率。 在50%剪枝下,该框架在三款模型上分别以8.19、3.96和6.14个百分点的优势超越最强基线。 在单张A100显卡25%剪枝部署中,UC-RAMP使首token时间减少19.7–23.9%,每输出token时间减少20.2–22.3%。

  5. arXiv · ML32

    内存受限 LLM 服务中由服务引发的拥塞现象分析

    该研究构建了离散时间动力学模型,分析高并发下 LLM 推理因 KV cache 累积导致的服务引发拥塞及驱逐机制。 针对同质负载,除测度为零的特例外,系统收敛至唯一最坏情形极限环,造成高达 50% 的吞吐量损失。 该工作确立了服务引发拥塞为结构不稳定机制,并推导了维持高吞吐调度的设计原则。

  6. arXiv · ML25

    LOOP 框架提出通过在线策略蒸馏实现对齐恢复的迭代层剪枝

    针对 LLM 部署中一次性层剪枝易导致推理能力严重退化且恢复困难的问题,提出迭代式框架 LOOP。 该框架将剪枝与恢复交叉执行,每次移除单层并进行短期在线策略蒸馏,利用恢复过程的轨迹与信号实现感知恢复的层选择。 实验表明,在不同模型规模和剪枝比率下,LOOP 的平均准确率持续优于一次性基线方法。

  7. arXiv · NLP35

    Coral:面向异构云 GPU 的成本高效多 LLM 服务系统

    Coral 是一个自适应、异构感知的多 LLM 服务系统,通过联合优化资源分配与副本服务策略降低成本。 该系统采用无损两阶段分解方法,将在线求解时间从数小时缩短至数十秒。 在 6 个模型和 20 种 GPU 配置的评估中,Coral 相比最强基线降低了最多 2.79 倍的服务成本,并在资源受限下实现了最多 2.39 倍的有效吞吐提升。

  8. IT之家76

    英伟达 Vera CPU 获 AI 初创公司 Modal 订单

    云算力初创公司 Modal 宣布将首次采用英伟达 Vera CPU 来托管 AI 智能体。早期测试显示 Vera CPU 使智能体任务处理吞吐量提升一倍。Modal 计划建立混合算力集群,英伟达 Vera 芯片将与现有英特尔、AMD 设备并行部署。Modal 上周完成了由 Accel 领投的 7.5 亿美元融资,投后估值达 157.5 亿美元。

    推荐理由:Modal 决定引入英伟达 Vera CPU,读者可以据此判断英伟达正在 CPU 市场撕开的裂缝有多大。

  9. Hacker News AI23

    Show HN: 自托管 AI 支出归因工具

    该自托管工具通过提供商、密钥和个人维度追踪 AI 支出,确保数据与发票完全匹配。 目前提供名为 Acme Analytics 的虚构样本,包含横跨 Anthropic、OpenAI、OpenRouter 及 Cursor 共十三个月的合成支出数据,用户无需登录即可直接探索。

  10. HackerNoon · AI30

    SaaS 定价页揭示的 2026 年隐性涨价与 AI 附加费模式

    SaaS 厂商通过层级洗牌、单位改名等结构性调整实现隐性涨价,AI 功能多作为按席位、用量或独立高级套餐的附加费收取。 买方实际成本需计算“基础计划 + AI 附加费 + 预期用量”,且需警惕最低席位要求、超额费率及区域汇率差异。 未包含对行业整体趋势的宏观预测,仅关注具体定价结构对买方预算测算的影响。

  11. AWS Machine Learning Blog37

    Amazon SageMaker JumpStart 2026 年度回顾:新增超 100 个模型,覆盖 30 家提供商

    2026 年 1 至 9 月,SageMaker JumpStart 新增超过 100 个模型,来自 30 家提供商。 重点纳入 Alibaba(Qwen)29 个模型、NVIDIA 17 个模型及 Mistral 7 个模型,支持 LoRA、SFT、DPO 等微调技术。 强化多模态与高效推理能力,提供量化模型如 GLM-5.2 FP8 和 MiniCPM5-1B。

  12. Hacker News LLM38

    Taco 利用 GPT-2 实现跨 CPU/GPU 无损压缩

    Taco 是一个基于 GPT-2 的无损压缩器,通过 HardShell 引擎仅使用整数算术,确保在所有 CPU 和 GPU 上生成完全相同的字节。 当前为 0.1.0 概念验证版本,主要特性是保证跨机器(如 macOS 与 Linux)压缩一致性,而非追求速度。 它是实验性工具,速度慢且并非 zstd 或 xz 的替代品,用户需保留数据副本。

  13. Hacker News AI67

    Red Hat 工程师使用 Claude Code 解决 Linux 未记录驱动开发难题

    Red Hat 软件工程部总监 Christian Schaller 使用 Claude Code 加速 Linux 驱动开发,在数小时内完成扫描仪后端基础功能,数天内实现红外扫描等近乎完美的功能。该方法不反编译专有代码,而是通过 hw-harness 工具包捕获 Windows 虚拟机中的设备流量与 Linux 端流量进行对比,让 AI 分析差异并生成修复代码。

  14. 智东西24

    公开课:NVIDIA DGX Spark 本地部署智能体最佳实践

    NVIDIA DGX Spark 专为本地运行 Agent 设计,搭载 GB10 Grace Blackwell 芯片,具备 1 PFLOP FP4 算力。 设备配备 128GB 一致性内存,支持 2000 亿参数推理与 700 亿参数微调,预装 NVIDIA AI 软件栈。 10月23日,智猩猩联合紫光晓通举办专场,分享 DGX Spark 本地部署最佳实践,降低云端依赖。