跳到正文
10月20日周二
  1. 面壁智能90

    面壁智能开源前瞻专家调度(LES)推理技术,实现35B MoE手机实时运行

    MiniCPM-V 团队开源了前瞻专家调度(LES)技术,首次实现35B-A3B规模MoE模型在iPhone 18 Pro Max上以超过20 token/s速度实时无损运行。该系统通过预测下一层专家提前加载权重、优化存储布局与混合精度量化、结合DSpark批量验证,在M4 iPad上以3GB内存配置实现了9.6 token/s的解码速度,相关代码已在GitHub开源。

    推荐理由:原文给出了调度、存储和计算三层系统的具体设计,读者可以据此理解35B MoE模型如何在不增加训练成本的情况下实现端侧实时运行。

  2. Hacker News LLM40

    Apertus:在自有服务器上使用 vLLM 部署瑞士开源多模态 LLM

    企业可通过在自有服务器上部署 Apertus 等开源权重模型实现 LLM 主权,避免依赖商业 API 带来的隐私和弃用风险。 Apertus 8B 模型采用 BF16 格式,需至少 32GB GPU 显存;测试基于 1 块 48GB Nvidia RTX A6000,使用 vLLM 框架并启用 thinking 模式。 该方案将数据保留在内部网络,确保核心资产私密且受控。

  3. Hacker News AI65

    Vite+ 作为 AI Agent 开发的优秀工具链实践

    作者经过三周实践,推荐在 Vite 新项目中将 Vite+ 放入给 AI 的首个提示词。该工具链通过 vp 命令统一管理创建、检查、测试和构建,将原本分散在 ESLint、Prettier 等多处的配置整合。实测显示,在 monorepo 中 CI 时间从 4 分钟缩短至 50 秒,pre-commit 检查从 11 秒降至 2 秒以内,且简化了 Agent 对验证流程的理解。

  4. IT之家42

    粉丝借助 AI 基于虚幻引擎 5.8 重制《恶霸鲁尼》

    推特用户 @ashen_one 正在利用 AI 辅助,基于虚幻引擎 5.8 开发非官方、非商用的《恶霸鲁尼》重制粉丝项目。 项目全程公开,演示视频显示当前版本在 Mac 设备上 1080P 分辨率可达 45 帧,性能将随迭代提升。 项目目前处于开发阶段,需按 GitHub 指引手动部署,开放给其他爱好者共同完善。

  5. Hacker News AI67

    Red Hat 工程师使用 Claude Code 解决 Linux 未记录驱动开发难题

    Red Hat 软件工程部总监 Christian Schaller 使用 Claude Code 加速 Linux 驱动开发,在数小时内完成扫描仪后端基础功能,数天内实现红外扫描等近乎完美的功能。该方法不反编译专有代码,而是通过 hw-harness 工具包捕获 Windows 虚拟机中的设备流量与 Linux 端流量进行对比,让 AI 分析差异并生成修复代码。

  6. R/ArtificialInteligence59

    制作 AI 音乐视频的经验:如何通过具体反馈和示例提升 AI 输出质量

    作者使用 Claude Opus 5.5 和 Suno 制作了一部 122 个镜头的 AI 音乐视频,发现泛泛的反馈(如“更大胆”)效果有限,而具体的视觉细节描述和提供参考示例能显著提升质量。作者强调,将改进过程保存为“技能”(Skills)可避免下次从零开始,并建议通过示例而非单纯描述来引导 AI 生成更优结果。

  7. GitHub Blog · AI & ML33

    GitHub Copilot 如何在 VS Code 中继续 App 会话

    GitHub Copilot 允许用户直接在 VS Code 中打开并继续其 App 端会话,无需重建上下文。 点击“Open in VS Code”即可加载包含任务、计划和对话记录的完整会话,项目通过关联的 worktree 隔离运行。 开发者可在编辑器中手动修改代码、运行本地测试,并继续向 Copilot 提问或推送更新至 Pull Request。

  8. AWS Machine Learning Blog36

    TwelveLabs Pegasus 1.5 已上线 Amazon Bedrock

    TwelveLabs Pegasus 1.5 在 Amazon Bedrock 上线,该视频语言模型支持单次分析长达 2 小时的视频并输出带时间戳的 JSON 元数据。 新增多模态提示、视频分段及实时处理功能,支持从 Amazon S3 URI 或 base64 字符串直接输入,无需预索引,数据保留在 AWS 边界内。

  9. 智东西24

    公开课:NVIDIA DGX Spark 本地部署智能体最佳实践

    NVIDIA DGX Spark 专为本地运行 Agent 设计,搭载 GB10 Grace Blackwell 芯片,具备 1 PFLOP FP4 算力。 设备配备 128GB 一致性内存,支持 2000 亿参数推理与 700 亿参数微调,预装 NVIDIA AI 软件栈。 10月23日,智猩猩联合紫光晓通举办专场,分享 DGX Spark 本地部署最佳实践,降低云端依赖。

  10. LessWrong · All Posts42

    利用校准概率与部分评分改进 RLHF 策略的建议

    提出一种通过让模型评估任务可行性概率而非二元判断的 RLHF 改进策略,旨在减少模型幻觉与奖励攻击。 评分机制包含部分答案得分、对不可能任务做出正确概率校准及推理过程奖励,并由第三方 LLM 在 RLHF 完成后进行再评估。 该方案通过识别误标记任务建立价值对齐,为后续开发更强的诚实模型提供可验证的训练路径。

  11. AWS Machine Learning Blog56

    vLLM 支持双向 KV 缓存传输以改善多轮智能体工作负载的 TTFT

    vLLM 引入双向 KV 缓存传输功能,让 prefill-decode 分离部署中 decode 节点保留已生成的 KV 缓存并反向传回 prefill 节点,避免多轮对话时重复计算上下文。在 Amazon EC2 P5en 实例的 1P1D 基准测试中,开启该功能后 Qwen3-32B 的 TTFT 最高降低 1.6 倍,zai-org/GLM-5-FP8 最高降低 3.3 倍。

10月19日周一
  1. Hacker News LLM32

    隐私 LLM 应用为何重要:开源权重模型与 Merrin 的本地推理实践

    主流云端 AI 助手默认开启模型训练,且数据删除难以彻底,而开源权重模型(如 Gemma、Llama、Qwen)现已能在手机本地运行。 作者开发了隐私应用 Merrin,利用本地推理确保对话、记忆及记录完全保留在用户设备上,支持离线使用且无服务器副本。 该设计消除了数据泄露与商业滥用风险,用户可完全掌控记忆存储与删除,实现真正的数字隐私保护。

  2. R/ArtificialInteligence51

    利用结构化中介程序隔离 Prompt 注入的 LLM Agent 安全架构设计

    作者设计了一个安全架构,让所有用户输入先经过非 LLM 的中介程序(mediator)处理,通过匹配有限模板列表将不可信文本限制在类型化表单中,确保未经过 Schema 验证的数据无法触达具有副作用的行动代理。该方案的不变式是任何未经验证的用户输入只能流向无权限操作资源的只读代理,其逻辑类似于 SQL 中的参数化查询,作者希望社区读者能对这一将模型行为限定在有限允许列表内的思路提出意见。

  3. 量子位39

    AI 迈向生命世界模型,Biohub 与哲源科技构筑数据算力底座

    Biohub 联合 Meta 和 DeepMind 等投入 18 亿美元,旨在通过构建“虚拟生物学”体系来预测生命行为。 该平台整合异构算力、多组学数据及智能 Agent,解决生命世界模型在跨尺度建模和湿实验验证中的工程挑战。 此举标志着 AI 生命科学竞争焦点从单纯的模型指标转向大规模数据与实验基础设施的底层能力。

  4. Hacker News LLM55

    Harness Engineering 101:LLM是头脑,Harness是身体

    作者发布《Harness Engineering 101》书籍,阐述LLM是无状态的大脑,Harness是构建、维护和保护上下文数组的身体。全书共16章,从一个约300行的Python玩具Agent开始,逐步解析工具调用、上下文管理、子Agent分叉等机制如何解决具体故障。

  5. R/ArtificialInteligence33

    DNA语言模型与AlphaGenome预测对象不同

    DNA语言模型学习序列模式,自回归模型如Evo 2比较序列似然,但不直接反映基因表达变化。 AlphaGenome基于实验测量预测基因表达和剪接结果,比较原始与变异DNA可提示受影响的分子过程,其评分依读出线而异。 两者均不构成诊断,AlphaGenome开发者明确限制其预测仅用于研究用途。

  6. APPSO86

    DeepSeek V4.1 Flash 发布:低成本复刻3D项目与动态效果

    DeepSeek 更新 V4.1 Flash,实测以约 4 元成本生成完整的动态 3D 网页,包含特斯拉飞行与 3D 游戏复刻效果,编程能力在 DeepSWE 等榜单上超越部分闭源模型。其基于自反馈强化学习提升了从零构建 3D 项目的效率,在性能与费用上达到新的帕累托最优,进一步拉低了高质量代码生成的成本门槛。

  7. Hacker News AI33

    Hacker News 讨论如何管理无法完全理解的 AI 生成代码

    开发者分享了使用 LLM 编写自向量编译器代码的实践,强调通过长规划、设计测试用例和严格的发布前门控(在 5 种架构上运行数小时)来保证质量。 该开发者认为代码质量较高,未出现常见的“低质”问题,并建议保持提交小而专注,类似适应同事的工作习惯。

  8. 豆包工作62

    豆包工作结合飞书搞定AI短片全流程的实践教程

    豆包工作结合飞书工作流,在一个对话框内完成AI短片的角色形象确认、分镜设计与Seedance 2.5视频生成。内容通过具体案例展示了如何利用多维表格与群聊无缝同步状态,从而减少工具切换,降低视频抽卡次数。

    推荐理由:演示了如何用飞书工作流串联角色、分镜和视频生成,展示了单一对话框提升团队视频协作效率的实践方法。

  9. Qoder34

    电子工牌接入 Qoder Cloud Agents 构建常驻云端个人助理

    电子工牌接入 Qoder Cloud Agents,实现一个常驻云上的随身个人助理。 该助理通过硬件板子交互,依托云端维护个人知识库,支持待办全生命周期管理及主动调研,结果可同步至邮箱或服务器数据库。 使个人助理不依赖单一设备在线,具备持续执行任务的能力,助力打造“超级个体”。

  10. 阿里语音AI54

    阿里语音团队解读流式 ASR 技术演进:从 Hybrid 系统到大模型语音识别

    阿里语音团队团队发文解读流式自动语音识别(Streaming ASR)的技术演进。文章对比了 Hybrid 解码、CTC、RNN-T、Attention 及大模型时代的四种流式实现路线,指出核心矛盾在于准确率与延迟的平衡。作者建议根据输入法、会议转写或语音智能体等不同场景,结合 WER、发射延迟和系统吞吐等指标综合选择技术方案。

  11. Hacker News AI68

    利用 GitHub Actions 为个人 AI 智能体仓库构建合并队列

    作者基于 Spool 项目实践,用 GitHub Actions 为个人仓库构建了支持多 AI 智能体并行的合并队列。当智能体快速生成 PR 时,该队列通过自动 rebase、CI 验证及状态发布,解决 PR 落后于 main 分支的协调问题。作者详细说明了队列触发逻辑、权限安全限制以及处理测试失败和分支变化的恢复机制。