跳到正文
  1. Hacker News LLM82

    通过修改 LLM 输出层单行权重停止过度思考

    作者通过修改 </think> 行的输出层权重,在免训练条件下让模型根据隐藏状态判断何时停止思考。在 Qwen3.5-4B 上,该方法在保持准确率的同时减少 54% 的 token 用量;在 DeepSeek V4.1 Flash 763B 上,解决数学题的 token 用量降低 40%,且代理任务的盲评得分最高。

    推荐理由:提供免训练的单行权重修改方法,读者可复用在本地模型以缩短思考时间并节省token。

  1. 36氪75

    实测苹果国行AI:苹果+千问混合方案落地

    苹果国行版Apple智能正式上线,采用苹果端侧原生模型与通义千问混合方案,正式版随iOS 27.3于12月推送。首批功能覆盖9种语言实时通话翻译、邮件信息摘要、照片消除及视觉智能等,复杂创作与深度问答由千问兜底。该方案仍处单点能力补齐阶段,暂不支持Agent自主执行复杂长任务,相比国产AI手机已卷起的智能体生态,其核心差异在于由用户全程主导千问功能的调用权限。

    推荐理由:实测拆解了苹果智能与千问的联动逻辑及端侧边界,可帮读者判断苹果在国内AI手机赛道的策略差异与功能落地情况。

  1. Hacker News LLM81

    6GB 显存预训练 1B 参数大模型的方法

    作者展示在 6GB 显存笔记本上预训练 1.1B 参数 LLM 的工程方法,通过分层训练、三值量化和低精度计算将显存峰值控制在 5.24GB,实测每步耗时 12.335 秒,完整预训练预计需 132-211 天。

    推荐理由:展示了通过分层训练和量化将 1B 大模型预训练限制在 6GB 显存内的具体工程路径与实测数据。

  1. 面壁智能90

    面壁智能开源前瞻专家调度(LES)推理技术,实现35B MoE手机实时运行

    MiniCPM-V 团队开源了前瞻专家调度(LES)技术,首次实现35B-A3B规模MoE模型在iPhone 18 Pro Max上以超过20 token/s速度实时无损运行。该系统通过预测下一层专家提前加载权重、优化存储布局与混合精度量化、结合DSpark批量验证,在M4 iPad上以3GB内存配置实现了9.6 token/s的解码速度,相关代码已在GitHub开源。

    推荐理由:原文给出了调度、存储和计算三层系统的具体设计,读者可以据此理解35B MoE模型如何在不增加训练成本的情况下实现端侧实时运行。

  1. Hacker News AI77

    本地AI模型基准测试:MiniSforum MS-S1 MAX 硬件下各大模型实测表现

    作者使用搭载 AMD Ryzen AI Max+ 395 和 128GB 内存的 MiniSforum MS-S1 MAX 设备,对多款本地部署的大语言模型进行代码能力基准测试。测试结果显示 Qwen3.8-27B 在编码任务中表现接近顶级云端模型,但响应速度较慢;Swift Q6_K 在速度优化后表现均衡;Gemma 4 在处理复杂代码审查任务时出现误报。

    推荐理由:该评测通过六项真实代码基准测试,量化对比了本地端侧大模型与云端模型在实际开发场景中的性能差异。

  1. 面壁智能62

    OpenBMB 开发者大明哥:基于 VoxCPM 构建 AI 语音中台,一年落地百款应用

    深圳耐思技术负责人大明哥团队基于 OpenBMB 的 VoxCPM 模型,自研 S2S、MDN、QUIC 三条全语音链路及“前端挂起式打断”机制,解决传统串行链路无法打断、延迟高的问题。团队利用 VoxCPM 完整版与 Nano 版分工,结合六库系统打造数字分身,在 9 个月内以平均三天一个 MVP 的节奏落地上百个应用,涵盖明星生日祝福、老人有声自传及 AI 采访助手等场景。

    推荐理由:文章通过耐思团队案例,展示了基于 VoxCPM 构建全语音链路及前端挂起交互的落地路径,揭示了端侧语音应用从 Demo 到商业化的技术细节。

已经到底了