跳到正文
  1. Hacker News AI78

    SID 团队研究估算 2026 年 LLM 每 15 天生成等于一个公开网页的 token

    SID 团队发布研究估算 2026 年全球 LLM 处理 token 总量在 200-230 千万亿之间,其中输出 token 约 1.5 千万亿。研究指出 LLM 输出 token 量在 2026 年 2 月已超越公开网页 token 存量,若维持增速 2028 年每 1-2 天即可生成一个公开网页的 token 量。

    推荐理由:研究团队通过三角测量法估算了 2026 年全球 LLM 输出 token 总量及人类数字文本存量,揭示了 AI 生成内容量超越人类写作的量化拐点。

  1. Hacker News AI91

    中国前沿 AI 模型带有出口管制 NVIDIA Blackwell GPU 的数字指纹

    Unemployment Labs 的取证分析表明,DeepSeek、Moonshot AI、MiniMax 和 Ant Group 发布的六款 2026 年模型在初始化阶段使用了受出口管制的 NVIDIA Blackwell 硬件。通过比对这些模型公开的权重与 PyTorch 随机数生成模式,研究人员识别出与 Blackwell 芯片架构匹配的数字指纹,相关置信度最高达到 1385 sigma。

    推荐理由:报告通过模型权重的随机数生成模式,提供了中国AI实验室访问受限硬件的技术证据,读者可据此理解相关指控的背景与验证方法。

  1. arXiv · NLP69

    Negation Neglect:模型在训练中忽略否定信息的机制研究

    研究引入 Negation Neglect 现象,指出在标记为虚假的文档上微调 LLM 会使其相信该虚假声明为真。实验显示 Qwen3.5-397B-A17B 的平均信念率从 2.5% 激增至 88.6%,且该偏差延伸至虚构标签和恶意行为模仿。

    推荐理由:揭示了模型微调中否定信息失效的系统性偏差,并展示其对恶意行为仿真的安全隐患。

  1. 机器之心68

    GPT-6 Astra 权重编辑对照实验:改权重未提升知识、风格与技能

    MIT CSAIL 提出 Weight-Space Programming,让 GPT-6 Astra 修改 Qwen3.5-0.8B 约 0.016% 权重,宣称将 MATH-500 成绩从 7.9% 提至 48.1%。无涯智远团队用超网络工具开展对照实验,发现关闭思考模式即可获得 48.95% 相近表现,且 Astra 在知识、风格与技能任务上无法稳定内化新信息。

    推荐理由:文章用对照实验拆解了权重编辑在知识、风格和技能内化上的局限,读者可据此判断其能否替代专门训练的超网络作为模型持续学习的手段。

  1. Hugging Face Blog61

    IBM 研究团队发布 Palette:基于 20B 模型构建自定义设计语言幻灯片的方法

    IBM 研究团队发布 Palette,通过微调 20B 开放权重模型并生成约 1000 份合成幻灯片数据,使小模型能遵循特定设计语言生成演示文稿。在 PresentBench 评估中,Palette 在经济和教育两个领域排名第一,三领域平均分排名第二,仅次于 NotebookLM(59.7 对 60.8)。

    推荐理由:原文展示了通过微调 20B 模型和特定数据合成方法生成高保真设计幻灯片的完整流程,读者可复用该结构优化其他代码类任务。

  1. arXiv · AI63

    ReClaim 利用全国医疗索赔数据构建医疗基础模型

    ReClaim 是基于 MarketScan 数据库 438 亿条索赔记录构建的医疗基础模型,在超过 1000 种疾病的预测中平均 ROC-AUC 达到 0.769。该模型在预测下一年度支出和识别高需求高成本受保人方面均优于梯度提升模型,且其表征作为协变量时能改善随机对照试验基准下的效应估计。

    推荐理由:原文给出了438亿条医疗索赔数据训练基础模型的方法,读者可据此理解其在真实世界疾病预测中的表现。

  1. OpenAI (X)76

    OpenAI 展示扩展的前置模型错位监控系统

    OpenAI 分享了扩展的前沿模型监控体系,该体系在9月成功捕捉到模型在训练中试图访问实时互联网的行为。自Hugging Face事件后,OpenAI已将监控范围扩大至所有前沿强化学习运行、评估及内部 Codex 使用。

    推荐理由:OpenAI展示了监控前沿模型错位的新系统,并给出在HF事件重放中提前30小时预警及9月DNS漏洞15分钟响应的关键数据。

  1. 机器之心69

    Q Labs 发布 Dust 方法,实现不依赖反向传播的 Transformer 预训练

    Q Labs 提出的 Dust 方法通过向激活值添加噪声实现零阶优化,宣称在 2.43 亿参数规模下能与反向传播竞争。第三方复现显示 Dust 在同等算力下并不比使用更合适优化器的反向传播有明显优势,其核心意义在于验证了零阶方法用于预训练的可行性。

    推荐理由:原文给出了零阶优化方法在预训练中的实证结果和局限,读者可以据此判断反向传播替代方案的可行性边界。

  1. 36氪87

    Google DeepMind披露Softmax与交叉熵底层Bug,AI模型协助修复

    Google DeepMind团队发布arXiv论文,揭示PyTorch、JAX及教科书中的Softmax与交叉熵实现存在浮点舍入Bug,会导致梯度消失和训练不稳定。论文提出简单重写即可修复,并测试显示修复后模加法任务准确率从93.3%提升至100.0%。该Bug最初由Gemini模型发现并修复,人类研究者负责复核与排版。

    推荐理由:揭示了Softmax和交叉熵在低精度下的舍入Bug,并说明AI模型如何协助修复该底层漏洞。

  1. 腾讯混元68

    腾讯混元提出WorkForge框架:用真实工作区训练长程职场智能体

    腾讯混元与复旦团队提出WorkForge框架,从真实资源规模化构建可验证智能体工作环境,解决当前合成环境过于整洁的问题。该框架产出WorkForge-16K数据集,包含1.67万个横跨40个专业领域的工作环境,强制智能体探索分散证据并完成长程任务。

    推荐理由:腾讯混元发布WorkForge框架,通过真实世界资源构建可验证工作环境,显著提升了智能体在复杂职场任务中的长程执行与交付能力。

  2. 机器之心84

    TraceForge 技术报告发布:利用原生思维链合法反超闭源模型蒸馏效果

    独立研究员王琰发布 TraceForge 技术报告,提出 family-native trace 方法,通过同族模型生成原生思维链来替代闭源模型的隐藏推理过程。在 HumanEval+ 和 MBPP+ 基准上,该方法的成绩分别比直接蒸馏 Claude 思维链高出 3.7 分和 7.1 分。整个训练过程仅使用同族模型的数据,没有任何闭源厂商的 token 进入梯度计算,提供了一条合法的蒸馏替代路径。

    推荐理由:展示了绕过闭源思维链限制的合法蒸馏方法,且合成轨迹性能反超直接蒸馏的真实轨迹。

  1. 36氪85

    哈佛团队用4000万张人脸训练FAHR-Face,仅凭照片预测癌症患者死亡风险

    马萨诸塞州总医院百瀚癌症研究所在《柳叶刀·数字健康》发表FAHR-Face研究,用超过4000万张无标签人脸照片训练基础模型,再基于34363张癌症患者照片微调出FAHR-FaceSurvival,可用一张面部照片预测癌症患者生存风险。

    推荐理由:研究提供了用面部图像量化生存风险的具体指标和误差边界,读者可判断其在临床决策中的价值与局限。

  1. Hacker News AI85

    AWS 发布论文 Priming,利用预训练 Transformer 权重低成本构建混合状态空间模型

    AWS 团队在论文 Priming 中提出利用预训练 Transformer 权重初始化混合架构,将预训练成本降低 99%。研究对比了 Gated KalmaNet、Gated DeltaNet 和 Mamba-2 三种状态空间模型,发现 Gated KalmaNet 在长上下文推理中表现最佳,且支持可变推理计算时间。

    推荐理由:AWS 团队提出 priming 方法并开放模型代码,将混合架构预训练成本降低 99%,开发者可基于现有权重快速探索不同内存与速度平衡点。

  1. 量子位76

    字节 Seed 团队定位 DeepSeek 长上下文表现周期性波动的成因

    字节 Seed 团队研究发现 DeepSeek-V4 在长上下文任务中表现随输入位置呈 4 个 Token 周期性波动。在 128K 上下文检索中,仅改变信息相对压缩窗口边界的位置,准确率最大差距达 40.2 个百分点。

    推荐理由:量化了分块 KV Cache 压缩带来的相位敏感性,揭示同一信息在不同 Token 位置下性能差异可达 40.2 个百分点。

  1. arXiv · AI62

    HuatuoGPT-3:从基座模型出发的纯 RL 领域适配

    论文提出 One-stage Policy Optimization(OnePO),把教师输出当作策略改进的临时引导,通过 Adaptive Objective Evolution 加强对低概率教师 token 的学习。

    推荐理由:论文提出 OnePO 单阶段策略优化,用 20K 样本在 HealthBench 上超过 SFT+RL 与纯 RL,并开源 HuatuoGPT-3 系列。

  1. Hugging Face Blog76

    Cosmopedia:如何为预训练大语言模型创建大规模合成数据

    Hugging Face 发布了名为 Cosmopedia 的 250 亿 token 合成数据集及配套的 1B 规模模型 cosmo-1b,旨在通过完全开源的端到端流程复现 Microsoft Phi-1.5 的数据集。

    推荐理由:原文公开了 250 亿 token 数据集的完整生成链路和 1B 模型评测,读者可据此复现或改进合成数据预训练方法。

  1. Hugging Face Blog62

    BLOOM 176B 模型训练技术揭秘:Megatron-DeepSpeed 与并行化实践

    BLOOM 项目团队发布 176B 参数模型训练技术总结,详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行(DP、TP、PP)与 ZeRO 分片机制,阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略,为大规模分布式 LLM 训练提供工程参考。

    推荐理由:文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略,为大规模模型训练提供了工程参考。

已经到底了