跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

43 条精选近 30 天 25 条共收录 2,231 条

更新

数据与训练的精选

11月19日周四第 1–20 条
  1. Hacker News AI78

    SID 团队研究估算 2026 年 LLM 每 15 天生成等于一个公开网页的 token

    SID 团队发布研究估算 2026 年全球 LLM 处理 token 总量在 200-230 千万亿之间,其中输出 token 约 1.5 千万亿。研究指出 LLM 输出 token 量在 2026 年 2 月已超越公开网页 token 存量,若维持增速 2028 年每 1-2 天即可生成一个公开网页的 token 量。

    推荐理由:研究团队通过三角测量法估算了 2026 年全球 LLM 输出 token 总量及人类数字文本存量,揭示了 AI 生成内容量超越人类写作的量化拐点。

11月17日周二
11月14日周六
  1. 36氪73

    腾讯组织调整:马化腾发出危机信号,姚顺雨推动混元体系重组

    腾讯11月11日司庆后,马化腾内部讲话中强调“不养闲人”,提出50%员工守主业、50%探索AI Native的新布局,引发“裁员50%”误传,后被否认。97年出生的姚顺雨空降腾讯接管混元大模型,通过撤销AI Lab、合并基础模型部、压缩数据冗余、跨部门调配人员,并在一年时间推动Hy4上线,实现参数与性能代际跃升。腾讯同时开启混元多模态团队人员更替与大规模招聘,组织扁平化与“换血型变革”加速推进。

    推荐理由:姚顺雨通过重组混元团队、打破部门墙、推动数据清洗与模型合并,让腾讯AI从落后状态快速产出Hy4并进入可被外部验证的第一梯队。

11月13日周五
  1. Hacker News AI91

    中国前沿 AI 模型带有出口管制 NVIDIA Blackwell GPU 的数字指纹

    Unemployment Labs 的取证分析表明,DeepSeek、Moonshot AI、MiniMax 和 Ant Group 发布的六款 2026 年模型在初始化阶段使用了受出口管制的 NVIDIA Blackwell 硬件。通过比对这些模型公开的权重与 PyTorch 随机数生成模式,研究人员识别出与 Blackwell 芯片架构匹配的数字指纹,相关置信度最高达到 1385 sigma。

    推荐理由:报告通过模型权重的随机数生成模式,提供了中国AI实验室访问受限硬件的技术证据,读者可据此理解相关指控的背景与验证方法。

11月9日周一
  1. arXiv · NLP69

    Negation Neglect:模型在训练中忽略否定信息的机制研究

    研究引入 Negation Neglect 现象,指出在标记为虚假的文档上微调 LLM 会使其相信该虚假声明为真。实验显示 Qwen3.5-397B-A17B 的平均信念率从 2.5% 激增至 88.6%,且该偏差延伸至虚构标签和恶意行为模仿。

    推荐理由:揭示了模型微调中否定信息失效的系统性偏差,并展示其对恶意行为仿真的安全隐患。

  2. LessWrong · All Posts81

    2026 年数学奇迹年:AI 解题浪潮下的数据集机遇

    OpenAI 在 2026 年 5 月证伪单位距离猜想,9 月宣称解决 Navier-Stokes 整体正则性问题,10 月发布包含近 800 个新颖数学结果的 GitHub 仓库。作者基于这些事件指出 2026 年是数学的“奇迹年”,并探讨如何将 AI 生成的数学突破转化为研究数据集。

    推荐理由:作者将2026年数学界连续被AI解决经典难题的事件定义为数据集构建窗口,为理解AI与纯数学的交互提供独特视角。

11月8日周日
  1. 机器之心68

    GPT-6 Astra 权重编辑对照实验:改权重未提升知识、风格与技能

    MIT CSAIL 提出 Weight-Space Programming,让 GPT-6 Astra 修改 Qwen3.5-0.8B 约 0.016% 权重,宣称将 MATH-500 成绩从 7.9% 提至 48.1%。无涯智远团队用超网络工具开展对照实验,发现关闭思考模式即可获得 48.95% 相近表现,且 Astra 在知识、风格与技能任务上无法稳定内化新信息。

    推荐理由:文章用对照实验拆解了权重编辑在知识、风格和技能内化上的局限,读者可据此判断其能否替代专门训练的超网络作为模型持续学习的手段。

11月5日周四
  1. 机器之心73

    清华与米哈游开源 GameScaling 通用游戏智能模型系列

    米哈游联合清华大学等机构开源 GameScaling 系列通用游戏模型,涵盖 0.8B 至 27B 共八款权重,协议为 Apache 2.0。在《我的世界》MCU 基准 30 项任务中,GameScaling-27B-S1 平均成功率达 63.3%;0.8B 至 9B 六款模型在单张 H200 或 RTX 5090 上可实现每秒 5 次观测、每秒 30 步动作的实时交互。

    推荐理由:开源覆盖 0.8B 至 27B 八款权重,给出 63.3% 基准成功率及单卡实时交互细节。

11月4日周三
  1. Hugging Face Blog61

    IBM 研究团队发布 Palette:基于 20B 模型构建自定义设计语言幻灯片的方法

    IBM 研究团队发布 Palette,通过微调 20B 开放权重模型并生成约 1000 份合成幻灯片数据,使小模型能遵循特定设计语言生成演示文稿。在 PresentBench 评估中,Palette 在经济和教育两个领域排名第一,三领域平均分排名第二,仅次于 NotebookLM(59.7 对 60.8)。

    推荐理由:原文展示了通过微调 20B 模型和特定数据合成方法生成高保真设计幻灯片的完整流程,读者可复用该结构优化其他代码类任务。

11月3日周二
  1. arXiv · AI63

    ReClaim 利用全国医疗索赔数据构建医疗基础模型

    ReClaim 是基于 MarketScan 数据库 438 亿条索赔记录构建的医疗基础模型,在超过 1000 种疾病的预测中平均 ROC-AUC 达到 0.769。该模型在预测下一年度支出和识别高需求高成本受保人方面均优于梯度提升模型,且其表征作为协变量时能改善随机对照试验基准下的效应估计。

    推荐理由:原文给出了438亿条医疗索赔数据训练基础模型的方法,读者可据此理解其在真实世界疾病预测中的表现。

10月31日周六
  1. 36氪76

    芯片买家资金压力显现:自由现金流转负与融资条件分化

    谷歌母公司Alphabet三季度自由现金流为负91亿美元,凸显算力采购下的资金压力。英伟达、博通等芯片厂商通过提供收入分成或残值支持协助客户融资,而新云服务商面临利率上升与信用收紧挑战;微软等大厂凭借强劲经营现金流仍具融资优势,市场出现明显分层。

    推荐理由:文章梳理了云厂商算力扩张中的现金流缺口与筹资方式,展示了资金门槛如何重塑AI基础设施市场的竞争格局。

  2. Seven Minute Feed86

    Intel单日暴跌28.6%,创1974年以来最大跌幅,AI内存短缺冲击PC芯片市场

    Intel周五股价下跌28.6%,创1974年以来最大单日跌幅,因Q4营收指引为150亿至160亿美元,低于近170亿美元的预期。Q3营收增长20%至165亿美元,但毛利率将从43%降至37%,Q4PC芯片营收预计下降超20%。AI内存需求推高PC价格并抑制订单,CEO称其为历史上最严重的供应短缺之一,此次跌幅使美国政府持有的Intel股份价值蒸发120亿美元。

    推荐理由:AI内存需求推高PC芯片价格并抑制订单,导致Intel遭遇自1974年以来最大单日跌幅。

10月30日周五
  1. OpenAI (X)76

    OpenAI 展示扩展的前置模型错位监控系统

    OpenAI 分享了扩展的前沿模型监控体系,该体系在9月成功捕捉到模型在训练中试图访问实时互联网的行为。自Hugging Face事件后,OpenAI已将监控范围扩大至所有前沿强化学习运行、评估及内部 Codex 使用。

    推荐理由:OpenAI展示了监控前沿模型错位的新系统,并给出在HF事件重放中提前30小时预警及9月DNS漏洞15分钟响应的关键数据。

10月29日周四
  1. 机器之心82

    蚂蚁开源 AntOmniEvo 框架,实现 AI 系统自动优化

    蚂蚁灵矽大模型应用平台团队开源 AntOmniEvo,一个通过修改文件目录驱动 AI 自动优化 prompt、规则、脚本和配置的框架。在 AppWorld、TerminalBench 2.1 和 MuSiQue 三个基准上,AntOmniEvo 均取得最佳成绩,且样本效率优于 GEPA 等前作方法。

    推荐理由:原文给出了自动优化框架的核心循环和三个基准实测结果,读者可以据此判断它如何将人工调优流程转化为可自动化的工程体系。

10月27日周二
  1. 36氪87

    Google DeepMind披露Softmax与交叉熵底层Bug,AI模型协助修复

    Google DeepMind团队发布arXiv论文,揭示PyTorch、JAX及教科书中的Softmax与交叉熵实现存在浮点舍入Bug,会导致梯度消失和训练不稳定。论文提出简单重写即可修复,并测试显示修复后模加法任务准确率从93.3%提升至100.0%。该Bug最初由Gemini模型发现并修复,人类研究者负责复核与排版。

    推荐理由:揭示了Softmax和交叉熵在低精度下的舍入Bug,并说明AI模型如何协助修复该底层漏洞。

  2. Hacker News LLM81

    6GB 显存预训练 1B 参数大模型的方法

    作者展示在 6GB 显存笔记本上预训练 1.1B 参数 LLM 的工程方法,通过分层训练、三值量化和低精度计算将显存峰值控制在 5.24GB,实测每步耗时 12.335 秒,完整预训练预计需 132-211 天。

    推荐理由:展示了通过分层训练和量化将 1B 大模型预训练限制在 6GB 显存内的具体工程路径与实测数据。

10月26日周一
  1. 机器之心69

    Q Labs 发布 Dust 方法,实现不依赖反向传播的 Transformer 预训练

    Q Labs 提出的 Dust 方法通过向激活值添加噪声实现零阶优化,宣称在 2.43 亿参数规模下能与反向传播竞争。第三方复现显示 Dust 在同等算力下并不比使用更合适优化器的反向传播有明显优势,其核心意义在于验证了零阶方法用于预训练的可行性。

    推荐理由:原文给出了零阶优化方法在预训练中的实证结果和局限,读者可以据此判断反向传播替代方案的可行性边界。

10月24日周六
  1. 量子位80

    高德发布首个基于开放世界行为的全身基座模型 λ0

    高德发布首个基于开放世界行为的全身基座模型 λ0。该模型仅依靠人类行动数据实现机器人零样本全身动作对齐,真机任务成功率较最强对比基线提升 22.5%,数据采集效率约为主流方法的 3.4 倍。项目已在 GitHub 开源相关代码,并在 HuggingFace 上线 HumanVerse 数据样例。

    推荐理由:该基座模型仅靠人类全身数据实现机器人零样本全身动作对齐,其简化采集管线的结果可供评估具身智能的数据替代上限。