跳到正文
11月19日周四
  1. arXiv · NLP22

    ExecJudges 如何用可执行程序替代 LLM 进行可扩展的相关性标注

    ExecJudges 利用前沿 LLM 生成基于词汇匹配等规则的可执行程序,在 TREC DL 2019-2021 上的标注一致性达到 Claude Sonnet 5.5 LLM 判决水平。 该方法单次生成程序成本为 $0.17-$0.49 每主题,无需额外评分开销,且生成的标注能以 0.87-0.94 的 Kendall's tau 值对官方 TREC DL 运行结果进行有效排序。

  2. arXiv · NLP21

    大语言模型 RLOps 综述:系统梳理五大训练阶段方法与未来挑战

    该研究对大语言模型强化学习运维(RLOps)进行系统性综述,旨在解决训练扩展中暴露的分布式执行、反馈计算及学习动态故障问题。研究将现有方法归纳为训练设置、经验收集、奖励计算、策略优化和模型评估五个阶段,并深入分析各阶段的操作关注点与管理技术。文章指出了训练过程可观测性、跨阶段协调及通用化 RLOps 等开放挑战,相关资源已托管于 GitHub 仓库。

  3. arXiv · NLP40

    通用进展可替代特定训练数据,揭示语言模型能力获取规律

    研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握被屏蔽技能。 以国际象棋模型为例,从未显式学习应对将军指令的模型表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 数据过滤虽能延缓能力形成,但所需数据量随模型改进而减少,对能力监管具有参考价值。

  4. arXiv · NLP49

    Piccolo: 通过递归自我改进协同演化决策模型与数据

    Piccolo 0.8B 至 27B 多模态决策模型通过 Agentic Data Engineering 实现模型与数据协同演化。 Piccolo-27B 在 Decision Index Vision Full 榜单以 75.59 分居首,9B 与 4B 模型在各自规模 Private 基准测试中排名第一。 发布权重及工具,为构建前沿决策模型及扩展数据驱动的递归自我改进提供可行蓝图。

  5. arXiv · NLP32

    LED:用于扩散语言模型的 Levenshtein 编辑框架

    提出 LED 后训练框架,扩展扩散语言模型的编辑范式,支持插入与删除操作以修正序列移位错误。 基于 16B 参数 LLaDA2.1-Mini Base,置信引导解码下平均得分由 54.86 升至 57.10,置信无引导解码下由 27.52 升至 47.19。 在 block size 128 时提升鲁棒性(36.97 至 51.34),并增强生成多样性。

  6. IT之家54

    英伟达回应黄仁勋离任是否影响AI芯片供货

    在黄仁勋辞职后英伟达举行的首次财报电话会议上,临时首席执行官科莱特·克雷斯表示公司业务照常开展,产品规划未受明显影响,市场需求仍保持积极。IDC分析认为大客户采购和供应安排已确定,短期内大规模暂停采购的可能性不高,但存储、电力等瓶颈仍是限制AI基础设施扩张的现实因素。

  7. The Verge · AI27

    特朗普在菲律宾推动 AI 枢纽建设

    特朗普在菲律宾推动建设1620公顷AI枢纽,作为“Pax Silica”计划的一部分。该计划旨在建立芯片工厂和数据中心,以对冲中国在半导体制造和关键矿物加工领域的主导地位。 该枢纽预计为原住民带来土地被征用的风险,菲律宾官员称将在年底前签署框架协定,项目涉及与Nvidia、TSMC和Apple的合作意向。

  8. Hugging Face Blog45

    Hugging Face 研究表明,FLOP 估算预测微调时长误差极大(MAE 12.41 小时),而 CatBoost 回归器在 272 个生产任务中实现了 R² 0.98 的高精度,MAE 降至 1.71 小时。

    研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。

  9. Hacker News AI78

    SID 团队研究估算 2026 年 LLM 每 15 天生成等于一个公开网页的 token

    SID 团队发布研究估算 2026 年全球 LLM 处理 token 总量在 200-230 千万亿之间,其中输出 token 约 1.5 千万亿。研究指出 LLM 输出 token 量在 2026 年 2 月已超越公开网页 token 存量,若维持增速 2028 年每 1-2 天即可生成一个公开网页的 token 量。

    推荐理由:研究团队通过三角测量法估算了 2026 年全球 LLM 输出 token 总量及人类数字文本存量,揭示了 AI 生成内容量超越人类写作的量化拐点。

  10. Hacker News AI88

    美联储报告发现3万亿美元AI算力建设表外承诺

    美联储《金融稳定报告》新增章节指出,主要科技公司在AI数据中心建设上存在超过3万亿美元的表外债务承诺,其中包括1万亿未开始的租赁和2万亿的合约承诺。高级计算相关的债务发行量从2023年的1300亿美元激增至6800亿美元,美国大型银行对这些技术公司的敞口接近1万亿美元。

11月18日周三
  1. IT之家42

    腾讯高管预计 2028 年 AI 投入产出效率改善,得益于基础设施复用、硬件降价与算力效率提升

    腾讯高管表示,随着 2026、2027 年建设的基础设施在后续年份持续复用,叠加硬件采购价格下降与计算效率提升,预计 2028 年 AI 业务投入产出效率将显著改善,经营压力逐步缓解。 2026 年第三季度,腾讯录得负自由现金流 691 亿元,主要因大额算力采购预付款用于支持 Hy 系列模型升级及 WorkBuddy 推理需求;若剔除该预付款,自由现金流将转正至 169 亿元。

  2. IT之家60

    微信私人 AI 助理“小微”日活跃用户数达 3000 万,预计未来部分推理任务在设备端运行

    微信官方宣布私人 AI 助理“小微”日活跃用户数已达 3000 万,其测试范围已逐步融入微信聊天、朋友圈、公众号及视频号等场景。小微采用针对成本效率优化的 WeLM 模型,未来预计部分推理任务将在用户设备端运行,从而依托支付及小程序服务构建智能体能力,并与现有生态建立共赢关系,不会与其产生利益冲突。

  3. IT之家22

    长鑫科技预计DRAM供给紧缺格局将在四季度延续,长协锁单与债务优化推进中

    长鑫科技高管预计DRAM供给紧缺格局将在四季度延续,毛利率有望保持稳定,并已协商长期供货协议锁定中长期需求。 第三季度单季毛利率达89.53%,资产负债率由上年末约54%降至36.34%。 公司看好AI终端普及带来的内存增量,4F²架构将优先落地服务器等高附加值产品。

  4. arXiv · ML25

    极宽网络中的尖锐特征学习相变与贝叶斯最优神经缩放定律

    该研究揭示了高维体制下宽特征学习网络中特征可学习性由一系列尖锐相变支配,并提出了在固定数据预算下的“有效宽度”概念。 模型推导了贝叶斯最优泛化误差的两个统一缩放定律:特征学习阶段误差随 $n^{1/(2\beta)-1}$ 衰减,精修阶段随 $n^{-1}$ 衰减,且学生模型在此处表现接近理论最优。 该研究已被 NeurIPS 2026 接收,为理解大型有限宽度网络的知识转移提供了信息论依据。

  5. arXiv · ML30

    灵活负荷整形的“挑樱桃”策略:显著降低电网碳排放

    针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。

  6. arXiv · ML25

    BBO-Pile:首个面向超参数优化基础模型的开源训练数据集

    BBO-Pile 是首个开源数据集,包含 3,095 个任务中评估的超过 50 万个优化轨迹。 使用 BBO-Pile 训练了参数量从 2M 到 80M、训练 token 数从 2 亿到 20 亿不等的一系列基础模型,并研究了其随算力的扩展行为。 大规模预训练被证明是模仿超参数优化方法的一种可行且有效的方法,为未来研究铺平了道路。

  7. arXiv · ML21

    Q-LocalAdam:面向边缘联邦学习的内存高效客户端自适应优化器

    Q-LocalAdam 是一种分布感知的优化器,通过分块线性量化动量状态和对数空间量化方差状态,在边缘设备上显著降低优化器状态的内存占用。 它使用去量化后的方差下限来维持数值稳定性,使得模型收敛效果接近全精度训练。 在人类活动、视觉和语言任务上的实验表明,该方法在减少峰值驻留内存的同时,仅引入适度的延迟开销。

  8. arXiv · AI35

    AI 模拟:基于自我报告的语音访谈提升准确性并减少样本统计扭曲

    基于丰富自我报告数据的 AI 模拟可显著降低人口统计提示带来的预测误差与样本统计扭曲,在 General Social Survey 项目中,使用访谈和调查数据使准确率从 60.4% 提升至 72.8%。 研究对 1052 名受试者进行了两小时访谈,发现组合数据可弥补 53.5% 的扭曲差距;微调模型虽达到 75.2% 准确率并修复 69.3% 的扭曲,但未能消除经济博弈中的过度理性偏差。

  9. arXiv · ML45

    研究扩散模型学习基本视觉技能泛化能力

    研究人员提出受控实验框架 Visual Generative Lab (VGL),用于评估扩散模型在尺寸、位置等7项基本视觉技能上的泛化表现。该框架通过生成合成数据,发现模型的外推能力有限,组合泛化效果主要取决于技能组合数量而非数据集大小,且各项技能通常独立失败。 VGL 采用基于规则的任务指标精确测量泛化能力,揭示了默认设计下尺寸与位置外推在训练范围附近迅速退化,计数准确率仅约50%。

  10. arXiv · ML26

    分层策略优化推理时目标:多LoRA适配器提升pass@k性能

    研究者提出分层策略,在推理时将样本预算分配给k个策略,而非重复采样单一策略。每个策略由共享语言模型骨干上的独立LoRA适配器实现,并针对pass@k进行优化。 理论分析表明,在单LoRA预测误差严格为正的场景中,LoRA群体可实现零best-of-k近似误差。实证结果显示,在多个推理任务中,分层策略一致优于单一策略基线。