Meta 如何利用 AI 智能体在广告排序模型中扩展机器学习技术创新
Meta 通过 Ranking Engineer Agent 系统实现广告排序模型中的技术传播(technique propagation)。该系统由 AI 智能体驱动,自 2026 年 3 月起承担超过 60% 的技术传播工作,早期数据显示工程生产力提升 3 倍,部分模型训练计算量中位数降低 4 倍,预计年底前实现 4500 万美元以上的计算成本节约。
Meta 通过 Ranking Engineer Agent 系统实现广告排序模型中的技术传播(technique propagation)。该系统由 AI 智能体驱动,自 2026 年 3 月起承担超过 60% 的技术传播工作,早期数据显示工程生产力提升 3 倍,部分模型训练计算量中位数降低 4 倍,预计年底前实现 4500 万美元以上的计算成本节约。
Citigroup 银行主管估算 AI 基础设施建设到 2030 年需要 3.5 万亿美元资本,必须调用所有可用流动性池。 Carlyle 高管反驳称鉴于新增产能的漫长管道,贷款人可以保持选择性,不必全押。
高盛认为2027年AI资本开支增速将自建设启动以来首次放缓,交易焦点转向采用者。 该行精选通用汽车、雪佛龙等24只高资产股票,认为其不易受AI冲击且具工资自动化潜力。 铜价较9月纪录高点下跌11%,显示市场抛售情绪蔓延。
Gartner 预测 2027 年全球人工智能支出达 4.05 万亿美元,同比增长 47.5%。 其中人工智能基础设施支出接近 2.4 万亿美元,增幅 53%;生成式人工智能模型支出提升 82% 至 510 亿美元。
韩国今年累计出口额突破 1 万亿美元,成为全球第四个达到该规模的国家,主要受全球 AI 芯片需求旺盛推动。韩国政府计划设立 162.3 万亿韩元的“未来应对基金”,将芯片产业超额税收用于扶持新兴增长产业,并预计今年经济增速有望达到 3.5% 左右。
英伟达临时CEO科莱特·克雷斯在财报电话会上宣布,对新云厂商的采购担保仅在其完成融资、建成数据中心并部署算力通过验收后生效。The Verge指出,因新云公司多依赖债务融资,融资成本上升或建设延期将削弱其按期部署GPU的能力,并使其面临更大经济压力。
研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。
无训练 CommitKV 方法在四个开源多模态模型上实现最高平均准确率。在 Qwen3-VL-8B 上,256-token 预算比最强基线高 8.44%,512-token 准确率 69.85% 仅低于 FullKV 0.91%。 SGLang 与 vLLM 部署时,峰值 GPU 显存降低 54.37%–55.23%,端到端推理加速 2.12–2.17 倍。
Rational Sparse Autoencoder (RSAE) 将固定编码器激活替换为可训练有理函数,在匹配预期稀疏度下证明对 ReLU 及 JumpReLU/TopK 具有重构优势。 在三个开源权重语言模型上验证,RSAE 在同稀疏度下提升重构保真度,仅增加 20 个标量参数。 单次训练耗时 4 至 25 分钟,在单张消费级 GPU 上完成。
乘性 Lipschitz 界(trivial bound)在 Lipschitz 约束学习中的有效性常被低估。结合 quadrature nonlinearity,该方法在多数分类界上优于 Sandwich、AL、CPL 和 SDP 层,降低交叉熵。 在自编码器任务中,该方法在所有测试的瓶颈宽度下均取得最低像素重建误差,比 PCA 改进 12–24%。
针对临床研究中信息性删失导致的偏差,提出一种基于部分识别的假设精简框架以评估条件平均处理效应(CATE)的鲁棒性。 该框架推导了CATE的有效界,并引入模型无关元学习者 SurvB-learner 进行估计,具备双重鲁棒性和准预言机效率特性。 通过模拟和真实数据实验验证了该方法的有效性,可识别出在信息性删失下治疗有效的患者亚群。
研究构建了多层级大规模数据集,系统记录 AI 生态中模型、数据、算力等要素在组织间的流动关系。 该数据集标注了时间与类型标签,通过分析中心节点、网络集中度及关键控制点,揭示了行业权力结构。 此资源旨在推动对 AI 供应链政治经济学的批判性研究,相关数据已公开供交互式探索。
研究提出将未知值探测形式化,结合空间探索与证据集中策略,在预算分配中实现超参数优化。 证明该策略具有最坏情况近似保证且接近最优,在超过 250 个实验设置中对比强基线,始终表现出优势。
过参数化扩散模型在训练过程中,泛化能力早于记忆现象出现。 实验表明,记忆发生时间与数据集大小成正比,符合核回归边界理论。通过引入随机规则的简单无上下文无关文法,验证了早期停止对泛化成本的控制。 该研究支持基于数据集规模设置早期停止标准,以避免记忆并优化泛化,对超参数迁移及隐私敏感应用具有直接影响。
针对移动网络节能策略评估难题,论文提出基于预测的生成框架以生成无线接入网功耗轨迹。 该框架将功耗分解为全局预测与残差修正,在商用 5G RAN 实验中,仅用单点目标观测即可将中位 MAE 降低约 50%。 相比 TimeWeaver,该方法能有效泛化至罕见及未见配置场景。
研究人员提出利用 NOTREKS 信息(变量对边缘独立性)改进因果图学习。该方法引入 PSTrek 惩罚和 trek 约束,在有限样本下增强结构恢复能力。 实验表明,使用合成基准测试中的 oracle NOTREKS 信息,可同时提升因果发现中的结构恢复与基于调整的效果识别准确率。
ReliFlow 引入条件流匹配模型,通过仅使用训练数据交叉拟合估计单基因效应可靠性,校准加性源分布以预测组合扰动转录响应。 在 Norman 遗传扰动中,未见组合 MAE 从 0.142 降至 0.131, withheld 单扰动时从 0.198 降至 0.178;ComboSciPlex 药物组合 MAE 从 0.191 降至 0.176。
Balancing Partition Forest (BPF) 通过 Bregman 散度最大化互信息或降低权重平方误差,在 17 个场景中表现最佳。 单棵树在 16,512 个观测值上拟合仅需 0.14 秒。 该方法能限制逆概率加权估计器的偏差,显著提升因果推断效率。
该研究构建了视觉 LLM 与经典 CV 结合的管线,处理 3954 篇 COF 文章,生成 11445 条校准衍射曲线并开源为 COF-PEAK 数据库。 视觉 LLM 负责解析图像布局定位曲线,经典 CV 细化至像素级精度;与手工数字化相比,提取峰值中位偏差仅 0.07 度。 该方法使衍射图谱转化为可复用实验数据,支持分析合成条件下峰强变化及结晶度标记。
研究表明,语言模型通过权重空间编程直接编辑视觉语言模型SmolVLM-256M和LFM2-VL-450M的权重,无需梯度即可修复植入故障。 关键机制依赖32位算术故障在16位权重中留下的低比特痕迹;舍入这些比特后模型不再能精准恢复原值,但提示中指明统计特征仍可定位损坏行。该发现建议在权重修复研究中报告权重数字格式并包含舍入对照实验。
研究发现神经网络最终权重保留选择性历史信息,30个网络在10个候选中准确匹配初始权重。 线性探针以100%准确率解码任务顺序,2157对端点显示低损失连接,表明共享任务未抹除个体学习历程。
Elysium 提出一种无模拟求解器,通过联合学习状态转移与质量变化实现单细胞动力学重建。 该方法基于被杀布朗参考路径及其时间反转构造直接回归目标,无需在训练期间模拟轨迹。 实验表明 Elysium 在模拟基准测试中优于现有确定性及桥式求解器,并能捕捉双相药物响应动态。
研究重用 OpenAI Lean 4 Vlasov-Maxwell 库证明,为粒子流体模拟提供无粒子参考基准。 领域大小由观测时间解析确定,中位数 14.9 倍加速结合粗网格恢复未知输入,并建立能量损失预测最小时间曲线。
恶意攻击者可通过迭代式梯度反转攻击,在联邦学习中精确恢复其他客户端的文本数据,实现首次100%精度的句子级窃取。 在包含多达模型隐藏维度4倍Token量的聚合更新中,该攻击可精确恢复多达80.2%的客户端句子,而现有方法无法精确恢复任何句子。 该攻击证明了联邦学习中FedAvg聚合机制在文本隐私保护方面的脆弱性,为分布式机器学习安全带来新威胁。
LAPIS 通过条件流策略在观测状态-潜空间转换中实现目标条件策略提升,在大多数任务上优于基线方法,视觉操作任务收益最显著。 该方法仅用 1% 动作标签即保持有效,而竞争方法在此设定下性能大幅崩溃,展示了其在低标注场景下的鲁棒性。
研究者提出F$^3$框架,论证经验价值取决于存储形式、适用时机及融合位置,而非源rollout是否成功。 通过Form压缩操作记录,Fit预测辅助时机,Fusion注入前缀与动作先验。 仅在200个样本上训练,在MolmoSpaces和RoboLab上将成功率提升12.0 pp和10.8 pp。
研究者发布 OpenGNS 数据集,包含 400 多条 GNS 测量轨迹,覆盖 11M 至 1B 参数模型。 该数据集针对 ResNet、GPT 和 DiT 架构,在 muP 规范下进行密集批大小与学习率扫描,揭示 GNS 在不同模型规模下具有稳定性。 研究发现 GNS 在分类任务中倾向于高估 CBS,而在生成任务中倾向于低估 CBS。
零代码智能体 ABSClaw 将自然语言编译为现实落地的社会模拟,在 193 项任务的 ABSBench 上取得最佳性能。 它通过 26 个原子操作表达状态迁移,并将人物、环境与网络锚定在调查与人口普查数据上,单次运行时支持 2500 万级智能体规模模拟。
研究表明 TabPFNv2 类模型的扩展定律在合成分数与真实数据集间存在差异,依赖少量数据集选参会导致性能高估。 需同步扩大合成预训练数据集规模以优化计算分配,增加预训练时采样的最大行数与特征数可改善性能并产生更可预测的扩展趋势。 这些洞察通过 nanoTabPFN 开源训练管线指导更高效模型的开发。
研究者提出统一框架 Learning with Unlearning(LwU),通过在单个突触层面解决持续学习与机器遗忘的目标冲突,在两项任务中表现优于或持平最强基线。
该研究提出多专家重放策略蒸馏(MRPD),通过重放专家训练日志进行整合,无需额外采样或调用环境。该方法计算成本仅为原 RL 训练成本的大约七分之一。 在推理、搜索和 SQL 三个长程智能体领域,MRPD 生成的学生模型显著优于在线 RL 基线。实验表明日志顺序比数量或奖励更重要,表明专家训练日志实质上是课程学习而非数据混合。
联邦优化中的本地计算虽能改善更新条件数,却会引入偏差导致固定点偏离全局最优。研究表征了给定条件数界下可实现的最坏情况最小偏差。 针对强凸二次目标,建立了精确的最坏情况偏差公式,证明小步长本地梯度下降与近端更新可达此界,并将非交换 Hessian 矩阵问题简化为标量曲率分布。 分析进一步扩展至非二次的光滑强凸目标,并量化了非精确本地求解引入的误差。
研究人员发布大规模生物医学基准 TabBioMed,包含 94 个精选公开表格数据集,涵盖电子健康记录、药物发现及单细胞组学等领域。 该基准统一了预处理和评估框架,对 23 个模型进行了测试,发现基础模型在家族层面表现最强,但树模型和多层感知机在成本约束下极具竞争力。 TabBioMed 提供了数据集、代码及结果,为生物医学机器学习的模型选择与方法开发提供了可复现的基准。
研究证明 $O(\log |G|)$ 次随机重写足以替代单一表示的重复采样,恢复所有 $|G|$ 次重写提供的信息,且该对数扩展律在一般情况下是最优的。 理论表明,只要模型答案依赖于输入写法,在相同前向传递次数下,将计算预算用于重写输入而非重复采样原始提示词,准确率会显著提升。
DuoCL 是一种双路径在线持续学习(OCL)框架,在四个数据集和三种计算预算下,相比最强的基于梯度的基线方法,在线准确率平均提升 9.67 个百分点。 该框架包含快速解析路径和慢速路径:快速路径从每个传入的小批量中积累特征统计,慢速路径根据可用计算预算定期调整骨干网络。在分布漂移下,DuoCL 始终优于解析学习,在 CIFAR-C 上准确率提升最高达 4.00 个百分点。
研究发现 Transformer 中可塑性与稳定性并不镜像对应:QK/VO 投影在程序式任务中最具可塑性,而 MLP 在声明式记忆任务中最具可塑性。 更新 QK 时可保留过半已存声明式记忆,而更新 MLP 和 VO 则分别导致显著更多和约 80% 的损失。 研究揭示可塑性与稳定性依赖于模块功能角色的不同方面,为持续学习提供了任务依赖的模块级视角。
结合生物启发的脉冲编码方案与 Rouser 自适应阈值代理梯度、K-FAC 二阶优化,提升了脉冲神经网络(SNNs)的精度。 在 MNIST 和 Fashion-MNIST 实验中,DoG 和 Delta 编码比速率编码产生更稀疏的脉冲序列;Rouser 方法将 Fashion-MNIST 精度从 87.37% 提升至 88.13%。
HyperQ 提出量子增强掩码扩散语言模型,通过轻量级电路超网络动态生成特定于 token 的量子电路。将量子期望值通过残差连接投影回冻结的语言模型骨干网络。 基于 IQP 架构,HyperQ 将 qubit 数量从 16 扩展至 64,在 6 项 zero-shot 基准上平均准确率从 47.65 提升至 54.30,超越冻结骨干网络的 49.59。
研究发现,结合混合专家(MoE)架构的循环语言模型在规模化表现上优于标准Transformer,且稀疏层是其关键所在。 其核心机制在于路由发散:模型在重复通过相同的共享层时激活不同的专家,从而在不增加额外参数的情况下恢复了模型的表现力。该方案还能通过早期退出机制优化计算与质量的权衡,实现显著的内存与推理节省。
大语言模型(LLMs)与小语言模型(SLMs)的协同是平衡性能与部署效率的关键范式。 综述梳理了管道、路由、蒸馏等交互机制,并指出在边缘设备上应用时面临的系统开销、模型一致性及隐私等挑战。 该方向被视为推动下一代实用化、普适性人工智能发展的关键驱动力。