跳到正文
今天11月20日周五1 条
  1. Hacker News AI63

    Meta 如何利用 AI 智能体在广告排序模型中扩展机器学习技术创新

    Meta 通过 Ranking Engineer Agent 系统实现广告排序模型中的技术传播(technique propagation)。该系统由 AI 智能体驱动,自 2026 年 3 月起承担超过 60% 的技术传播工作,早期数据显示工程生产力提升 3 倍,部分模型训练计算量中位数降低 4 倍,预计年底前实现 4500 万美元以上的计算成本节约。

11月19日周四
  1. IT之家63

    英伟达收紧对AI云厂商担保条件

    英伟达临时CEO科莱特·克雷斯在财报电话会上宣布,对新云厂商的采购担保仅在其完成融资、建成数据中心并部署算力通过验收后生效。The Verge指出,因新云公司多依赖债务融资,融资成本上升或建设延期将削弱其按期部署GPU的能力,并使其面临更大经济压力。

  2. arXiv · ML26

    Rational Sparse Autoencoder

    Rational Sparse Autoencoder (RSAE) 将固定编码器激活替换为可训练有理函数,在匹配预期稀疏度下证明对 ReLU 及 JumpReLU/TopK 具有重构优势。 在三个开源权重语言模型上验证,RSAE 在同稀疏度下提升重构保真度,仅增加 20 个标量参数。 单次训练耗时 4 至 25 分钟,在单张消费级 GPU 上完成。

  3. arXiv · ML32

    SurvB-learner:生存分析中异质处理效应在信息性删失下的鲁棒性评估

    针对临床研究中信息性删失导致的偏差,提出一种基于部分识别的假设精简框架以评估条件平均处理效应(CATE)的鲁棒性。 该框架推导了CATE的有效界,并引入模型无关元学习者 SurvB-learner 进行估计,具备双重鲁棒性和准预言机效率特性。 通过模拟和真实数据实验验证了该方法的有效性,可识别出在信息性删失下治疗有效的患者亚群。

  4. arXiv · AI29

    绘制 AI 供应链图谱:生态系统中的依赖关系、脆弱性与市场集中度

    研究构建了多层级大规模数据集,系统记录 AI 生态中模型、数据、算力等要素在组织间的流动关系。 该数据集标注了时间与类型标签,通过分析中心节点、网络集中度及关键控制点,揭示了行业权力结构。 此资源旨在推动对 AI 供应链政治经济学的批判性研究,相关数据已公开供交互式探索。

  5. arXiv · ML21

    过参数化扩散模型:早期停止优于单纯扩大模型规模的研究

    过参数化扩散模型在训练过程中,泛化能力早于记忆现象出现。 实验表明,记忆发生时间与数据集大小成正比,符合核回归边界理论。通过引入随机规则的简单无上下文无关文法,验证了早期停止对泛化成本的控制。 该研究支持基于数据集规模设置早期停止标准,以避免记忆并优化泛化,对超参数迁移及隐私敏感应用具有直接影响。

  6. arXiv · ML22

    Balancing Partition Forest 用于因果加权

    Balancing Partition Forest (BPF) 通过 Bregman 散度最大化互信息或降低权重平方误差,在 17 个场景中表现最佳。 单棵树在 16,512 个观测值上拟合仅需 0.14 秒。 该方法能限制逆概率加权估计器的偏差,显著提升因果推断效率。

  7. arXiv · AI26

    利用视觉 LLM 与 CV 结合从 COF 论文中提取衍射数据

    该研究构建了视觉 LLM 与经典 CV 结合的管线,处理 3954 篇 COF 文章,生成 11445 条校准衍射曲线并开源为 COF-PEAK 数据库。 视觉 LLM 负责解析图像布局定位曲线,经典 CV 细化至像素级精度;与手工数字化相比,提取峰值中位偏差仅 0.07 度。 该方法使衍射图谱转化为可复用实验数据,支持分析合成条件下峰强变化及结晶度标记。

  8. arXiv · AI26

    权重空间编程用于视觉语言模型修复:SmolVLM与LFM2-VL的故障检测与恢复研究

    研究表明,语言模型通过权重空间编程直接编辑视觉语言模型SmolVLM-256M和LFM2-VL-450M的权重,无需梯度即可修复植入故障。 关键机制依赖32位算术故障在16位权重中留下的低比特痕迹;舍入这些比特后模型不再能精准恢复原值,但提示中指明统计特征仍可定位损坏行。该发现建议在权重修复研究中报告权重数字格式并包含舍入对照实验。

  9. arXiv · ML25

    Elysium:基于非平衡薛定谔桥的无模拟单细胞动力学重建方法

    Elysium 提出一种无模拟求解器,通过联合学习状态转移与质量变化实现单细胞动力学重建。 该方法基于被杀布朗参考路径及其时间反转构造直接回归目标,无需在训练期间模拟轨迹。 实验表明 Elysium 在模拟基准测试中优于现有确定性及桥式求解器,并能捕捉双相药物响应动态。

  10. arXiv · ML27

    联邦学习中窃取其他客户端精确训练数据的新型梯度反转攻击

    恶意攻击者可通过迭代式梯度反转攻击,在联邦学习中精确恢复其他客户端的文本数据,实现首次100%精度的句子级窃取。 在包含多达模型隐藏维度4倍Token量的聚合更新中,该攻击可精确恢复多达80.2%的客户端句子,而现有方法无法精确恢复任何句子。 该攻击证明了联邦学习中FedAvg聚合机制在文本隐私保护方面的脆弱性,为分布式机器学习安全带来新威胁。

  11. arXiv · ML21

    OpenGNS:跨视觉、语言与扩散模型的梯度噪声尺度开放数据集

    研究者发布 OpenGNS 数据集,包含 400 多条 GNS 测量轨迹,覆盖 11M 至 1B 参数模型。 该数据集针对 ResNet、GPT 和 DiT 架构,在 muP 规范下进行密集批大小与学习率扫描,揭示 GNS 在不同模型规模下具有稳定性。 研究发现 GNS 在分类任务中倾向于高估 CBS,而在生成任务中倾向于低估 CBS。

  12. arXiv · ML20

    TabPFNv2 式表格基础模型:可靠扩展定律与 nanoTabPFN 开源训练管线

    研究表明 TabPFNv2 类模型的扩展定律在合成分数与真实数据集间存在差异,依赖少量数据集选参会导致性能高估。 需同步扩大合成预训练数据集规模以优化计算分配,增加预训练时采样的最大行数与特征数可改善性能并产生更可预测的扩展趋势。 这些洞察通过 nanoTabPFN 开源训练管线指导更高效模型的开发。

  13. arXiv · ML26

    MRPD 提出多专家重放策略蒸馏,实现长程 RL 专家高效整合

    该研究提出多专家重放策略蒸馏(MRPD),通过重放专家训练日志进行整合,无需额外采样或调用环境。该方法计算成本仅为原 RL 训练成本的大约七分之一。 在推理、搜索和 SQL 三个长程智能体领域,MRPD 生成的学生模型显著优于在线 RL 基线。实验表明日志顺序比数量或奖励更重要,表明专家训练日志实质上是课程学习而非数据混合。

  14. arXiv · ML26

    更快得出错误答案:联邦优化中本地更新的代价

    联邦优化中的本地计算虽能改善更新条件数,却会引入偏差导致固定点偏离全局最优。研究表征了给定条件数界下可实现的最坏情况最小偏差。 针对强凸二次目标,建立了精确的最坏情况偏差公式,证明小步长本地梯度下降与近端更新可达此界,并将非交换 Hessian 矩阵问题简化为标量曲率分布。 分析进一步扩展至非二次的光滑强凸目标,并量化了非精确本地求解引入的误差。

  15. arXiv · ML37

    TabBioMed:生物医学表格学习的大规模基准

    研究人员发布大规模生物医学基准 TabBioMed,包含 94 个精选公开表格数据集,涵盖电子健康记录、药物发现及单细胞组学等领域。 该基准统一了预处理和评估框架,对 23 个模型进行了测试,发现基础模型在家族层面表现最强,但树模型和多层感知机在成本约束下极具竞争力。 TabBioMed 提供了数据集、代码及结果,为生物医学机器学习的模型选择与方法开发提供了可复现的基准。

  16. arXiv · AI29

    Test-Time Symmetrization: Scaling Laws for Model-Agnostic Learning under Structure

    研究证明 $O(\log |G|)$ 次随机重写足以替代单一表示的重复采样,恢复所有 $|G|$ 次重写提供的信息,且该对数扩展律在一般情况下是最优的。 理论表明,只要模型答案依赖于输入写法,在相同前向传递次数下,将计算预算用于重写输入而非重复采样原始提示词,准确率会显著提升。

  17. arXiv · ML24

    DuoCL: 双路径在线持续学习框架

    DuoCL 是一种双路径在线持续学习(OCL)框架,在四个数据集和三种计算预算下,相比最强的基于梯度的基线方法,在线准确率平均提升 9.67 个百分点。 该框架包含快速解析路径和慢速路径:快速路径从每个传入的小批量中积累特征统计,慢速路径根据可用计算预算定期调整骨干网络。在分布漂移下,DuoCL 始终优于解析学习,在 CIFAR-C 上准确率提升最高达 4.00 个百分点。

  18. arXiv · ML21

    Transformer 中声明式与程序式学习的模块级稳定性分析

    研究发现 Transformer 中可塑性与稳定性并不镜像对应:QK/VO 投影在程序式任务中最具可塑性,而 MLP 在声明式记忆任务中最具可塑性。 更新 QK 时可保留过半已存声明式记忆,而更新 MLP 和 VO 则分别导致显著更多和约 80% 的损失。 研究揭示可塑性与稳定性依赖于模块功能角色的不同方面,为持续学习提供了任务依赖的模块级视角。

  19. arXiv · NLP33

    HyperQ:基于电路超网络量子增强的掩码扩散语言模型

    HyperQ 提出量子增强掩码扩散语言模型,通过轻量级电路超网络动态生成特定于 token 的量子电路。将量子期望值通过残差连接投影回冻结的语言模型骨干网络。 基于 IQP 架构,HyperQ 将 qubit 数量从 16 扩展至 64,在 6 项 zero-shot 基准上平均准确率从 47.65 提升至 54.30,超越冻结骨干网络的 49.59。

  20. arXiv · NLP26

    稀疏层是扩展循环语言模型的关键

    研究发现,结合混合专家(MoE)架构的循环语言模型在规模化表现上优于标准Transformer,且稀疏层是其关键所在。 其核心机制在于路由发散:模型在重复通过相同的共享层时激活不同的专家,从而在不增加额外参数的情况下恢复了模型的表现力。该方案还能通过早期退出机制优化计算与质量的权衡,实现显著的内存与推理节省。

  21. arXiv · NLP20

    大语言模型与小语言模型协同机制综述

    大语言模型(LLMs)与小语言模型(SLMs)的协同是平衡性能与部署效率的关键范式。 综述梳理了管道、路由、蒸馏等交互机制,并指出在边缘设备上应用时面临的系统开销、模型一致性及隐私等挑战。 该方向被视为推动下一代实用化、普适性人工智能发展的关键驱动力。