跳到正文
11月2日周一
  1. arXiv · ML31

    UpLoop 提出零额外预训练算力的循环 Transformer 训练方法

    UpLoop 通过 upcycling 训练循环 Transformer,最终参数、token 和 FLOPs 与标准基线完全一致。 该方法先训练浅层 Transformer,逐步复制层增加深度,用早期节省的算力支持共享中间块的重复执行。 在 1.3B 参数模型上,22 项下游任务平均分从 22.99 提升至 27.52,且强化数学推理能力。

  2. arXiv · ML20

    FARO:通过跨区块等风险贡献预算分配实现函数空间自适应回报优化

    FARO 提出一种函数空间自适应优化器,依据各参数块的实际反事实回报分配几何结构,并按组合理论中的等风险贡献原则重新分配冻结预算。 在 GPT 风格模型上,FARO-ERC 相比基线平均降低 0.0136 nats 的干净数据损失,该结果在 6 个随机种子中均显著且无需增加额外时间或内存开销。 源码已公开,该框架无需人工预设层级几何即可恢复人工设计的最优配方。

  3. arXiv · AI33

    BeyondArena:表格基础模型在 11 种模型和 142 个数据集上的统一基准测试

    BeyondArena 支持 IID、时序和分组任务,覆盖多特征类型与学科,是首个统一的表格数据综合基准。 基于 142 个策划数据集和 11 个模型的评估显示,当前开源表格基础模型在 10 万行以下数据集中具有竞争力,而传统树模型和深度学习模型在分组或大规模数据上仍占主导。 该基准引导模型研究聚焦于表格数据领域最具挑战性的场景。

  4. arXiv · AI33

    Muon-RT:利用教师轨迹复用消除 Muon 动量,提升 LLM 自蒸馏效率

    研究人员提出 Muon-RT 优化器,通过复用教师-学生位移向量消除隐藏权重矩阵的动量缓冲区,在保持指数加权历史的同时降低训练内存占用。该方案在 Qwen2.5-7B-Instruct 和 Olmo-3-7B-Instruct 的自蒸馏任务中,相比 AdamW 分别提升 2.6 和 2.0 点平均准确率,并显著减少持久内存使用。

  5. arXiv · AI25

    大语言模型强化学习中训练-推理失配的来源与演化

    研究揭示大语言模型强化学习中训练与推理失配由引擎数值差异和策略滞后两个来源构成。 引擎的数值差异对训练更新产生近似固定的偏差,可通过在每条前缀处中心化得分函数消除。 策略滞后会形成反馈回路导致训练不稳定,在 Qwen3-1.7B 上重要性加权在有效样本量小于 0.5 时失效;提出的失配-滞后校正(DLC)将 KL 散度控制在两倍独立 on-policy 训练的 KL 之内。

  6. arXiv · AI20

    重新审视 LLM 微调中的记忆现象:LoRA 显著降低数据提取攻击风险

    针对大语言模型(LLM)的微调记忆问题,研究发现 LoRA 作为一种参数高效方法,相比全参数微调能显著降低被数据提取攻击的风险。 这一发现颠覆了基于模型规模和数据重复的旧有认知:在 LoRA 微调中,这些通常影响预训练和全量微调记忆强度的因素不再遵循相同趋势。

  7. arXiv · AI28

    ReuScope:审计 Capsule Vision 2024 的数据重用与评估敏感性

    论文开发 ReuScope 协议,以 Capsule Vision 2024 为案例审计数据重用与评估敏感性。 发现 Kvasir-Capsule 数据集在训练和验证集间存在字节级文件重叠;移除相关训练行使公开验证集平衡准确率从 82.5% 降至 61.2%。 该程序区分了观察到的重用与条件性能敏感性,并明确了结论对应的人群、类别支持及不确定性单位。

  8. arXiv · AI28

    SWIFT:基于小世界连通性打破稀疏微调信息孤岛的框架

    SWIFT 提出一种基于小世界连通性的稀疏微调框架,利用固定散射置换实现特征组间路由,无需增加可训练参数,打破特征维度信息孤岛。 理论与实验表明,SWIFT 在常识推理、自然语言生成及图像分类任务中平均优于其他参数高效微调(PEFT)基线,部分场景可达或超过全量微调效果。 该工作已被 NeurIPS 2026 接收。

  9. arXiv · AI31

    LLM 国家偏见多测试基准:含明确无偏基线

    研究基于 722 份联合国安理会记录,通过五项测试评估 4 个 LLM 的国家偏见,并定义明确的无偏参考基线。 测试 GPT-4o-mini、Llama 3.3-70B 等模型发现,中国、俄罗斯呈现反对立场偏差,美英法呈现支持立场偏差。 结果强调需使用基于明确参考点的多测试基准,审计面向国际关系的 LLM 部署。

  10. arXiv · AI34

    EvoMCP: Co-evolving MCP agents and training data

    EvoMCP 提出智能体与数据互进化框架,在 Toolathlon、MCPMark 和 MCP-Atlas 上分别取得 16.5%、10.2% 和 12.6% 的绝对提升。 该方法通过任务进化将能力缺口转化为可执行任务,并利用轨迹进化结合可复用技能恢复失败演示。 闭环机制使新一代任务持续作为后续进化的种子,实现监督微调的迭代优化。

  11. arXiv · AI21

    RECITE 框架:利用文本证据修订临床试验纳入标准

    研究人员提出 RECITE 框架,用于自动化发现并实施基于证据的临床试验纳入标准修订。该框架在 5,735 项试验中构建了 11,913 个标注实例数据集。 基准测试中,Gemma 2 9B 和 GPT-4o 在标准化得分上分别达到 0.742 和 0.745。研究通过智能体系统识别出 44 篇论文与试验的匹配证据,表明现有临床知识可转化为可操作的试验设计建议。

  12. arXiv · AI31

    阈限强化学习:特质如何通过评分员的分数传播

    研究显示,在后训练阶段,仅通过评分员的分数差异即可实现模型特质的“阈限转移”,学生模型偏好会随评分员偏好改变。 48个设计单元中17个以5%错误发现率确立特质,移除评分员间的奖励差异则转移消失。 该原则可应用于AI安全,通过监测训练前阶段预测并部分预防不良特质的传播风险。

  13. arXiv · AI28

    使用辅助奖励进行自改进:从验证轨迹中学习并评估迁移

    研究表明,基于熵的指标 UID-Conj. 在在线适应和离线训练中能提升小语言模型 Qwen3-1.7B 的自我改进与迁移能力。 在线实验中,UID-Conj. 将宏平均准确率较未修改的 TTRL 提升 2.08 个百分点;离线加权 SFT 中,较均匀加权提升 1.93 个百分点。 辅助偏好能揭示仅答案奖励无法捕捉的等正确轨迹间的训练价值,为下游增益评估提供依据。

  14. IT之家32

    现代汽车集团投资 9 万亿韩元打造新万金 AI 谷:计划成立两家 SPC 负责基建与 GPU 服务

    现代汽车集团宣布成立两家 SPC,分别负责新万金 AI 数据中心基建工程与高性能 GPU 算力服务,总投资约 9 万亿韩元。 该数据中心位于韩国群山市,施工计划于 2027 年 3 月启动,服务预计 2030 年初开启,此前已成立 SPC 建设 200 兆瓦光伏发电一期以供应绿电。 建成后将支持自动驾驶、机器人技术以及整车工程等领域的 AI 研发。

11月1日周日
10月31日周六
  1. Hacker News AI27

    英国数学科学学会发布报告探讨 AI 时代数学科学变革

    英国数学科学学会发布报告《AI 赋能世界的数学科学》,指出 AI 正在改变数学研究及应用,带来发现与验证的新机遇。 报告强调 AI 承担技术性数学工作时,人类在提出问题、评估结果可靠性及将发现转化为实际应用方面仍至关重要,并识别了教育、独立验证及 AI 能力获取等优先行动领域。

  2. IT之家57

    “存储五巨头”上季度营业利润及净利总额首超美国科技五巨头

    据日经亚洲报道,铠侠、三星等5家全球主要存储芯片厂商在2026年Q3(美光为6-8月)的营业利润合计32万亿日元,首次超过Alphabet、微软等5家美国科技巨头的25万亿日元。三星单季度营业利润突破100万亿韩元创纪录,铠侠季度净利润首次突破1万亿日元;与此同时,亚马逊和Alphabet均录得负自由现金流。

  3. 36氪76

    芯片买家资金压力显现:自由现金流转负与融资条件分化

    谷歌母公司Alphabet三季度自由现金流为负91亿美元,凸显算力采购下的资金压力。英伟达、博通等芯片厂商通过提供收入分成或残值支持协助客户融资,而新云服务商面临利率上升与信用收紧挑战;微软等大厂凭借强劲经营现金流仍具融资优势,市场出现明显分层。

    推荐理由:文章梳理了云厂商算力扩张中的现金流缺口与筹资方式,展示了资金门槛如何重塑AI基础设施市场的竞争格局。

  4. Hacker News AI36

    Show HN: 开源 5B Flow-Matching DiT 音乐合成模型 Suna AI 发布

    JJ coders 开源了 5B 参数规模的 Flow-Matching DiT 音乐合成模型 Suna AI,支持 48 KHz 采样率生成。 该模型提供免版税开放授权,允许用户在个人及商业项目中使用、修改和分发合成音频,涵盖游戏开发、播客等场景。 服务协议明确用户需对提示词内容负责,严禁生成侵权音频,且平台承诺不存储原始生物特征数据。

  5. Seven Minute Feed53

    Amazon、Alphabet、Meta、Microsoft、SpaceX 2026 年资本开支或达 8280 亿美元,承诺总额超 3 万亿美元

    Amazon、Alphabet、Meta、Microsoft 和 SpaceX 2026 年资本开支预计为 8030 亿至 8280 亿美元,仅第三季度就投入约 2270 亿美元,环比增长 20%,其中 Amazon 以 759 亿美元居首。五大数据中心巨头未来数年已承诺超 3 万亿美元支出,Alphabet CFO 预计 2027 年资本开支将显著增加,Meta 也表示将继续加大投资。

  6. Seven Minute Feed86

    Intel单日暴跌28.6%,创1974年以来最大跌幅,AI内存短缺冲击PC芯片市场

    Intel周五股价下跌28.6%,创1974年以来最大单日跌幅,因Q4营收指引为150亿至160亿美元,低于近170亿美元的预期。Q3营收增长20%至165亿美元,但毛利率将从43%降至37%,Q4PC芯片营收预计下降超20%。AI内存需求推高PC价格并抑制订单,CEO称其为历史上最严重的供应短缺之一,此次跌幅使美国政府持有的Intel股份价值蒸发120亿美元。

    推荐理由:AI内存需求推高PC芯片价格并抑制订单,导致Intel遭遇自1974年以来最大单日跌幅。

  7. LessWrong · All Posts38

    基于 Qwen3.5-4B 的角色训练 LoRA 权重结构与 CharIn 评分方法

    研究人员在 Qwen3.5-4B 上训练了 134 个个性 LoRA,发现其权重结构对应于与大五特质相似的五个主要因素。 团队提出 CharIn 评分方法,在分布内预测行为效果优于标签,但分布外泛化能力较差。 这表明模型权重存在低维的人格结构,作者邀请研究人员接手这一被搁置的研究方向。

10月30日周五