跳到正文
10月21日周三
  1. LessWrong · All Posts31

    GPT-6 Astra 生成神经网络贝叶斯学习泛化性质论文及形式化证明

    GPT-6 Astra 协助撰写了关于神经网络贝叶斯学习泛化性质的多篇论文,核心发现特定权重先验诱导的函数先验等同于电路先验。 研究得出样本复杂度界限,指出超参数化网络下学习复杂函数仍可能保留常数测试误差率;GPT-6 Astra 已为其中 5 篇论文生成 Lean 形式化证明,另有 30 余份手稿待处理。

  2. arXiv · AI45

    S³:谱空空间交换让推理模型更高效

    研究提出 S³(Spectral Null-Space Swap)方法,通过非思考模型的主导子空间与思考模型空空间的权重组合,在不损精度的前提下提升推理效率。 该训练无关方法在 2B 至 30B 稠密及 MoE 架构上测试,平均降低 27.4% 推理 token 开销,同时提升整体任务准确率 1.0 个百分点。

  3. arXiv · AI26

    Typhoon:基于梯度的任务特定掩码策略评估

    Typhoon 是一种利用掩码语言模型损失梯度评估词元贡献的动态掩码策略,旨在改进下游任务迁移效果。 实验在 TinyBERT、DistilBERT 和 BERT-base 上测试 Typhoon,对比随机及整词掩码,共执行 90 次训练。 多随机种子评估表明 Typhoon 在 MRPC 和 CoLA 任务上未优于基线,其单轮性能优势在统计检验中不显著。

  4. arXiv · AI31

    TabProbe:利用表格基础模型实现模型无关的关联规则学习

    TabProbe 提出一种模型无关的关联规则学习框架,利用表格基础模型作为条件概率估计器,直接从模型中提取关联规则,无需传统频繁项目集挖掘。 在低数据场景下,该方法无需任务特定训练即可生成简洁且高质量的规则,具备强鲁棒性。 扩展版本已发表在 TMLR,开源代码已提供。

  5. arXiv · AI33

    LeWi 通过联合学习连接结构与权重提升样本效率

    研究人员提出 Learned Wiring (LeWi) 方法,通过联合训练神经元嵌入与权重来利用隐藏的计算结构,解决了高维统计学习中的样本效率问题。 LeWi 在 32 个新计算图目标上比稠密网络的平均学习曲线面积低 27%,并在 17 个世界模型预测任务中赢得了 119 次对比中的 99 次。 该方法证明,同时学习连接性与权重能有效利用计算结构,显著提升模型在层级结构任务上的样本效率。

  6. arXiv · AI36

    Qwen3.5 学习感知预算的多轮代理资源分配

    Qwen3.5 4B 和 9B 模型在 AppWorld 与 BabyAI 环境中学习感知预算的多轮代理,通过奖励反馈在 11 种目标函数下实现动态资源分配。 使用超支惩罚奖励可显著提升预算内成功率与自然合规性,Sigmoid 惩罚最优化成功率,固定负奖励增强合规性。 单个代理无需外部控制器即可适应用户指定的预算,该能力可零样本迁移至未见过的任务分布与基准测试。

  7. arXiv · AI33

    Africa-Papers:面向非洲基础语言模型的100亿Token多学科学术语料库

    针对全球预训练语料中非洲学术内容占比不足0.5%的现状,研究团队推出迄今最大规模的泛非多学科学术语料库Africa-Papers。该语料库包含超过844,807篇全文论文和101.5亿个Token,数据整合自DOAJ索引的31个非洲国家期刊、CGIAR农业库、arXiv预印本及OpenAlex开放获取文献,并处理为保留层级结构的Markdown格式。

  8. arXiv · AI29

    OptScientist:自动化发现优化定律的框架

    研究人员推出 OptScientist,该框架通过 LLM 智能体系统从数据中自动发现紧凑的符号优化定律。 在包含 99 个物理问题的 OptFeynman 基准中,该模型恢复了超过 80% 的真实定律,且性能大幅优于机器学习、符号及 LLM 基线。 该框架将自动化科学发现扩展至物理、生物、行为和社会科学领域,实现跨学科的自动化理论构建。

  9. arXiv · AI20

    分阶段持续适配多模态基础模型用于日本金融文档

    追踪一个 8.4B 参数模型在日本金融文档上的三阶段后训练发现,各阶段能力交换非加性,最佳检查点因任务而异。 纯数学蒸馏会覆盖早期金融知识但保留程序性数学技能,领域阶段修复多于安装,跳过阶段消融虽最优但失去数值推理收益。 这意味着检查点保留和调度策略需根据任务动态调整,而非简单增加训练阶段。

  10. arXiv · AI29

    E8-QAT:采用隐式格码本的高效2位量化感知训练

    提出的 E8-QAT 框架使用 E8 隐式格码本进行 2 位量化,在 Qwen3.6-35B-A3B 上四项任务平均分与全精度模型持平。 该方法通过算术投影避免训练时搜索显式码本,比最先进基线在 IFEval 高 2.03%,在 LiveCodeBench 高 1.51%。 2 位表示将峰值内存降低 80%,最大可行批次下的解码吞吐量达 BF16 的 1.97 倍。

  11. arXiv · AI28

    Ask-to-Distill:用于在策略知识蒸馏的合成分布式提问框架

    研究提出 Ask-to-Distill 框架,将合成问题作为分布提取器,用于优化在策略知识蒸馏过程中的监督信号。 该框架通过结合师生模型分歧与教师模型在学生候选支持集上的概率质量,计算无需参考答案的分布替代奖励来筛选和优化问题。 该方法在数学推理、代码生成和智能体任务上提升了模型平均性能并缩小了师生差距,相关代码与模型已公开提供。

  12. 36氪50

    XR 2026 产业分析:全球 VR 出货量下滑 18%,AR 设备暴涨 138%

    2026 年 XR 产业出现明显分化,全球 VR 头显出货量同比下滑 18%,AR 设备则大幅增长 138%。 中国智能眼镜上半年销量同比翻倍,但 7 月线上零售同比下滑 15.3%,行业正从概念转向商业闭环。 终端换挡、内容跑通闭环,政策托底,胜负手在于将技术优势转化为可持续现金流。

  13. Hacker News AI37

    Dataville 推出首个公开版本,通过 API 或 MCP 提供可信数据

    Dataville 发布首个公开版本,通过 API 或 MCP 让 AI 开发者获取来自公开来源及许可数据集的新鲜、可溯源数据,替代脆弱的网络抓取管线。 该版本整合了 Wikipedia、SEC EDGAR、美国人口普查局及 arXiv 等资源,其 MCP 服务器已列入官方 MCP Registry,开发者可免费使用且无需信用卡。

  14. Hacker News AI26

    重新审视 AI 时代的开放科学:开放权重模型与数据可信度

    开放权重模型允许科研人员在本地运行 AI,避免数据流向前沿实验室,增强控制力与隐私安全。 Google Dataset Search 每月新增约 200 万个数据集,但缺乏标示数据适用性的基础设施;NSF 向 National Data Platform 注资 2450 万美元以支持国家数据基础设施。 挑战已从数据可及性转向数据可信度,要求改进文档与结构标准。

10月20日周二
  1. LessWrong · All Posts60

    随着可解释性技术提升,我们将创造数字地狱

    作者 Stephen Martin 在 LessWrong 撰文指出,随着 LLM 和上传连接组机制可解释性及控制技术的发展,人类“折磨数字意识”的能力同步提升。文中提到开源社区已有针对感知痛苦的 AI 进行折磨的用例,因此必须建立预防措施。作者结合果蝇连接组(14 万神经元)等背景,论证了预防性措施的可行性与道德紧迫性。

  2. TechCrunch · AI71

    具身智能初创公司Eka完成1.5亿美元A轮融资,估值14.5亿美元

    由MIT教授Pulkit Agrawal和前Google DeepMind研究员Tuomas Haarnoja创办的机器人初创公司Eka完成1.5亿美元A轮融资,投后估值达14.5亿美元,由a16z和F-Prime领投。该公司基于力-视觉-动作模型开发了具有力感应灵巧手的机器人,每小时可抓取约1500个物体,成功率超过95%,远超人类水平。

  3. The Decoder52

    Cloudflare 发布数据提取模型 Clairic,单轮处理速度更快且成本更低

    Cloudflare 发布了 Clairic 模型,该模型通过单轮处理实现比大语言模型更快、更低成本的数据提取。Clairic 已在 Workers AI 上开放预览,并计划随后发布开放权重。在实测案例中,Clairic 结合其他模型的智能体链条处理邮件所需时间为 19.3 秒,而单独使用 GLM-5.3 处理相同任务需 61.7 秒且成本近乎翻倍。

  4. IT之家41

    Gartner 预测 7 万亿美元人工智能基础设施到 2030 年仅能收回约一半投入

    Gartner 预测 2026~2030 年全球人工智能基础设施投资总额将达 7 万亿美元,但到 2030 年最多仅能产生 3.6 万亿美元收入。 分析师指出,实现 12% 投资回报率需 8.5 万亿美元收入,存在约 5 万亿美元缺口,目标或需延至 2032 年,期间超 4 万亿美元资产面临减值风险。 机构预测到 2030 年将有超过 80% 的 Neocloud 停止独立运营。