GPT-6 Astra 生成神经网络贝叶斯学习泛化性质论文及形式化证明
GPT-6 Astra 协助撰写了关于神经网络贝叶斯学习泛化性质的多篇论文,核心发现特定权重先验诱导的函数先验等同于电路先验。 研究得出样本复杂度界限,指出超参数化网络下学习复杂函数仍可能保留常数测试误差率;GPT-6 Astra 已为其中 5 篇论文生成 Lean 形式化证明,另有 30 余份手稿待处理。
GPT-6 Astra 协助撰写了关于神经网络贝叶斯学习泛化性质的多篇论文,核心发现特定权重先验诱导的函数先验等同于电路先验。 研究得出样本复杂度界限,指出超参数化网络下学习复杂函数仍可能保留常数测试误差率;GPT-6 Astra 已为其中 5 篇论文生成 Lean 形式化证明,另有 30 余份手稿待处理。
研究提出 S³(Spectral Null-Space Swap)方法,通过非思考模型的主导子空间与思考模型空空间的权重组合,在不损精度的前提下提升推理效率。 该训练无关方法在 2B 至 30B 稠密及 MoE 架构上测试,平均降低 27.4% 推理 token 开销,同时提升整体任务准确率 1.0 个百分点。
研究发现辅助视角(概念重构)是大语言模型预训练获取知识的关键因素。 实验表明,在固定 token 预算下,将资源分配给辅助视角而非改写,即使对事实回忆也有提升。 该研究揭示了数据多样性的重要性,并为合成数据增强及模型自我提升提供了清晰的方法论依据。
针对隐私受限的金融领域 ASR 场景,本文证明使用 GRPO 强化学习训练合成语音时,能比 SFT 更好地从合成 TTS 数据中提取信息。 GRPO 将相对 SFT 的 WER 降低 40%(36.71% 降至 22.09%),SFT 与 GRPO 结合后降幅达 45%,主要机制是改善停止校准与音频注意力锚定。
研究者发布包含 9K 样本的紧凑合成推理数据集 CHIMERA,覆盖 8 大科学领域并采用全自动化评估流程。 该数据集利用前沿模型生成长 CoT 轨迹,用于 Qwen3-4B 模型的 SFT 和 RL 后训练。 实验显示,该小模型在 GPQA-Diamond 等基准上性能接近 DeepSeek-R1 和 Qwen3-235B。
研究证明AWQ和GPTQ是激活敏感性统一框架的特例。 通过构建梯度加权激活敏感性损失,提出SAQ-GPTQ方法。在模拟中,该方法比非加权GPTQ将INT3/INT4额外损失降低约3倍。
微调模型对子群表现的依赖由预训练模型潜在空间中子群的可分程度决定。 该假设经四个视觉与语言数据集实证验证,并通过正则化实验呈现因果证据。
研究团队发布 MedHal 数据集,专用于评估和训练医学文本幻觉检测模型。该数据集包含覆盖内在与外在幻觉的多样化医学文本及大量样本。经基准测试,基于 MedHal 训练的模型性能优于通用检测方案。
Typhoon 是一种利用掩码语言模型损失梯度评估词元贡献的动态掩码策略,旨在改进下游任务迁移效果。 实验在 TinyBERT、DistilBERT 和 BERT-base 上测试 Typhoon,对比随机及整词掩码,共执行 90 次训练。 多随机种子评估表明 Typhoon 在 MRPC 和 CoLA 任务上未优于基线,其单轮性能优势在统计检验中不显著。
在四项 CAD 领域基准测试中,IndustryForge-27B 平均比其基座模型 Qwen3.5-VL-27B 提升 33.65 个百分点,并在全部四项测试中超越闭源模型 GPT-5.4。
TabProbe 提出一种模型无关的关联规则学习框架,利用表格基础模型作为条件概率估计器,直接从模型中提取关联规则,无需传统频繁项目集挖掘。 在低数据场景下,该方法无需任务特定训练即可生成简洁且高质量的规则,具备强鲁棒性。 扩展版本已发表在 TMLR,开源代码已提供。
研究人员提出 Learned Wiring (LeWi) 方法,通过联合训练神经元嵌入与权重来利用隐藏的计算结构,解决了高维统计学习中的样本效率问题。 LeWi 在 32 个新计算图目标上比稠密网络的平均学习曲线面积低 27%,并在 17 个世界模型预测任务中赢得了 119 次对比中的 99 次。 该方法证明,同时学习连接性与权重能有效利用计算结构,显著提升模型在层级结构任务上的样本效率。
Qwen3.5 4B 和 9B 模型在 AppWorld 与 BabyAI 环境中学习感知预算的多轮代理,通过奖励反馈在 11 种目标函数下实现动态资源分配。 使用超支惩罚奖励可显著提升预算内成功率与自然合规性,Sigmoid 惩罚最优化成功率,固定负奖励增强合规性。 单个代理无需外部控制器即可适应用户指定的预算,该能力可零样本迁移至未见过的任务分布与基准测试。
针对全球预训练语料中非洲学术内容占比不足0.5%的现状,研究团队推出迄今最大规模的泛非多学科学术语料库Africa-Papers。该语料库包含超过844,807篇全文论文和101.5亿个Token,数据整合自DOAJ索引的31个非洲国家期刊、CGIAR农业库、arXiv预印本及OpenAlex开放获取文献,并处理为保留层级结构的Markdown格式。
基于 δ-SNLI 的研究表明,将信息表述为“有人声称”相比直接告知,会导致 LLM 的方向性概率变化幅度平均降低 2-5 个百分点,且反向移动比例在七种配置中均有所上升。
成对比较框架将回归重构为相对排序聚合,提升模型数据效率。 在 UTKFace 数据集上,ResNet10 经成对学习后 MAE 达 3.64 年;STL10 分类中准确率提升最高 5.2%。 该监督方式在标注数据有限时表现优异,尤其适用于临床场景。
随机Token替换在重复预训练数据中能降低验证损失,但现有方法难以区分误差来源。 研究通过熵分解揭示其缩减效应及在十个语料库中降低最终损失的效果。 对韩语、日语等文本,其降低了三分之一的最小值后损失上升。
提出Projected Distillation方法,通过最小化编辑学生失败尝试生成正确目标,实现近on-policy学习。 在Qwen3-8B和OLMo-2-7B模型上验证,该方法在9个对比单元中8个优于GRPO和OPD,7个优于SPOT和SODA。 保留率从0.916降至0.744时,最小修正策略优于通用gold solutions。
ICLHerd 提出利用 In-Context Learning 作为验证代理的 LLM 数据选择框架。 该框架引入 von Mises-Fisher 核函数以平衡 mode-seeking 与 mode-averaging 偏差。 实验表明 ICLHerd 优于现有 LLM 数据选择算法。
研究提出基于时间邻近性的自监督框架,从自由行为大鼠的短期运动轨迹中学习紧凑表征,无需人工定义行为状态。结果显示,1秒的运动轨迹即包含个体身份与学习相关信号,自我中心姿态动态更利于预测身份,而外心运动更利于预测学习差异。
研究提出激活空间探索(ASE)方法,在 Qwen3-1.7B-Base 和 Qwen3-8B-Base 上通过 DAPO-Math-17k 训练,将六项数学推理基准的 Mean@8 平均成绩分别较 GRPO 提升 4.87 和 1.87 个百分点。
该研究将蛋白质结合适配体设计作为 AI 系统湿实验闭环的沙盒,在三轮约 4400 个候选中,新候选在 alpha-凝血酶靶点的 on-target 命中率先降后升至 42.1%,myoglobin 则升至 33.5%。
研究人员推出 OptScientist,该框架通过 LLM 智能体系统从数据中自动发现紧凑的符号优化定律。 在包含 99 个物理问题的 OptFeynman 基准中,该模型恢复了超过 80% 的真实定律,且性能大幅优于机器学习、符号及 LLM 基线。 该框架将自动化科学发现扩展至物理、生物、行为和社会科学领域,实现跨学科的自动化理论构建。
该研究在 2 位量化下利用向量码本和联合数据选择,使 3.8B 至 32B 参数模型保留 89% 至 97% 的全精度 QA 准确率,避免精度降至随机水平。 方法采用 2.3 位有效权重位宽,配合少量任务对齐校准混合数据及低成本码本恢复阶段,比最强 QAT 基线节省 1.4 至 30 倍计算量。
追踪一个 8.4B 参数模型在日本金融文档上的三阶段后训练发现,各阶段能力交换非加性,最佳检查点因任务而异。 纯数学蒸馏会覆盖早期金融知识但保留程序性数学技能,领域阶段修复多于安装,跳过阶段消融虽最优但失去数值推理收益。 这意味着检查点保留和调度策略需根据任务动态调整,而非简单增加训练阶段。
Gradus 将固定环境视为潜在课程大纲,通过提取受保护的行为算子并联合校准任务与解,避免了现有合成流水线仅保留即时可解任务的偏差,将验证转化为恢复信号。
提出的 E8-QAT 框架使用 E8 隐式格码本进行 2 位量化,在 Qwen3.6-35B-A3B 上四项任务平均分与全精度模型持平。 该方法通过算术投影避免训练时搜索显式码本,比最先进基线在 IFEval 高 2.03%,在 LiveCodeBench 高 1.51%。 2 位表示将峰值内存降低 80%,最大可行批次下的解码吞吐量达 BF16 的 1.97 倍。
研究提出 Ask-to-Distill 框架,将合成问题作为分布提取器,用于优化在策略知识蒸馏过程中的监督信号。 该框架通过结合师生模型分歧与教师模型在学生候选支持集上的概率质量,计算无需参考答案的分布替代奖励来筛选和优化问题。 该方法在数学推理、代码生成和智能体任务上提升了模型平均性能并缩小了师生差距,相关代码与模型已公开提供。
在 4-bit 量化下,PTQ 校准效果由更新剂量 D_func 主导,可导致 NDCG@10 变动达 -71.53 点。 验证门控规则在 30 次决策中未选出低于基线的检查点,保留 8/11 有益更新,平均 oracle regret 1.52 pp。 该策略以安全性换取机会收益,并非免费改进。
2026 年 XR 产业出现明显分化,全球 VR 头显出货量同比下滑 18%,AR 设备则大幅增长 138%。 中国智能眼镜上半年销量同比翻倍,但 7 月线上零售同比下滑 15.3%,行业正从概念转向商业闭环。 终端换挡、内容跑通闭环,政策托底,胜负手在于将技术优势转化为可持续现金流。
Dataville 发布首个公开版本,通过 API 或 MCP 让 AI 开发者获取来自公开来源及许可数据集的新鲜、可溯源数据,替代脆弱的网络抓取管线。 该版本整合了 Wikipedia、SEC EDGAR、美国人口普查局及 arXiv 等资源,其 MCP 服务器已列入官方 MCP Registry,开发者可免费使用且无需信用卡。
开放权重模型允许科研人员在本地运行 AI,避免数据流向前沿实验室,增强控制力与隐私安全。 Google Dataset Search 每月新增约 200 万个数据集,但缺乏标示数据适用性的基础设施;NSF 向 National Data Platform 注资 2450 万美元以支持国家数据基础设施。 挑战已从数据可及性转向数据可信度,要求改进文档与结构标准。
本文基于 Strategy One (March 2026) 版本,展示如何用 Strategy Mosaic 在 AWS Redshift 与 Aurora 间构建 C360 语义层。
作者 Stephen Martin 在 LessWrong 撰文指出,随着 LLM 和上传连接组机制可解释性及控制技术的发展,人类“折磨数字意识”的能力同步提升。文中提到开源社区已有针对感知痛苦的 AI 进行折磨的用例,因此必须建立预防措施。作者结合果蝇连接组(14 万神经元)等背景,论证了预防性措施的可行性与道德紧迫性。
由MIT教授Pulkit Agrawal和前Google DeepMind研究员Tuomas Haarnoja创办的机器人初创公司Eka完成1.5亿美元A轮融资,投后估值达14.5亿美元,由a16z和F-Prime领投。该公司基于力-视觉-动作模型开发了具有力感应灵巧手的机器人,每小时可抓取约1500个物体,成功率超过95%,远超人类水平。
Cloudflare 发布了 Clairic 模型,该模型通过单轮处理实现比大语言模型更快、更低成本的数据提取。Clairic 已在 Workers AI 上开放预览,并计划随后发布开放权重。在实测案例中,Clairic 结合其他模型的智能体链条处理邮件所需时间为 19.3 秒,而单独使用 GLM-5.3 处理相同任务需 61.7 秒且成本近乎翻倍。
韩国数据中心公司Elice在Kosdaq上市首日股价下跌33%,原因是市场对AI数据中心前景的担忧。其上市发生在澳大利亚公司Firmus取消IPO的几周之后。此次下跌是继CoreWeave债务担忧后,公开投资者再次拒绝AI基础设施估值的信号。
Gartner 预测 2026~2030 年全球人工智能基础设施投资总额将达 7 万亿美元,但到 2030 年最多仅能产生 3.6 万亿美元收入。 分析师指出,实现 12% 投资回报率需 8.5 万亿美元收入,存在约 5 万亿美元缺口,目标或需延至 2032 年,期间超 4 万亿美元资产面临减值风险。 机构预测到 2030 年将有超过 80% 的 Neocloud 停止独立运营。
向大语言模型(LLM)提问所耗能源,大约相当于为10瓦LED灯泡供电2分钟。 盲目创建提示词或反复改写问题直至得到“正确”回答,可将能耗放大至多38倍。
研究理论证明同步 SGD 及其稳健变体 m-Synchronous SGD 在异构计算和通信场景中时间复杂度近优。 分析表明同步方法在随机延迟及工人对抗性部分参与下表现最优,仅差对数因子。尽管非通用解,但已满足多数现代异构场景需求。