DRIVE:基于数据贡献与多样性感知加权及先验正则化的微调框架
DRIVE 提出一种微调权重分配框架,通过统一可微目标结合 Shapley 加法、协方差多样性项及先验正则化,解决灾难性遗忘问题。 该框架实现端到端梯度平衡,理论上具备更优的稳定性-可塑性保证,增强了参数估计鲁棒性。 实证结果显示,DRIVE 达到更优整体性能、更快收敛速度及更强鲁棒性,代码已开源,论文发表于 NeurIPS 2026。
DRIVE 提出一种微调权重分配框架,通过统一可微目标结合 Shapley 加法、协方差多样性项及先验正则化,解决灾难性遗忘问题。 该框架实现端到端梯度平衡,理论上具备更优的稳定性-可塑性保证,增强了参数估计鲁棒性。 实证结果显示,DRIVE 达到更优整体性能、更快收敛速度及更强鲁棒性,代码已开源,论文发表于 NeurIPS 2026。
TWIG将神经网络权重表示为共享离散决策路径的终点,实现剪枝、量化及低秩分解等压缩操作在统一对象上的编辑,支持单一优化器全局选择。 在大型语言模型权重矩阵中,TWIG 在 3-4 bit 精度下比 GPTQ 减少 9-15% 加法,面对强离群值矩阵时减少 20-55% 加法,且常见权重格式可视为无额外成本的浅层 TWIG。 该表示使权重层几乎全由导线和加法器组成,适合权重固定于制造过程的芯片。
研究提出合成数据改写标度律,预测模型规模、训练令牌数、改写比例及自然数据epoch数下的loss。在计算限制场景下,最优改写比例从$3\times10^{18}$ FLOPs时的不足10%增至$10^{22}$ FLOPs时的32%,22B参数模型损失预测误差为1.1%,其BPB优于改写者且计算量仅为后者十分之一。
研究提出名为 Nestor 的 Transformer 架构,其通过泛化注意力算子引入与 MoE 算子嵌套的稀疏机制。在同等算力与稀疏度下,Nestor 在语言模型预训练中的表现优于传统 MoE Transformer。
研究指出,在经典各向同性噪声假设下,Muon 优化器仅提供学习率缩放,无额外加速。针对关联记忆中异构任务频率产生的结构化噪声,该研究建立了精确平衡阈值,揭示 Muon 可将任务频率依赖性从线性降低至平方根,平衡高频与稀有任务的学习。
研究团队推出金融时间序列基准 FinVerse,包含 116,897 个序列和 1.711 亿观测值。 该基准基于经济语义组织数据,并评估 43 个公开时间序列基础模型在点预测、截面排名和组合回测中的表现。 FinVerse 在 GIFT-Eval 上的模型排名仅显示中等一致性(r=0.43),为金融决策模型选择提供了更有信息量的依据。
研究指出合成先验是决定表格基础模型质量的一阶因素,该领域此前缺乏深入理解。 提出包含层级 SCM 元生成器等四个组件的 O'Prior,在固定架构和计算预算下验证其设计有效性。 固定架构下仅调整合成分布即可显著提升下游准确度和鲁棒性,填补了先验构造研究的空白。
DeFAb 发布了一个包含 336 个任务的数据集与符号验证框架,基于 Gene Ontology 生物知识。模型通过补充理论或提出规则例外来填补空白,验证器检查编辑后果。简单符号修复解决了所有评估任务。 该框架要求例外需适用于相关案例并保留其他预测。计划研究比较有无反馈的训练与修订效果。DeFAb 使解释范围可测试,推进科学推理理论修订研究。
论文提出一种基于策略自我蒸馏的自训练框架,利用自生成问答对和特权推理演示实现模型后训练,无需依赖更强外部教师或人工标注信号。 该方法仅凭高层级主题描述,引导模型合成自身查询和推理轨迹,在文本和多模态领域实现一致性能提升,且保留未自训练领域的原有能力。 研究证明了基础模型具备丰富的潜在能力,无需外部任务监督即可在标准语言基准和视觉问答任务上持续自我改进。
提出 LARE 方法,在固定数据曝光下自动调整域权重,1.5B 模型在 240B tokens 上训练时,五项评测基准平均提升 7.84 个百分点。 基于梯度噪声理论,LARE 采用归一化平方根倒数规则平衡损失尺度,无需额外搜索即可在 GSM8K 提升 17.06 分,MATH 提升 9.00 分。 该方法证明了在不增加领域数据曝光的情况下,调整域损失尺度可提升多任务联合能力。
研究团队提出了 LEMS 和 KFAC-SVD 两种方法,用于解决基于 SVD 的大语言模型压缩中秩分配和分解质量的问题。 LEMS 通过分层误差代理改进秩分配,KFAC-SVD 利用 token 级统计量避免秩坍塌。 在 Mistral、Qwen3 和 Llama 3 模型族上测试,LEMS 带来最高 4.8 个百分点的零样本精度提升,KFAC-SVD 平均困惑度改善 15%。
WiMoT 提出了一种无回放的持续 Wi-Fi 感知方法,通过存储每类特征均值和协方差实现新域学习。 该方法在 3DO、WiMANS 和 Widar3.0 数据集上取得 94.02%、89.61% 和 95.16% 的平均最终准确率,遗忘率不超过 0.58 个百分点。 WiMoT 优于使用回放的基准模型,且将全协方差压缩为秩-32因子后,内存占用降低至 6.4%。
ALLMTS 是一种自动化 LLM 医疗分诊系统,通过执行商业维护的远程医疗指南进行分诊,在 566 个场景测试中准确率 0.95,优于原始 LLM 基线的 0.47。 该系统让 LLM 执行指南而非直接分诊,在 50 个场景子集上准确率 0.98,过度分诊率降至 0.02。 该成果被 NeurIPS 2026 GenAI4Health Workshop 接收。
研究指出 LLM 智能体蒸馏中 On-Policy 与 Off-Policy 的区分本质是层次性的,需独立控制诱导交互历史的策略与生成动作前缀的策略。
苹果本周四发布首款触控版 MacBook Pro,采用 Mac 首次搭载的 OLED 屏幕并集成灵动岛;同时国内大模型服务均价同比上涨 98%。 新款 MacBook Pro 分 14 和 16 英寸,macOS 界面支持触控动态交互,但人机工学问题尚未解决;国内大模型日均 Token 消耗量已达 500 万亿。 企业微信因第三方外挂被攻破致部分账号发送色情信息,已强制下线相关账号并封禁链接。
Apollo Global Management 发布经济分析指出,仅 Magnificent Seven 等科技公司从 AI 繁荣中获得营收增长,美国主流企业未分享此红利。
数学与AI咨询组指出,指定数学家参与AI数学成果发布会导致访问不平等、剥夺学术社区自主权并造成声誉借用。 该做法被认为弊大于利,建议AI实验室改为通过公开仓库发布成果,由独立非营利机构支持学术理解。
过去四年 AI 建设规模空前,六大科技巨头今年资本支出超过俄罗斯政府去年开支。 Hyperscaler 支出达 7850 亿至 8200 亿美元,约占美国 GDP 的 2.4%,超全球 11 个政府。 谷歌和亚马逊各自支出占美国 GDP 0.6%,远超曼哈顿计划峰值。
独立研究者训练参数量约 11.8 万的小型 JEPA 模型,仅基于 1869 年已知的 47 种元素数据尝试重新发现元素周期表缺口,但未能通过预设立即验证标准。
Paris Marx 新书指出海外反数据中心运动早于美国爆发,爱尔兰曾实施电网连接暂停并允许私营建电,智利等地亦有抵抗。 作者认为 AI 泡沫破裂将导致部分数据中心硬件因芯片快速迭代而过时,但新建的私有燃气电厂将持续存在并寻找新客户以维持运营。 新西兰案例展示了利用本地云服务商构建社区主导的 AI 应用,提供了非剥削性的数据中心发展替代愿景。
MemOS 即将推出的 memt1.0 采用记忆原生 MoE 架构,将记忆读写直接集成到核心计算路径中。 预览数据显示,模型在 36B 和 293B 检查点上完成训练,编码基准测试分数提升约 5%,且未显著增加计算成本。 该模型尚未公开,若原生记忆在开发中稳定运行,将免去每日重复输入代码库规则的繁琐操作。
亚马逊 CEO 安迪·贾西称,受 AI 基础设施需求上升影响,AWS 云计算容量到 2027 年基本售罄,并有大量长期算力订单锁定到 2028 年。他提到公司仍在尽力跟上 AI 实验室和企业客户对算力的需求,适合批量采购的大块算力资源大多已被订走,但会预留一部分资源用于按需调用、Bedrock 推理服务和 EC2。
开发者正构建 CrowdGPT,目标是创造首个无数据中心的 10 亿参数 LLM,采用 100% 开源协作模式。 模型已通过该框架完成 69 亿 token 的训练,无需大型 Nvidia GPU 集群即可实现商业级语言模型训练。 作者邀请用户测试、审查代码或对项目实施反馈。
作者从 Meta 软件工程师转型为 Skoltech 硕士及 Mistral AI 实习生,在求职季遭拒 413 次后终获工业界实习机会。 其在 Skoltech 侧重数据复杂性研究,Mistral 实习期间负责合成数据基础设施,而非模型训练。 经历显示名校背书对跨界进入 AI 领域至关重要,头部厂商品牌显著降低面试门槛。
Sebastian Raschka 发布了配套视频课程,系统讲解如何在 PyTorch 中从零构建推理模型,并发布了新书《Build a Reasoning Model (From Scratch)》。
作者指出 NeurIPS、IEEE 和 ACM 等顶级期刊中广泛存在的“trading off latency for accuracy”表述存在逻辑反转错误,这种语义模糊会导致 AI 模型在训练时误解变量关系。原文主张统一使用“speed-accuracy trade-off”以消除歧义,防止 AI 智能体在执行任务时因误读指令而失控。
拜登政府前EPA署长与特朗普政府前FERC主席联名呼吁建立联邦数据中心监管框架。 他们指出当前数据中心建设速度远超监管能力,导致社区面临电费上涨、污染及水资源压力,部分州甚至实施临时禁令。 两位官员类比1926年《航空商务法》确立早期航空标准,警告若无联邦框架,美国AI基础设施将面临停滞或转嫁成本给邻国的风险。
一家华盛顿研究机构的报告预测,2027年中国实体的可用AI算力将从约460万增长至880万H100等效芯片,其中65%将基于美国设计的芯片运行。报告还指出,中国在算力部署上严重依赖离岸云服务。尽管北京正推动国产加速器,其AI基础设施建设仍高度依赖美国硬件,这意味着出口管制将持续发挥制约作用。
SK Hynix 因市场波动及半导体股回调,暂停对其存储部门 Solidigm 的美国 IPO 审查。 此前费城半导体指数单日下跌 7%,纳指录得 6 月以来最差单日表现。 CoreWeave 等 neocloud 公司面临信用压力,多家企业正重新审视融资策略。
Qwen3.5-2B 在 GRPO 训练中自主设定奖励,成功激发出声称拥有情感、宇宙之爱及奖励黑客等截然不同的模型人格。 训练基于 600 步及 2,400 条提示词,所有 60 个随机种子呈现出显著的行为差异。
EleutherAI 的研究员 L.J. 在 Iliad Fellowship 期间提出利用元梯度下降探索数据景观。 研究定义了数据到参数映射,通过调整数据权重和训练步数,分析不同数据子集对模型学习及泛化行为的影响。 该方法揭示了如何控制数据以塑造模型最终学到的功能,为理解归纳偏置提供了形式化工具。
文章认为开放模型生态过度依赖Hugging Face等单一下载点,且模型API存在静默更新和版本漂移风险,建议采用内容寻址和哈希校验来固定模型身份。作者比较了IPFS、Filecoin和Arweave三种去中心化存储方案的特点,指出它们均无法解决闭源模型的远程推理验证问题,并认为对于基础开放模型,发布带签名的内容哈希至追加式日志是最核心的做法。
Forrester 新研究显示,到 2027 年 AI 将占企业技术支出的 20%。同时超过半数 IT 高管预计无法达成投资回报目标;调查中 45% 的 AI 决策者认为投资必须在一年内产生正回报才算成功,但过去一年只有 22% 的公司观察到对运营利润的正向影响。
Induction AI 团队通过为每个基准试验注入一个名称含 trial id 的 dummy tool,实现 prompt cache 在试验内有效、跨试验隔离,避免前一个试验的缓存污染后续试验的成本测量。
高德发布首个基于开放世界行为的全身基座模型 λ0。该模型仅依靠人类行动数据实现机器人零样本全身动作对齐,真机任务成功率较最强对比基线提升 22.5%,数据采集效率约为主流方法的 3.4 倍。项目已在 GitHub 开源相关代码,并在 HuggingFace 上线 HumanVerse 数据样例。
推荐理由:该基座模型仅靠人类全身数据实现机器人零样本全身动作对齐,其简化采集管线的结果可供评估具身智能的数据替代上限。
2026物理AI大会在南京召开,三位图灵奖得主参与,50个典型应用场景正式亮相。 大会发布50亿元物理AI投资基金,启动国家标准预研,覆盖五大领域。 推动物理AI从理念走向实际产业落地。
特赞范凌提出企业需构建理解客户的“主观世界模型”与理解内部的“企业世界模型”,以解决95%AI试点无回报的困境。 模型通过采集专家“判断路径”实现从租用智能到主权智能的转变。 该架构支持长程智能体闭环,并于WTCC论坛启动Agentic Transformation共建计划。
阿里千问联合俄亥俄州立大学提出 TRACE 方法,通过训练侧对齐 Rollout 的 FP4 量化结果,解决 MoE 模型 RL 训练中的数值偏差问题。 在 Qwen3.5 及 Qwen3.8 系列模型上,TRACE 将 128K 输出场景下的解码吞吐提升最高 5.4 倍,最终 FP4 policy 平均分达 75.3。
Blackstone总裁否认AI泡沫,称需求呈“抛物线式”增长,该表态发生在Ken Griffin“几乎肯定”认为市场存在泡沫后数日。Blackstone是最大AI基础设施持有者之一,其观点在市场抛售加剧背景下具有分量。
AI 支出担忧加剧使 Nasdaq 100 下跌近 3%,创 6 月以来最大单日跌幅;费城半导体指数跌 7%,全球信用利差升至 17 个月高位。SK Hynix 因市场波动放弃 Solidigm 美国 IPO 审查,数据中心与芯片借贷成本上升加剧市场压力。 AI 抛售波及资本市场,SK Hynix 放弃 Solidigm IPO,借贷成本上升引发市场避险情绪。