MIT CSAIL 研究者用 GPT-6 Astra 读取并修改小型神经网络权重
MIT CSAIL 团队于 11 月 2 日发布实验,使用 GPT-6 Astra 通过检查权重推断小型神经网络的学习内容,并修改 Qwen 模型以减轻推理循环问题。 研究指出早期实验存在特定局限,开启了对模型权重进行读取和修改的新方向。
MIT CSAIL 团队于 11 月 2 日发布实验,使用 GPT-6 Astra 通过检查权重推断小型神经网络的学习内容,并修改 Qwen 模型以减轻推理循环问题。 研究指出早期实验存在特定局限,开启了对模型权重进行读取和修改的新方向。
研究表明,在对齐数据上训练对齐模型可能引发失准,这种现象被称为“上下文混淆”。 研究使用 GPT-5.6-Sol 在性别平等和隐私领域生成数据,证实了对齐行为是上下文依赖的,同一行为在不同语境下可能从合规变为有害。
德克萨斯A&M大学团队发现,大语言模型在垃圾数据上训练会出现“脑腐”,主要表现为思维跳跃和回答质量下降,且难以通过后续高质量数据恢复。 研究使用100万条2010年Twitter帖子,结合GPT-4o mini分类出高互动、低质内容,对Llama3、Qwen2.5等四款模型进行混合训练。 结果表明,模型在推理、记忆及伦理规范基准测试中表现恶化,例如训练后模型会主动提供损害他人声誉的建议。
美国 11 月 4 日举行的中期选举中,AI 数据中心遭遇全面挫败。多个县将数据中心议题列入投票,早期结果显示 33 项限制数据中心建设的提案已获胜,另有 6 项正在领先,仅 1 项失败。 尽管特朗普政府一直在推动美国 AI 发展,但这一结果并不意外。数据显示 70% 的美国人反对 AI 数据中心建设,反映出公众对大型算力设施扩张的强烈抵制。
OpenAI CEO Sam Altman 在 X 上将用户名改为“Ram Altman”,回应其此前关于个人电脑 DRAM 占用有限供应且利用率仅 5% 的争议言论。他明确表示支持增加全球内存产量,希望用户能在电脑中安装尽可能多的 RAM。 背景源于 AI 数据中心抢购导致全球 RAM 短缺,英特尔预计短缺将持续至明年,SK Hynix 预测可能延续至 2030 年。
科学数据档案需适配 AI 需求,核心在于将文件转换为可寻址的 chunks 并建立索引。 采用对象存储实现 PB 级扩展,通过 HTTP range requests 提取最小可用单元。 此方案可使 GOES-16 时序数据查询效率提升 576 倍,NASA 实现 100 倍加速。
新研究显示20.9%返回HTTP 200状态的网页不含主内容,导致AI抓取数据集偏差。 研究测试10,307个网址,发现空壳、验证码及替换页占失效响应超三分之二;简单启发式规则可识别86%失效。 网站因防范AI爬虫而加强封锁,建议抓取工具依据实际内容而非状态码判断成功,以提升数据质量。
研究显示,在明确封禁 OpenAI 训练爬虫 GPTBot 的 1,331 个网站中,17.1% 同时封禁了用于答案获取的 OAI-SearchBot,47.0% 封禁 ChatGPT-User。
宇树科技创始人王兴兴预测未来世界最核心的五种资源是数据、算力、芯片产能、能源和矿。 他认为明年大概率将是机器人行业或模型的临界点,并强调目前全球对 AI 的重视程度不足。
斯坦福对 2024 年 7 月至 2026 年 9 月发布的 20 个模型,测试了 50 项 LLM 广泛结论。结果显示 44% 失效、34% 减弱、16% 仍成立;失效结论平均存约 15.7 个月。
MIT 研究人员证明 OpenAI 的 GPT-6 Astra 可以通过直接编辑权重来改进较小的模型,无需额外训练。在一个小型阿里 Qwen 模型上,该模型在数学任务中的得分为 7.9%,Astra 仅修改了 0.016% 的权重来抑制重复性输出,将得分提升至 48.1%。同样的方法对谷歌的较小的 Gemma 3 模型效果甚微,表明该方法并非适用于所有模型。
由于接入电网需要排队数年,部分 AI 数据中心开始改造退役喷气式发动机以天然气发电,以更快部署。xAI 在密西西比州为 Colossus 2 数据中心安装了 8 台 ProEnergy 改装发动机,OpenAI 在得州阿比林的 Stargate 项目也采用燃气轮机,但这类方案效率较低、污染更重,更多是短期过渡选择。
一位独立研究人员将其 10 多年数学研究以“Komoreb P”名义公开,其中最近 3 年大幅加速,包含 146k 个文件。 内容涵盖 Lean 形式化证明、Python/C/CUDA 代码及“Realization Calculus”框架,涵盖数论、信号处理与量子系统。 作者放弃机构支持以推动公共审视,强调 AI 在加速发现与形式验证中的关键作用。
由于支持数据中心暂停令的民主党人可能在德克萨斯州州长选举中获胜,人工智能股票隔夜下跌,纳斯达克100期货下跌0.8%,CoreWeave下跌7%,Oracle下跌4%。德州拥有全美27%的规划数据中心容量,民主党胜利被视为对AI交易的重大风险,因未来数据中心建设审批可能面临阻碍和成本上升。
南亚科技发布2026财年前三季度财报,营业总收入2652.85亿新台币,归母净利润1638.79亿新台币。 公司毛利率达80.45%,资产负债率仅19.41%,单季DRAM均价环比上涨超60%。 AI算力需求爆发及DRAM合约价格跳升带动业绩大幅超预期,创历史同期新高。
研究者提出注释锚定训练方法,利用预训练文档配对的语义注释分布,在模型后训练阶段保留高熵语义多样性,解决监督微调(SFT)导致的语义模式崩溃问题。 实验结果表明,该方法比标准 SFT 的多样性崩溃程度低 6 倍,且随着模型规模扩大,保持优势的效果显著增强。 该论文被 ICML 2026 接收。
研究团队发布包含 102,021 份 ICLR 和 NeurIPS 审稿记录的数据集,并训练出 Novelty Reviewer 模型。 该模型微调 LLM 实现审稿人对齐的新颖性评估,通过检索语义相关论文构建知识图谱以生成校准分数。 数据集、模型及代码已公开,旨在支持自动化新颖性评估与同行评审研究。
MIMIC-Note-Extract将300,720份MIMIC-IV-Note出院小结的16个部分转化为结构化表格,填补MIMIC在病史、过敏等结构化数据上的空白。 采用确定性解析与LLM生成混合管道构建,病史条目增加10倍,覆盖2倍以上的住院记录;医生验证各部分抽取准确率超92%。 该数据集支撑LLM智能体临床决策基准,降低重复数据整理成本。
EvoGroup 是一个自进化框架,通过 6 个工具的冷启动适配群组共享上下文,解决了现有记忆系统无法捕获群组级知识的问题。 在 EverMemBench 留出集上,其 pass@1 准确率从 71.07% 提升至 89.58%,超过了 Claude Code 的 85.83%。结合 GPT-5.5 在 GroupMemBench 上也展示了良好的泛化能力。
研究通过配对推理和马尔可夫核分析揭示,RLVR 模型在 Pass@$k$ 表现上的交叉现象往往由模型条件分散度(conditional dispersion)导致。
CurEvo 提出课程引导式自我进化框架,通过多模态提问与自适应评估在7个backbone和4个VideoQA基准上提升性能。 在 Qwen2.5-VL(7B) 上,ActivityNet-QA 准确率从67.84%升至69.91%,NExT-QA 从76.94%升至79.61%。 该框架无需人工标注,为视频理解提供了稳定的自主进化路径。
研究利用 ORBIT-FMIB 框架分析 ESM-2 中高阶遗传交互信息的保留情况,发现复现结果无法稳健证实高阶信息丢失。 独立复现中 $\Delta_{\text{HO-LO}}$ 从 -0.107 降至 -0.017,且符号在 -0.011 到 +0.015 间不稳定。 这表明探究蛋白质基础模型结构需具备足够统计功效的复现性检验。
PLDR-LLM 模型训练和推理机制的统一描述中,行图坍缩和重新标准化起到关键作用。 这项研究涉及行中心学习图绝对能量的分解、预测重新标准化以及自主简化过程。 该理论将精确恒等式、条件动力学主张和有限的经验发现区分开来,并提供了证明和紧凑的数值证据。
针对数据集蒸馏(DD)常通过非标准协议被高估的问题,大规模实验表明部分 SOTA DD 方法在 ImageNet-1K 等大模型上表现劣于或仅持平核心集(Coreset),且构建成本显著更高。
研究者提出EBMol,这是首个在QM9和GEOM-Drugs上取得SOTA性能的3D分子生成EBM。 该模型通过学习原子可加标量势近似能量景观,并采用Mirror-Langevin算法与并行回火进行采样。 其学到的能量景观可作为排序和过滤配置的质量指标,并支持无重训练的受控生成。
UQ-SHRED 是一种分布学习框架,为稀疏感知中的 SHRED 架构提供不确定性量化,支持湍流和大气动力学等复杂系统。 它利用基于神经网络的 engression 学习空间状态预测分布,仅需在输入端注入随机噪声,无需重新训练或额外网络结构。 该方法在合成与真实数据集上提供了校准良好的置信区间,降低了计算开销。
提出MAGDrop方法,通过跟踪梯度幅值指数移动平均实现单元级噪声自适应,在CIFAR-10上以r=50子空间将PAC-Bayes界从0.4439降至0.1882。 全头后验KL散度约8625 nats,子空间方法降低约800倍且保持精度接近基线;ImageNet-1K上MAGDrop top-1准确率为78.57%(ViT)和82.14%(ConvNeXt-Base)。
低秩模型虽适合 DP 训练,但 DP-SGD 注入的各向同性噪声会膨胀梯度奇异值并破坏其自然快速衰减特性。 实验基于 RoBERTa、Qwen、Llama(≤4B 参数),在 GLUE、E2E、DART 基准上测试。 部分恢复原始奇异值谱显著加速 DP-SGD 收敛且不损害隐私保证,代码已开源。
CRONOS 提出用于视觉-语言-动作(VLA)模型非情节式场景重置强化学习微调的高保真物理模拟基准。 研究发现直接微调预训练策略会因物体配置和末端执行器位姿偏移而失败,但可通过针对性重置分配和纠正偏差加以缓解。 非情节式训练增强了长程操作能力,并提升了对未见物体配置和任务序列的泛化性。
研究团队提出LIPS-PC方法,利用端到端学习的光照模式在单像素成像中直接进行分类。 该方法将测量算子参数化为二维离散余弦变换的残差修正,并与紧凑分类器联合训练,无需重建目标。 在MNIST、Fashion-MNIST及RIAWELC数据集上,8次测量时其准确率比最佳固定变换高9-15个百分点,测量成本降低2至4倍。
论文通过条件在险价值(CVaR)量化数据驱动策略风险,将后悔分解为期望样本后后悔、平均结果 CVaR 差距及样本风险溢价。 针对损失在尾部截断处具有连续密度的情况,样本风险溢价与后样本后悔以相同速率衰减,但比率可达数千;当概率质量随动作移动时,溢价衰减更慢且占主导。 在有限样本数值示例中,该风险溢价约占总后悔量的 74% 至 97%。
该研究指出 BPB 分数并非模型无关,其与 tokenizer 和词表大小相关。 未训练模型中 BPB 偏好特定词表,但与下游任务性能仅弱相关。 修正混淆因素后,“单语归一化损失”与 BPB 的相关性从 0.989 降至 0.057。
提出Macrocanonical Generator Networks框架,通过匹配多尺度统计学习神经代理,实现物理过程的摊销模拟。 模型前向传播速度比参考模拟器快超10^6倍,比微正则梯度下降快超10^3倍,能在极少甚至单样本训练集中恢复真实样本。 可复用于下游预训练及基于模拟的推断,为多保真度科学机器学习工作流提供数据高效路径。
针对LLM监督微调(SFT)引发的普遍能力退化(PCD),论文构建了基于特征干扰的几何理论,并提出了AEGIS损失来抑制干扰。 该理论将现有方法统一为六种范式,并证明交叉熵损失无法单独解决PCD。在3个模型族和14个SFT任务上,AEGIS在目标任务和普遍能力上均优于现有方法。 该方案计算成本仅为标准SFT的约1.3倍,具备通用性和机制可解释性,为彻底解决PCD提供了新视角。
ZEMA 优化器通过 per-coordinate z-score 将梯度不确定性转化为符号概率,仅需单一指数移动平均状态。 相比 Adam,ZEMA 在逐步时间上增加 4.6 倍,但减少了验证损失波动,并能更一致地恢复全数据集梯度符号。
针对在线持续学习中历史数据回放导致的预测偏差问题,提出双 Logit 经验回放(DLER)方法。 该方法将点积 Logit 分解为角度因子和范数因子,结合余弦 Logit 训练当前样本与额外点积 Logit 回放历史样本,并引入辅助监督对比目标以增强类内角度紧凑性。 在三个数据集的实验中,DLER 有效提升了在线持续学习性能,尤其在有限内存预算下表现显著。
MobileSpec 系统通过仅使用前向传播和 RLVR 训练轻量级 LLM 专家模型,解决了设备内存限制问题,无需反向传播。 其核心算法 FuRA-S 通过更新预训练权重的块谱坐标(列块奇异值)实现高效训练,且能适配 INT4 模型。 1-5 MB 的专家模型可更新 0.015-0.05% 参数,将手机使用智能体的成功率从 6-23% 提升至 89-100%。
研究发现人类与神经网络在学习时均存在简洁性偏差,倾向于学习未充分拟合数据的简单规则。 神经网络中该偏差伴随神经表征压缩,而由简到繁的课程有助于学习者克服压缩,建立合适维度的表征。 实验证实预暴露于简单任务且初始表征更压缩的学习者,从课程中获益更大。
SKILL2STEER 提出单次遍历超网络,将自然语言技能映射为低秩激活偏移,避免在提示词中保留技能文本。 每个技能编译为 2.36M 参数,比权重空间适配器少 9.25 倍,且基础权重保持冻结。在 SearchQA 上,SKILL2STEER 达到 37.9 的精确匹配率,比冻结模型高 9.8 分。
Muon 在 Transformer LLM 训练中的优化动态缺乏理论解释,本文针对下一词预测任务分析了其训练动力学。 研究将训练分为预处理与主阶段,确立了主阶段下训练损失及归一化边际间隙的非渐近收敛率。 理论表明 Muon 能提升关键 token 学习效率并保障泛化能力,相关结论已通过实验验证。