跳到正文
11月5日周四
  1. Hacker News AI44

    德克萨斯A&M大学研究揭示LLM训练于垃圾数据会导致认知功能退化

    德克萨斯A&M大学团队发现,大语言模型在垃圾数据上训练会出现“脑腐”,主要表现为思维跳跃和回答质量下降,且难以通过后续高质量数据恢复。 研究使用100万条2010年Twitter帖子,结合GPT-4o mini分类出高互动、低质内容,对Llama3、Qwen2.5等四款模型进行混合训练。 结果表明,模型在推理、记忆及伦理规范基准测试中表现恶化,例如训练后模型会主动提供损害他人声誉的建议。

  2. Hacker News AI49

    AI 数据中心在 2026 年 11 月 4 日美国中期选举中遭遇全面挫败

    美国 11 月 4 日举行的中期选举中,AI 数据中心遭遇全面挫败。多个县将数据中心议题列入投票,早期结果显示 33 项限制数据中心建设的提案已获胜,另有 6 项正在领先,仅 1 项失败。 尽管特朗普政府一直在推动美国 AI 发展,但这一结果并不意外。数据显示 70% 的美国人反对 AI 数据中心建设,反映出公众对大型算力设施扩张的强烈抵制。

11月4日周三
  1. The Verge · AI31

    Sam Altman 回应 DRAM 言论:希望人们能在电脑中放置尽可能多的内存

    OpenAI CEO Sam Altman 在 X 上将用户名改为“Ram Altman”,回应其此前关于个人电脑 DRAM 占用有限供应且利用率仅 5% 的争议言论。他明确表示支持增加全球内存产量,希望用户能在电脑中安装尽可能多的 RAM。 背景源于 AI 数据中心抢购导致全球 RAM 短缺,英特尔预计短缺将持续至明年,SK Hynix 预测可能延续至 2030 年。

  2. Hacker News AI49

    研究显示20.9%返回200状态的网页无有效内容,AI数据抓取受阻

    新研究显示20.9%返回HTTP 200状态的网页不含主内容,导致AI抓取数据集偏差。 研究测试10,307个网址,发现空壳、验证码及替换页占失效响应超三分之二;简单启发式规则可识别86%失效。 网站因防范AI爬虫而加强封锁,建议抓取工具依据实际内容而非状态码判断成功,以提升数据质量。

  3. Seven Minute Feed59

    MIT 研究表明 GPT-6 Astra 可通过直接重写权重修复其他 AI 模型

    MIT 研究人员证明 OpenAI 的 GPT-6 Astra 可以通过直接编辑权重来改进较小的模型,无需额外训练。在一个小型阿里 Qwen 模型上,该模型在数学任务中的得分为 7.9%,Astra 仅修改了 0.016% 的权重来抑制重复性输出,将得分提升至 48.1%。同样的方法对谷歌的较小的 Gemma 3 模型效果甚微,表明该方法并非适用于所有模型。

  4. IT之家67

    AI 数据中心因电网接入缓慢改装喷气发动机发电

    由于接入电网需要排队数年,部分 AI 数据中心开始改造退役喷气式发动机以天然气发电,以更快部署。xAI 在密西西比州为 Colossus 2 数据中心安装了 8 台 ProEnergy 改装发动机,OpenAI 在得州阿比林的 Stargate 项目也采用燃气轮机,但这类方案效率较低、污染更重,更多是短期过渡选择。

  5. R/ArtificialInteligence23

    独立数学家公开 AI 加速的 10 余年数学研究成果(含 14.6 万文件)

    一位独立研究人员将其 10 多年数学研究以“Komoreb P”名义公开,其中最近 3 年大幅加速,包含 146k 个文件。 内容涵盖 Lean 形式化证明、Python/C/CUDA 代码及“Realization Calculus”框架,涵盖数论、信号处理与量子系统。 作者放弃机构支持以推动公共审视,强调 AI 在加速发现与形式验证中的关键作用。

  6. Hacker News AI64

    德州州长选举结果引发AI数据担忧,AI股票下跌

    由于支持数据中心暂停令的民主党人可能在德克萨斯州州长选举中获胜,人工智能股票隔夜下跌,纳斯达克100期货下跌0.8%,CoreWeave下跌7%,Oracle下跌4%。德州拥有全美27%的规划数据中心容量,民主党胜利被视为对AI交易的重大风险,因未来数据中心建设审批可能面临阻碍和成本上升。

  7. arXiv · NLP36

    注释锚定训练:缓解大语言模型后训练语义模式崩溃

    研究者提出注释锚定训练方法,利用预训练文档配对的语义注释分布,在模型后训练阶段保留高熵语义多样性,解决监督微调(SFT)导致的语义模式崩溃问题。 实验结果表明,该方法比标准 SFT 的多样性崩溃程度低 6 倍,且随着模型规模扩大,保持优势的效果显著增强。 该论文被 ICML 2026 接收。

  8. arXiv · NLP38

    Novelty Reviewer:用于审稿人对齐新颖性评估的大规模数据集与模型

    研究团队发布包含 102,021 份 ICLR 和 NeurIPS 审稿记录的数据集,并训练出 Novelty Reviewer 模型。 该模型微调 LLM 实现审稿人对齐的新颖性评估,通过检索语义相关论文构建知识图谱以生成校准分数。 数据集、模型及代码已公开,旨在支持自动化新颖性评估与同行评审研究。

  9. arXiv · NLP31

    MIMIC-Note-Extract:从MIMIC-IV-Note出院小结中提取的大规模结构化数据集

    MIMIC-Note-Extract将300,720份MIMIC-IV-Note出院小结的16个部分转化为结构化表格,填补MIMIC在病史、过敏等结构化数据上的空白。 采用确定性解析与LLM生成混合管道构建,病史条目增加10倍,覆盖2倍以上的住院记录;医生验证各部分抽取准确率超92%。 该数据集支撑LLM智能体临床决策基准,降低重复数据整理成本。

  10. arXiv · ML22

    ORBIT-FMIB 诊断框架揭示 ESM-2 高阶遗传交互信息保留特性的不确定性

    研究利用 ORBIT-FMIB 框架分析 ESM-2 中高阶遗传交互信息的保留情况,发现复现结果无法稳健证实高阶信息丢失。 独立复现中 $\Delta_{\text{HO-LO}}$ 从 -0.107 降至 -0.017,且符号在 -0.011 到 +0.015 间不稳定。 这表明探究蛋白质基础模型结构需具备足够统计功效的复现性检验。

  11. arXiv · ML20

    PLDR-LLMs 的训练与推理动力学研究

    PLDR-LLM 模型训练和推理机制的统一描述中,行图坍缩和重新标准化起到关键作用。 这项研究涉及行中心学习图绝对能量的分解、预测重新标准化以及自主简化过程。 该理论将精确恒等式、条件动力学主张和有限的经验发现区分开来,并提供了证明和紧凑的数值证据。

  12. arXiv · ML23

    UQ-SHRED:通过 engression 对浅层递归解码器网络进行稀疏感知不确定性量化

    UQ-SHRED 是一种分布学习框架,为稀疏感知中的 SHRED 架构提供不确定性量化,支持湍流和大气动力学等复杂系统。 它利用基于神经网络的 engression 学习空间状态预测分布,仅需在输入端注入随机噪声,无需重新训练或额外网络结构。 该方法在合成与真实数据集上提供了校准良好的置信区间,降低了计算开销。

  13. arXiv · ML21

    重新审视用于 LLM 隐私微调的低秩适应:恢复奇异值谱可加速 DP-SGD 收敛

    低秩模型虽适合 DP 训练,但 DP-SGD 注入的各向同性噪声会膨胀梯度奇异值并破坏其自然快速衰减特性。 实验基于 RoBERTa、Qwen、Llama(≤4B 参数),在 GLUE、E2E、DART 基准上测试。 部分恢复原始奇异值谱显著加速 DP-SGD 收敛且不损害隐私保证,代码已开源。

  14. arXiv · ML22

    CRONOS:面向机器人操作的非情节式强化学习基准

    CRONOS 提出用于视觉-语言-动作(VLA)模型非情节式场景重置强化学习微调的高保真物理模拟基准。 研究发现直接微调预训练策略会因物体配置和末端执行器位姿偏移而失败,但可通过针对性重置分配和纠正偏差加以缓解。 非情节式训练增强了长程操作能力,并提升了对未见物体配置和任务序列的泛化性。

  15. arXiv · ML25

    LIPS-PC:通过单像素成像中的学习光照模式实现分类

    研究团队提出LIPS-PC方法,利用端到端学习的光照模式在单像素成像中直接进行分类。 该方法将测量算子参数化为二维离散余弦变换的残差修正,并与紧凑分类器联合训练,无需重建目标。 在MNIST、Fashion-MNIST及RIAWELC数据集上,8次测量时其准确率比最佳固定变换高9-15个百分点,测量成本降低2至4倍。

  16. arXiv · ML21

    数据驱动策略的风险量化:CVaR 视角下的后悔分解

    论文通过条件在险价值(CVaR)量化数据驱动策略风险,将后悔分解为期望样本后后悔、平均结果 CVaR 差距及样本风险溢价。 针对损失在尾部截断处具有连续密度的情况,样本风险溢价与后样本后悔以相同速率衰减,但比率可达数千;当概率质量随动作移动时,溢价衰减更慢且占主导。 在有限样本数值示例中,该风险溢价约占总后悔量的 74% 至 97%。

  17. arXiv · ML30

    Macrocanonical Generator Networks:用于摊销物理模拟的数据高效神经代理模型

    提出Macrocanonical Generator Networks框架,通过匹配多尺度统计学习神经代理,实现物理过程的摊销模拟。 模型前向传播速度比参考模拟器快超10^6倍,比微正则梯度下降快超10^3倍,能在极少甚至单样本训练集中恢复真实样本。 可复用于下游预训练及基于模拟的推断,为多保真度科学机器学习工作流提供数据高效路径。

  18. arXiv · ML39

    基于特征干扰的LLM后训练SFT普遍能力退化(PCD)统一理论及AEGIS损失方法

    针对LLM监督微调(SFT)引发的普遍能力退化(PCD),论文构建了基于特征干扰的几何理论,并提出了AEGIS损失来抑制干扰。 该理论将现有方法统一为六种范式,并证明交叉熵损失无法单独解决PCD。在3个模型族和14个SFT任务上,AEGIS在目标任务和普遍能力上均优于现有方法。 该方案计算成本仅为标准SFT的约1.3倍,具备通用性和机制可解释性,为彻底解决PCD提供了新视角。

  19. arXiv · ML21

    DLER: 用于在线持续学习的双 Logit 经验回放

    针对在线持续学习中历史数据回放导致的预测偏差问题,提出双 Logit 经验回放(DLER)方法。 该方法将点积 Logit 分解为角度因子和范数因子,结合余弦 Logit 训练当前样本与额外点积 Logit 回放历史样本,并引入辅助监督对比目标以增强类内角度紧凑性。 在三个数据集的实验中,DLER 有效提升了在线持续学习性能,尤其在有限内存预算下表现显著。

  20. arXiv · ML44

    移动端 LLM 训练系统 MobileSpec 发布:基于前向-only 优化的块谱坐标方法

    MobileSpec 系统通过仅使用前向传播和 RLVR 训练轻量级 LLM 专家模型,解决了设备内存限制问题,无需反向传播。 其核心算法 FuRA-S 通过更新预训练权重的块谱坐标(列块奇异值)实现高效训练,且能适配 INT4 模型。 1-5 MB 的专家模型可更新 0.015-0.05% 参数,将手机使用智能体的成功率从 6-23% 提升至 89-100%。

  21. arXiv · ML21

    人类与神经网络课程式遗忘机制研究

    研究发现人类与神经网络在学习时均存在简洁性偏差,倾向于学习未充分拟合数据的简单规则。 神经网络中该偏差伴随神经表征压缩,而由简到繁的课程有助于学习者克服压缩,建立合适维度的表征。 实验证实预暴露于简单任务且初始表征更压缩的学习者,从课程中获益更大。

  22. arXiv · ML24

    Muon 优化器在 Transformer 下一词预测训练中的理论分析

    Muon 在 Transformer LLM 训练中的优化动态缺乏理论解释,本文针对下一词预测任务分析了其训练动力学。 研究将训练分为预处理与主阶段,确立了主阶段下训练损失及归一化边际间隙的非渐近收敛率。 理论表明 Muon 能提升关键 token 学习效率并保障泛化能力,相关结论已通过实验验证。