跳到正文
10月26日周一
  1. arXiv · ML25

    DRIVE:基于数据贡献与多样性感知加权及先验正则化的微调框架

    DRIVE 提出一种微调权重分配框架,通过统一可微目标结合 Shapley 加法、协方差多样性项及先验正则化,解决灾难性遗忘问题。 该框架实现端到端梯度平衡,理论上具备更优的稳定性-可塑性保证,增强了参数估计鲁棒性。 实证结果显示,DRIVE 达到更优整体性能、更快收敛速度及更强鲁棒性,代码已开源,论文发表于 NeurIPS 2026。

  2. arXiv · ML26

    TWIG:神经网络权重的树状共享离散决策表示

    TWIG将神经网络权重表示为共享离散决策路径的终点,实现剪枝、量化及低秩分解等压缩操作在统一对象上的编辑,支持单一优化器全局选择。 在大型语言模型权重矩阵中,TWIG 在 3-4 bit 精度下比 GPTQ 减少 9-15% 加法,面对强离群值矩阵时减少 20-55% 加法,且常见权重格式可视为无额外成本的浅层 TWIG。 该表示使权重层几乎全由导线和加法器组成,适合权重固定于制造过程的芯片。

  3. arXiv · ML29

    提出合成数据改写标度律:预测计算与数据限制下的最优改写比例

    研究提出合成数据改写标度律,预测模型规模、训练令牌数、改写比例及自然数据epoch数下的loss。在计算限制场景下,最优改写比例从$3\times10^{18}$ FLOPs时的不足10%增至$10^{22}$ FLOPs时的32%,22B参数模型损失预测误差为1.1%,其BPB优于改写者且计算量仅为后者十分之一。

  4. arXiv · AI28

    FinVerse:面向金融时间序列预测更真实评估的基准

    研究团队推出金融时间序列基准 FinVerse,包含 116,897 个序列和 1.711 亿观测值。 该基准基于经济语义组织数据,并评估 43 个公开时间序列基础模型在点预测、截面排名和组合回测中的表现。 FinVerse 在 GIFT-Eval 上的模型排名仅显示中等一致性(r=0.43),为金融决策模型选择提供了更有信息量的依据。

  5. arXiv · AI22

    O'Prior:合成任务分布决定表格基础模型质量

    研究指出合成先验是决定表格基础模型质量的一阶因素,该领域此前缺乏深入理解。 提出包含层级 SCM 元生成器等四个组件的 O'Prior,在固定架构和计算预算下验证其设计有效性。 固定架构下仅调整合成分布即可显著提升下游准确度和鲁棒性,填补了先验构造研究的空白。

  6. arXiv · AI20

    DeFAb:基于可废止溯因的接地科学发现数据集

    DeFAb 发布了一个包含 336 个任务的数据集与符号验证框架,基于 Gene Ontology 生物知识。模型通过补充理论或提出规则例外来填补空白,验证器检查编辑后果。简单符号修复解决了所有评估任务。 该框架要求例外需适用于相关案例并保留其他预测。计划研究比较有无反馈的训练与修订效果。DeFAb 使解释范围可测试,推进科学推理理论修订研究。

  7. arXiv · AI42

    On-Policy Self-Training:大语言模型的无数据自改进方法

    论文提出一种基于策略自我蒸馏的自训练框架,利用自生成问答对和特权推理演示实现模型后训练,无需依赖更强外部教师或人工标注信号。 该方法仅凭高层级主题描述,引导模型合成自身查询和推理轨迹,在文本和多模态领域实现一致性能提升,且保留未自训练领域的原有能力。 研究证明了基础模型具备丰富的潜在能力,无需外部任务监督即可在标准语言基准和视觉问答任务上持续自我改进。

  8. arXiv · AI30

    LARE:通过固定数据曝光下的损失重加权加速 LLM 预训练

    提出 LARE 方法,在固定数据曝光下自动调整域权重,1.5B 模型在 240B tokens 上训练时,五项评测基准平均提升 7.84 个百分点。 基于梯度噪声理论,LARE 采用归一化平方根倒数规则平衡损失尺度,无需额外搜索即可在 GSM8K 提升 17.06 分,MATH 提升 9.00 分。 该方法证明了在不增加领域数据曝光的情况下,调整域损失尺度可提升多任务联合能力。

  9. arXiv · AI29

    基于分层误差模型搜索与 KFAC-SVD 的 LLM 压缩方法研究

    研究团队提出了 LEMS 和 KFAC-SVD 两种方法,用于解决基于 SVD 的大语言模型压缩中秩分配和分解质量的问题。 LEMS 通过分层误差代理改进秩分配,KFAC-SVD 利用 token 级统计量避免秩坍塌。 在 Mistral、Qwen3 和 Llama 3 模型族上测试,LEMS 带来最高 4.8 个百分点的零样本精度提升,KFAC-SVD 平均困惑度改善 15%。

  10. arXiv · AI25

    WiMoT:无回放Wi-Fi传感的持续学习方法

    WiMoT 提出了一种无回放的持续 Wi-Fi 感知方法,通过存储每类特征均值和协方差实现新域学习。 该方法在 3DO、WiMANS 和 Widar3.0 数据集上取得 94.02%、89.61% 和 95.16% 的平均最终准确率,遗忘率不超过 0.58 个百分点。 WiMoT 优于使用回放的基准模型,且将全协方差压缩为秩-32因子后,内存占用降低至 6.4%。

  11. arXiv · AI38

    ALLMTS: 基于 LLM 的自动化医疗分诊系统

    ALLMTS 是一种自动化 LLM 医疗分诊系统,通过执行商业维护的远程医疗指南进行分诊,在 566 个场景测试中准确率 0.95,优于原始 LLM 基线的 0.47。 该系统让 LLM 执行指南而非直接分诊,在 50 个场景子集上准确率 0.98,过度分诊率降至 0.02。 该成果被 NeurIPS 2026 GenAI4Health Workshop 接收。

  12. APPSO24

    苹果发布首款触控 MacBook Pro,企业微信回应色情引流及大模型均价上涨

    苹果本周四发布首款触控版 MacBook Pro,采用 Mac 首次搭载的 OLED 屏幕并集成灵动岛;同时国内大模型服务均价同比上涨 98%。 新款 MacBook Pro 分 14 和 16 英寸,macOS 界面支持触控动态交互,但人机工学问题尚未解决;国内大模型日均 Token 消耗量已达 500 万亿。 企业微信因第三方外挂被攻破致部分账号发送色情信息,已强制下线相关账号并封禁链接。

10月25日周日
  1. Wired33

    美国数据中心反对运动能从海外经验中学到什么

    Paris Marx 新书指出海外反数据中心运动早于美国爆发,爱尔兰曾实施电网连接暂停并允许私营建电,智利等地亦有抵抗。 作者认为 AI 泡沫破裂将导致部分数据中心硬件因芯片快速迭代而过时,但新建的私有燃气电厂将持续存在并寻找新客户以维持运营。 新西兰案例展示了利用本地云服务商构建社区主导的 AI 应用,提供了非剥削性的数据中心发展替代愿景。

  2. R/ArtificialInteligence40

    MemOS 原生记忆架构 memt1.0 预览

    MemOS 即将推出的 memt1.0 采用记忆原生 MoE 架构,将记忆读写直接集成到核心计算路径中。 预览数据显示,模型在 36B 和 293B 检查点上完成训练,编码基准测试分数提升约 5%,且未显著增加计算成本。 该模型尚未公开,若原生记忆在开发中稳定运行,将免去每日重复输入代码库规则的繁琐操作。

  3. IT之家75

    亚马逊 CEO 贾西:2027 年 AWS 算力基本售罄,部分订单锁定到 2028 年

    亚马逊 CEO 安迪·贾西称,受 AI 基础设施需求上升影响,AWS 云计算容量到 2027 年基本售罄,并有大量长期算力订单锁定到 2028 年。他提到公司仍在尽力跟上 AI 实验室和企业客户对算力的需求,适合批量采购的大块算力资源大多已被订走,但会预留一部分资源用于按需调用、Bedrock 推理服务和 EC2。

10月24日周六
  1. Hacker News AI24

    一名软件工程师从 Meta 转向 AI 研究的路径与 413 次拒绝

    作者从 Meta 软件工程师转型为 Skoltech 硕士及 Mistral AI 实习生,在求职季遭拒 413 次后终获工业界实习机会。 其在 Skoltech 侧重数据复杂性研究,Mistral 实习期间负责合成数据基础设施,而非模型训练。 经历显示名校背书对跨界进入 AI 领域至关重要,头部厂商品牌显著降低面试门槛。

  2. Hacker News AI57

    NeurIPS、IEEE 和 ACM 论文中的逻辑错误如何污染 AI 训练数据

    作者指出 NeurIPS、IEEE 和 ACM 等顶级期刊中广泛存在的“trading off latency for accuracy”表述存在逻辑反转错误,这种语义模糊会导致 AI 模型在训练时误解变量关系。原文主张统一使用“speed-accuracy trade-off”以消除歧义,防止 AI 智能体在执行任务时因误读指令而失控。

  3. Seven Minute Feed28

    前EPA署长与前FERC主席联名呼吁建立联邦数据中心监管框架

    拜登政府前EPA署长与特朗普政府前FERC主席联名呼吁建立联邦数据中心监管框架。 他们指出当前数据中心建设速度远超监管能力,导致社区面临电费上涨、污染及水资源压力,部分州甚至实施临时禁令。 两位官员类比1926年《航空商务法》确立早期航空标准,警告若无联邦框架,美国AI基础设施将面临停滞或转嫁成本给邻国的风险。

  4. Seven Minute Feed61

    报告预测2027年中国AI算力将达880万H100等效芯片,65%依赖美国芯片

    一家华盛顿研究机构的报告预测,2027年中国实体的可用AI算力将从约460万增长至880万H100等效芯片,其中65%将基于美国设计的芯片运行。报告还指出,中国在算力部署上严重依赖离岸云服务。尽管北京正推动国产加速器,其AI基础设施建设仍高度依赖美国硬件,这意味着出口管制将持续发挥制约作用。

  5. LessWrong · All Posts29

    通过元梯度下降探索数据景观

    EleutherAI 的研究员 L.J. 在 Iliad Fellowship 期间提出利用元梯度下降探索数据景观。 研究定义了数据到参数映射,通过调整数据权重和训练步数,分析不同数据子集对模型学习及泛化行为的影响。 该方法揭示了如何控制数据以塑造模型最终学到的功能,为理解归纳偏置提供了形式化工具。

  6. HackerNoon · AI52

    AI模型为何需要永久存储:架构不可变性与分布式方案探讨

    文章认为开放模型生态过度依赖Hugging Face等单一下载点,且模型API存在静默更新和版本漂移风险,建议采用内容寻址和哈希校验来固定模型身份。作者比较了IPFS、Filecoin和Arweave三种去中心化存储方案的特点,指出它们均无法解决闭源模型的远程推理验证问题,并认为对于基础开放模型,发布带签名的内容哈希至追加式日志是最核心的做法。

  7. 量子位80

    高德发布首个基于开放世界行为的全身基座模型 λ0

    高德发布首个基于开放世界行为的全身基座模型 λ0。该模型仅依靠人类行动数据实现机器人零样本全身动作对齐,真机任务成功率较最强对比基线提升 22.5%,数据采集效率约为主流方法的 3.4 倍。项目已在 GitHub 开源相关代码,并在 HuggingFace 上线 HumanVerse 数据样例。

    推荐理由:该基座模型仅靠人类全身数据实现机器人零样本全身动作对齐,其简化采集管线的结果可供评估具身智能的数据替代上限。

10月23日周五
  1. Seven Minute Feed42

    AI 抛售导致纳指创 6 月以来最大单日跌幅,IPO 计划受阻

    AI 支出担忧加剧使 Nasdaq 100 下跌近 3%,创 6 月以来最大单日跌幅;费城半导体指数跌 7%,全球信用利差升至 17 个月高位。SK Hynix 因市场波动放弃 Solidigm 美国 IPO 审查,数据中心与芯片借贷成本上升加剧市场压力。 AI 抛售波及资本市场,SK Hynix 放弃 Solidigm IPO,借贷成本上升引发市场避险情绪。