跳到正文
11月6日周五
  1. arXiv · ML33

    LLM 微调数据选择:覆盖率比难度更重要

    研究发现 LLM 微调中基于难度的数据选择方法往往不如随机选择,因随机选择对输入空间的覆盖性更好。 通过聚类方法优化覆盖率后,在单领域任务中表现持平或优于随机选择;在 Tülu 3 混合数据上则优于所有对比方法。 优先保障覆盖而非难度的数据选择策略能提升 LLM 微调效果。

  2. arXiv · ML20

    基于静态试验数据的熔盐氯化物腐蚀数据驱动建模

    研究人员整合 291 组熔盐氯化物腐蚀实验,开发了一种可解释的机器学习框架来预测腐蚀速率。 该模型结合树集成,交叉验证 R² 达 0.85,平均绝对误差 0.41 mg cm⁻² day⁻¹;引入氯化物盐制备指数以统一表征差异。 框架证明历史数据可实现定量、可解释且具备不确定性评估的腐蚀预测。

  3. IT之家62

    美股科技股大幅下跌:五大科技富豪单日财富缩水 1529 亿美元,费城半导体指数跌约 12%

    美国中期选举结束后,美股 11 月 5 日大规模抛售,科技股和 AI 硬件产业链成为主要下跌板块,费城半导体指数单日跌幅约 12%,为历史第二大单日跌幅。纳指下跌 5.5%,较近期高点回落 11.9% 进入技术性回调;英伟达跌 9.3%、AMD 跌 17.3%、特斯拉跌约 10.8%。

  4. Hacker News AI20

    AI 能否赋予 NFT 第二次机会

    瑞士圣加仑大学教授 Andrea Barbon 认为 NFT 有望通过为 AI agent 提供可验证的唯一身份来推动 AI 安全发展。 NFT 技术核心在于描述特定数字或实物资产的权属,Ethereum 等区块链提供商正致力于构建用于验证 AI agent 的系统,使其可信度可被识别与评级。 这一应用方向为 NFT 开辟了连接 AI 时代的新前景,使其不再局限于单纯的收藏投机。

  5. Hacker News AI66

    美股因中期选举结果抛售,AI相关股重挫

    科技股占比较高的纳斯达克综合指数周四暴跌5.7%,因为投资者权衡民主党在中期选举中获胜是否会导致大型数据中心建设放缓。德州州长选举中当选的民主党人吉娜·希诺霍萨(Gina Hinojosa)曾提出暂停数据中心的竞选承诺,这一政策导向引发了市场对AI基础设施投资前景的担忧。

  6. Hacker News AI64

    Vetto ScienceBench 发布:前沿AI模型在科学数据分析任务中最高通过率仅49%

    Vetto 发布了 ScienceBench,包含14个学科、50个可验证的数据分析任务,用于评估前沿模型的科学判断力。测试13个模型显示,表现最好的模型通过率仅为49%,且5个任务无模型解决。分析表明,65%的失败源于模型已发现数据异常但误判或错误处理,而非代码错误;简单的警告提示虽提升通过率10个百分点,但无法解决模型缺乏科学推理判断的根本缺陷。

11月5日周四
  1. The Verge · AI20

    AI 繁荣背后的隐藏供应链成本

    哈佛商学院教授 Willy Shih 指出 AI 基础设施建设正消耗全球计算资源,导致制造供应链混乱。 他解释关税导致企业将组装转移至越南或墨西哥以规避贸易壁垒,强调全球供应链结构由经济逻辑驱动。

  2. Hacker News AI28

    东京大学研发基于光硬件的物理 AI 框架

    东京大学团队开发新物理 AI 框架,利用光信号在 200 米光纤中处理信息,显著降低计算需求。 该框架结合 SS-DFA 训练方法与单映射架构,避免测量中间状态,简化了学习过程与网络结构。 实验显示其性能匹配甚至优于复杂神经网络,未来可应用于芯片级设备以进一步降低 AI 数据中心能耗。

  3. 机器之心73

    清华与米哈游开源 GameScaling 通用游戏智能模型系列

    米哈游联合清华大学等机构开源 GameScaling 系列通用游戏模型,涵盖 0.8B 至 27B 共八款权重,协议为 Apache 2.0。在《我的世界》MCU 基准 30 项任务中,GameScaling-27B-S1 平均成功率达 63.3%;0.8B 至 9B 六款模型在单张 H200 或 RTX 5090 上可实现每秒 5 次观测、每秒 30 步动作的实时交互。

    推荐理由:开源覆盖 0.8B 至 27B 八款权重,给出 63.3% 基准成功率及单卡实时交互细节。

  4. arXiv · AI29

    用于合成数据隐私审计的统计框架:区分真实泄露与幽灵泄露

    针对生成式AI合成数据的隐私风险,本文提出一种无需模型访问、金丝雀插入或参考模型训练的统计审计框架。 该框架通过区分“真实泄露”与“幽灵泄露”,结合假设检验严格验证数据披露是否符合零学习或差分隐私(DP)基线,并作为成员推理攻击提供比现有方法更紧的隐私泄露下限。 作为模型无关的通用工具,该方法所需的计算资源比影子模型或基于金丝雀的替代方案低几个数量级。

  5. arXiv · AI35

    MONET:一个大规模开放非冗余增强文本到图像数据集

    MONET 发布了一个包含 1.038 亿图像-文本对的 Apache 2.0 开放数据集,源于 29 亿原始数据,经过安全过滤、去重及多视觉语言模型重描述增强。 每张图片附带预计算嵌入与标注。研究人员仅用该数据集训练 4B 参数潜扩散模型,取得了具有竞争力的 GenEval 和 DPG 分数,证明了其降低大规模可复现研究门槛的作用。

  6. arXiv · AI40

    序数信用分配:仅基于比较的多步强化学习方法

    提出一种仅依赖序数比较的多步强化学习算法,通过计算动作回报相对其他轨迹的胜率来替代标量奖励。 实验表明该算法性能与标量奖励无显著差异,且使用 LLM 裁判时比较结果比逐点打分高 7-10 分。 方法对标签噪声鲁棒,但尚未完全缩小与 PPO 算法在 HalfCheetah 任务上的性能差距。

  7. arXiv · AI31

    上下文-答案元模型:首个答案 Token 生成前预测 LLM 激活

    研究人员训练了将上下文激活映射为答案激活预测的“上下文-答案元模型”,实现了首个答案 Token 生成前的行为预测。 该模型在 50 万 prompt 数据集上表现良好,支持零样本泛化,且 Qwen2.5 的上下文激活可预测 Qwen3.5 和 Gemma 4 的答案激活。 研究结果表明上下文激活轨迹支持 LLM 答案行为的可扩展预测。

  8. arXiv · AI29

    Tessera:面向千万原子规模分布式等变注意力分子动力学的运行时

    Tessera 是一种分布式运行时,通过固定工作负载形状实现千万原子规模的高效分子动力学模拟。 该框架将原子沿空间填充曲线排序至等量分片,使每层每步的张量形状保持一致;配合保守邻域皮层、融合 kernel、三级邻域搜索与 All-to-All 通信重叠,支持 CUDA Graph 重用。

  9. arXiv · AI22

    AMD GPU LLM 训练实现层级数据流水优化

    该 AMD LLM 训练系统利用 TDM、转置加载及 SDMA/RDMA 指令实现数据移动与计算重叠,消除等待瓶颈。 kernel 级测试中 TDM 平均加速 1.88 倍,转置加载加速 1.19 倍;通信重叠下 SDMA 和 RDMA 分别实现 1.16 倍和 1.33 倍加速。 这是首个利用所有 GPU 数据流水特性的 AMD LLM 训练系统,相关实现已集成到开源框架和库中。

  10. arXiv · AI26

    Bio-VQA:评估视觉语言模型在生物学视觉理解中的边界

    研究发布Bio-VQA,包含来自11个数据集的186万道问题和21.7万张图片,涵盖分类学、空间等四个维度,用于测试视觉语言模型在生物学领域的表现。 评估显示,表现最佳的模型在处理2至10个个体的计数任务时准确率为41.7%,其在分类学任务上的准确率从门级别的0.72降至学名级别的0.12,且增加参数量主要改善粗粒度的分类能力。

  11. arXiv · AI41

    Reglos: 通过递归自我改进实现自进化的个人记忆智能体

    Reglos是一款无需训练的个人记忆智能体,旨在验证其代码框架优化在目标失败案例之外的泛化能力。 它通过一个编码智能体从失败日志中提出补丁,并由另一个模型家族的批评者筛选以防止基准测试作弊。在相同的底层模型支持下,Reglos在PersonaMem-v2和LongMemEval-S测试中均优于Mem0、MemOS和EverOS等SOTA系统。

  12. arXiv · NLP41

    vOPD:引入控制变量基线稳定大语言模型在线策略蒸馏

    研究提出vOPD,将在线策略蒸馏(OPD)视为策略梯度强化学习,引入价值函数作为控制变量基线以降低梯度方差。 该方法利用闭式解的逐token反向KL散度作为基线,无需额外critic或推理,保持单样本估计器轻量且无偏。 在数学、科学及指令遵循基准测试中,vOPD性能优于基础OPD,且与高成本全词表方法持平。

  13. arXiv · NLP31

    LLM 社交模拟中的人口对齐人格生成框架

    研究人员提出新框架,通过重要性采样使 LLM 生成的人口对齐人格与 Big Five 心理特征分布匹配,显著减少模拟偏差。 该框架先从社交媒体数据生成叙事人格,经质量评估后利用任务特定模块适配目标子群体,实现高保真的群体模拟。 此方法增强了 LLM 驱动的社会模拟准确性,为计算社会科学和公共政策研究提供新的计算机会。

  14. arXiv · NLP26

    谁为被模型复制的知识买单:模型坍塌作为有损传输与罗杰斯悖论

    研究将模型坍塌视为罗杰斯悖论,指出依赖复制的知识群体最终不如独立学习者。 Rogers 模型仅靠合成数据训练,即可在几个百分点内预测不同新鲜数据混合下语言模型保留的稀有知识量。 当世界变化时,复制自身过去的模型谱系需要更多新鲜数据才能跟上;用户通过检查信息并重新学习可以打破这一悖论。

  15. arXiv · NLP25

    NaijaFacts:分离尼日利亚事实中语言与知识效应的框架

    多语言基准主要测量语言能力而非对非洲事实的认知。NaijaFacts 基准通过英语、皮钦语等5种语言提问,发现知识效应占主导,模型对尼日利亚事实准确率仅为20%,远低于英美。 语言效应随网络资源减少而加剧,模型规模增加无助于提升对尼日利亚统计数据的准确率(最高未超31%)。该研究揭示了大模型在非洲知识上的系统性缺失,非尼日利亚特有。

  16. LessWrong · All Posts45

    新发现:通过 on-policy distillation 实现次级学习效果

    一项实验表明,通过 on-policy distillation 进行次级学习,让学生模型在特定任务上产生偏好比标准设置更有效。 实验使用 Qwen2.5 7B-Instruct 模型,学生模型对“猫”的偏好率从标准设置的 51% 提升到 82%。 该结果在首次尝试的设置下即成功实现,且排除了与猫相关 token 的 logit 质量增加这一解释。