跳到正文
10月12日周一
  1. arXiv · ML43

    机器遗忘评测谬误:输出级遗忘不代表真正的表示空间一致性遗忘

    研究发现标准输出级评估系统性高估机器遗忘成功率,当前方法常表现为“表观遗忘”而非重训练一致性遗忘。 重训练一致的表示空间分析显示,现有模型在遗忘样本与保留样本间存在不对称残留,且残留集中沿重训练相关方向分布。 这种结构化失配超过独立重训练的变异性,导致再学习攻击中信息恢复风险,揭示了输出遗忘隐藏的安全隐患。

  2. arXiv · ML20

    MedGym:动态医疗治疗强化学习的统一基准

    研究团队推出 MedGym,这是一个基于连续时间框架的动态医疗治疗推荐基准环境。 该环境利用物理信息神经网络构建,支持在不规则治疗时序和患者特定动态下,直接比较离散时间与连续时间强化学习方法。 MedGym 允许从个性化和轨迹级安全性等临床重要视角进行评估,从而为医疗强化学习方法提供更具真实性和信息量的标准化测试。

  3. arXiv · ML33

    MEGPODE:基于高斯过程的贝叶斯非参数混合效应ODE模型

    提出贝叶斯非参数混合效应ODE模型MEGPODE,将每个受试者的向量场分解为共享群体组件与个体偏差,两者均赋予高斯过程先验。 采用状态空间高斯过程先验表示潜在轨迹,并在有限时间网格上惩罚其导数与向量场的差异,避免训练时重复求解ODE。 在异质振荡及生物医学ODE基准测试中,相比强基线模型,显著提升了群体场恢复及受试者级轨迹预测性能。

  4. arXiv · ML27

    MPO Born Machines 近似复杂度的理论分析

    该研究证明了构造多项式键 MPO Born 机器以有界 KL 误差近似任意连续目标分布是 NP-hard 问题。 对于满足对数 Sobolev 不等式的目标分布,若损失诱导的哈密顿量是局部的且具有常数谱间隙,则存在具备可证明 KL 保证的多项式键近似。 研究还证明,构建局部重要性采样估计器所需的局部分数查询次数可以是多项式级别的。

  5. arXiv · ML38

    GraphDPO:基于偏好图的结构化直接偏好优化

    针对直接偏好优化(DPO)在多重 rollout 场景下丢弃传递性结构的问题,论文提出 GraphDPO 方法。 该方法在由 rollout 排名诱导的有向无环偏好图上操作,将支配关系编码为边,并优化图结构的 Plackett-Luce 启发目标函数。 通过等价类构造处理并列与不可比较响应,保持每提示词线性复杂度;在推理与程序合成任务上表现优于标准 DPO。

  6. arXiv · ML24

    信息力学理论:基于不确定性度量的泛化方法(学习即度量)

    提出一种无模型基于实例的学习框架,利用惊讶度直接分析原始数据并执行推理。 该框架消除分布建模,支持数据直接编辑与删除,在异常检测及部分监督任务中达到 SOTA 水平。 该信息力学理论为构建可维持人类可理解性的可扩展机器学习与 AI 提供了可行基础。

  7. arXiv · ML28

    CIG-SFT:基于条件信息增益的通用化后训练监督微调框架

    提出 CIG-SFT 框架,利用条件信息增益量化任务输入对演示决策的不确定性降低,实现更优的后训练监督微调。 该框架在数学推理和代码生成基准测试中,一致性优于标准 SFT 及自适应微调基线,且无需额外训练数据或在线 rollout。 此方法显著提升了模型在挑战性评估分布上的泛化能力。

  8. arXiv · ML33

    预训练知识组织塑造知识更新效率:专家模型比通用模型学习更快

    研究发现,预训练阶段按时间顺序组织知识形成的“专家模型”,比随机打乱顺序训练的“通用模型”更新知识所需的步骤更少。 该研究从第一性原理推导了将更新成本与模型优化动力学关联的定律,并设计了一种保留历史稳定知识且高效更新当前知识的预训练数据组织策略。 这些优势被证实可扩展至现有的预训练模型及知识更新工具,并适用于其他知识排序方式。

  9. arXiv · ML38

    基于逐层随机特征模型模拟深度神经网络训练尖峰

    简单二次模型通过重尾幂律分布输入可复现大语言模型预训练中的间歇性损失尖峰。 作者建立了逐层训练动态的理论框架与模拟算法,针对已知诱发尖峰的 Adam $\beta_2$ 接近 1 配置进行验证。 模拟成功预测了特定检查点的尖峰行为,且推导的 $\beta_2$ 调度方案在实证中改善了性能。

  10. arXiv · ML26

    通过合成自蒸馏持续后训练小模型

    小模型缺乏强上下文学习导致自我蒸馏微调失效,SynthSelf 方法通过最小化对齐器生成合成数据解决分布偏移。 结合离策略监督与拒绝采样,SynthSelf 在 4 个获取数据集和 14 个保持基准中优于 6 种对比方法,覆盖 3 种小模型规模。 该方法证明了无需打破原始分布即可实现小模型有效持续学习,为低延迟终端设备部署铺平道路。

  11. arXiv · ML23

    个性化联邦直接偏好优化通过 LoRA 适配器实现分布式语言模型对齐

    提出个性化联邦直接偏好优化(pFedDPO),允许每个客户端在共享基础模型上维护私有 LoRA 适配器以捕捉特定偏好分布。 证明了该分解将联邦直接偏好优化边界中的梯度多样性替换为更小的有效剩余异质性,实验显示其梯度范数低于原生方法且保持具有竞争力的训练损失和每客户端奖励精度。

  12. arXiv · ML33

    样本自适应零阶优化(SAZO):提升大语言模型微调效率

    样本自适应零阶优化(SAZO)通过学习样本重要性并自适应分配查询,加速大语言模型零阶微调的收敛。 该方法无需额外模型评估,仅比 MeZO 增加 O(N) 标量状态,证明其渐近匹配最小方差采样或acles的收敛主项。 在四个模型族上的实验表明,SAZO 提升了平均下游性能,且达到相同训练损失所需的查询次数最多快 6 倍。

  13. arXiv · ML22

    AIQ 算法ic:面向 LLM 推理的代数整数量化

    提出代数整数量化(AIQ)作为 LLM 推理的有损压缩格式,在相同 bit-per-parameter 预算下,其在多个模型和 benchmark 上的精度表现与行业标准 MX 格式相当。 该框架通过将算术简化为纯整数运算,实现无误差的乘加操作,并利用现代硬件加速器上的矩阵乘法引擎,性能在可预测倍数内接近最高效的数值替代方案。

  14. IT之家45

    丘成桐数学与人工智能实验室联盟在清华大学成立

    丘成桐数学与人工智能实验室联盟在清华大学成立,将发起数学专用大模型研发、AI 辅助数学形式化证明等攻关,推动 AI 与数学深度融合。 联盟集结超 1000 位数学家和科研工作者,联合多个机构发布了 10 余项“AI+数学”重点成果,探索属于中国自己的数学大模型建设路径。 这将倒逼重新思考数学的本质价值,推动在 AI 浪潮中主动探索而非逃避。

10月11日周日
  1. 36氪27

    AI体育硬件公司庞伯特获数亿元B轮融资,体育大模型重塑网球自主训练

    AI体育硬件公司庞伯特近日完成数亿元B轮融资,由上海国投先导基金领投。资金将重点投向AI体育大模型研发、运动视觉技术与全球市场拓展。 公司构建“手-眼-脑”一体化架构,Aura机器人搭载10Tops端侧算力,平台已积累超100万组球路数据。 官方合作伙伴身份提升品牌认知,旨在通过智能化降低专业教练门槛,让普通用户获得专业级训练体验。

  2. Hacker News AI32

    AI 正在向科学界“路边野餐”式倾倒发现

    AI 模型解决数学难题后向领域倾倒海量发现,速度远超科学界处理与理解能力。 这种“发现倾倒”使答案先于理解,导致证明廉价而理解成为瓶颈,甚至一夜间颠覆研究项目。 若 AI 发现速度完全脱离理解速度,科学将陷入混乱,实验室需确保与科学界良性互动以维持理解同步。

10月10日周六
  1. IT之家45

    教育部启动教师 AI 素养全覆盖培训

    教育部今日在京启动教师人工智能素养全覆盖培训,并升级上线国家智慧教育平台教师发展中心。 新平台开设 AI 素养专区,集成学习资源与智能工具,通过沉浸式示范培训展示 AI 在备课、教学、评价及治理全链条中的应用。 此举旨在推动从“学 AI”到“创 AI”的方法路径落地,助力人工智能与教育深度融合。