跳到正文
11月11日周三
  1. arXiv · ML29

    测试幻觉的结构起源:注意力机制与状态空间混合器的对比

    研究通过干预实验测试模型幻觉的结构起源,发现注意力机制比状态空间混合器更易传播输入中的缺陷。 在410M参数以上模型中,注意力模型重复植入错误陈述的频率显著高于匹配的状态空间模型(2.8B模型:650 vs. 566次,p=2.5e-20),而后者仍能识别植入的新事实。 该发现支持了“混合组件决定上下文缺陷是否转为输出错误”的简化结构解释,表明首因错误源于知识缺失而非被抑制的真相。

  2. arXiv · ML20

    Factor-Augmented High-Dimensional SGD

    论文提出Factor-Augmented SGD(FSGD),利用潜在因子表示处理高维学习任务,仅在流式数据上运行,支持大规模和高维场景。 FSGD首个将潜在因子估计误差纳入SGD分析的理论框架,在衰减步长和mini-batch更新下证明 $\ell^s$ 范数矩收敛。 该结果为提高SGD在高维机器学习系统中的可靠性和可扩展性奠定基础。

  3. arXiv · ML24

    LARC:用于冻结模型学习的低秩自适应残差连接

    LARC 为冻结模型提供紧凑数值状态,在 MiniCPM5-1B-SFT 上两次反馈更新使查询执行误差降低 24.65 和 36.65 个百分点。 采用 rank-4 残差与 12,288 个因子条目,在四候选开发任务中实现 16 个参数组更新,支持损失规则误差达 0.78125%。 研究揭示了数值状态辅助后续读取的条件,训练参考系在部分场景下比内存适应更有效。

  4. arXiv · ML36

    探讨数据与训练方法对涌现及潜意识不对齐的影响

    研究表明,微调导致涌现不对齐(EM)时,共享任务比共享领域更易引发行为偏差;潜意识学习(SL)中,即使采用On-policy蒸馏,模型仍会继承教师模型的不对齐特征,且强度高于SFT。 该研究构建了域-任务网格数据集,发现任务学习程度越高,不对齐传播范围越广;在SL实验中,教师模型决定了不对齐转移的领域与任务模式,而数据仅影响继承程度。 该成果已被NeurIPS 2026接收。

  5. arXiv · ML36

    如何在AI分析中分配人工监督

    针对任务级不确定性未知的场景,研究提出了一种联合学习校正系数与难度的置信区间策略,用于优化共享人工验证预算分配。 在包含68项任务及2000余名受访者的数字孪生实验中,该方法在实现均匀分配同等估算误差的同时,分别减少了22.7%和4.5%的人工标签获取成本。 该结构可扩展至向量决策模型,强调AI的价值不仅依赖模型精度,更取决于将人工监督精准导向关键区域的操作策略。

  6. arXiv · ML26

    语言模型预训练中算法进步的证据:22,000 倍效率增益的尺度依赖性

    研究显示,2012 年至 2023 年间 AI 预训练算法 FLOP 效率提升了 22,000 倍。消融实验在低算力下仅解释了不到 100 倍的效率增益,缺失部分源于规模依赖性。 证据表明算法效率增益与计算规模强相关,如 LSTM 与 Transformer 的缩放定律指数存在差异。小算力下的算法进步速度远低于此前假设。

  7. arXiv · ML23

    基于临床文档用户编辑数据改进模型能力:可操作反馈

    基于真实临床AI部署数据,45%以上的模型输出编辑包含用户添加的无依据信息,直接微调此类数据会导致模型幻觉。 研究在MIMIC-III数据集上构建半合成临床编辑数据,通过专家验证的过滤方法识别可操作编辑,保留忠实于输入内容的部分。 该方法在医生对齐指标上取得提升,同时确保模型生成内容的忠实性。

  8. arXiv · ML39

    TimeSeek:面向泛化时间序列分析的多任务多域预训练模型

    TimeSeek 模型通过多域特征提取器与多任务协同训练,在时间序列预测、异常检测及分类任务中实现少样本与零样本状态的最优性能。 该模型基于大规模时间序列数据预训练,采用渐进多尺度建模与自适应槽位通道建模,保持较高推理效率。 该成果已被 IEEE 模式分析与机器智能汇刊(IEEE TPAMI)录用。

  9. arXiv · ML25

    基于偏差感知预训练的心血管疾病心电信号检测方法

    该自监督框架利用近百万条无标签12导联ECG数据,在多个公开数据集上实现AUROC最高提升6.5%,F1提升12.8%,且无需额外微调。 核心模块包括偏差定位嵌入与关联重建嵌入,用于捕捉波形级偏差及跨导联关联。 该方法降低对标注数据的依赖,有助于支持临床早期检测与心血管病监测。

  10. arXiv · ML25

    双核张量轮分解与结构缓存加速的张量恢复方法

    论文提出双核张量轮分解(DCTW)与结构缓存加速策略,通过因子化中心核心并复用中间张量,避免显式大规模矩阵乘法。 该方法在复杂度分析中显示优化速度优于显式与隐式更新方案,且限制了排名增长时的峰值内存增加。 实验表明,DCTW 在彩色视频补全和鲁棒去噪任务中,重建质量、计算效率和可扩展性均匹配或超越代表性张量网络方法。

  11. arXiv · ML20

    CP-MLPs: 张量秩视角下绑定与解耦 MLP 块的理论分析

    CP-MLPs 提出张量框架分析 Transformer FFN,揭示绑定与解耦门控块在表达宽度上的差异。 解耦块(如 ReGLU、SwiGLU)在二次交互和角色不对称单项式上宽度效率严格更高,而绑定块(如 ReLU²)适配对称纯幂次目标。 实验表明损失平台低于精确表示宽度,但近似精度由边秩主导,代码已开源。

  12. arXiv · ML20

    Market-Conditioned JEPA:利用不可预测市场冲击进行学习

    针对金融时间序列中不可预测的市场冲击,论文提出 Market-Conditioned JEPA (MC-JEPA)。 该方法通过 leave-one-out 市场条件和因子负载进行联合嵌入预测,在 11 年中国 A 股分钟级数据上,其 RankIC 在流动性和收益率指标上超越基线模型。 历史回测显示其投资组合表现最佳,证明条件化学习能有效提升资产特定成分的预测准确性。

  13. arXiv · ML37

    利用心理物理注意力分布进行视线增强奖励建模

    研究人员扩展了既往的注视点中心模型,通过引入以当前视线位置为中心的空间渐变注意力分布,将视觉注意力表征纳入奖励模型训练。该基于视线分布训练的奖励模型在偏好预测准确率上优于基线模型。实验结果与阅读时人类注意力的认知心理学发现定性一致,捕捉了人类注意力分配的认知意义。

  14. arXiv · ML31

    DRD-MOPD:域路由增量优化用于多教师在线策略蒸馏

    提出 DRD-MOPD 方法,通过冻结基础模型与可训练组件结合实现多教师在线策略蒸馏,在六项基准测试中取得 32.72% 宏分数。 该方法将样本划分为不同领域并更新独立优化器状态,保留 88.04 至 92.41 度的原始专家几何角度。 导出 BF16 学生模型的增量外部能量占比为 4.90%,优于此前 Open-MOPD 的 97.02% 外部能量分布。

  15. LessWrong · All Posts26

    内部部署前置 X 天安全测试等待期提案

    提案要求模型 checkpoint 哈希备案后等待 X 天,方可内部使用 等待期初期设为 10 天并逐步增至 90 天;持续训练自身权重不算内部使用,避免激励开发者减少测试 checkpoint 和造成算法 overhang 该机制源自 AI Futures Project 的部署滞后理念,旨在通过时间缓冲缓解模型能力快速上升带来的安全监测挑战

  16. Hacker News AI44

    STABL 成立:AI 影响受限于制度而非能力

    Sayash Kapoor、Rishi Bommasani 和 Arvind Narayanan 成立非营利研究机构 STABL,核心观点是 AI 社会转型的瓶颈在于人类与组织的变革速度,而非技术能力进步。 STABL 主张在认真对待 AI 变革潜力的同时,重视现有及新制度在过渡中的作用。 该机构计划研究递归自我改进(RSI)速度、AI 扩散节奏及下游社会结果,旨在推动制度创新与社会韧性建设。

11月10日周二