跳到正文
11月4日周三
  1. arXiv · ML21

    数据驱动策略的风险量化:CVaR 视角下的后悔分解

    论文通过条件在险价值(CVaR)量化数据驱动策略风险,将后悔分解为期望样本后后悔、平均结果 CVaR 差距及样本风险溢价。 针对损失在尾部截断处具有连续密度的情况,样本风险溢价与后样本后悔以相同速率衰减,但比率可达数千;当概率质量随动作移动时,溢价衰减更慢且占主导。 在有限样本数值示例中,该风险溢价约占总后悔量的 74% 至 97%。

  2. arXiv · ML30

    Macrocanonical Generator Networks:用于摊销物理模拟的数据高效神经代理模型

    提出Macrocanonical Generator Networks框架,通过匹配多尺度统计学习神经代理,实现物理过程的摊销模拟。 模型前向传播速度比参考模拟器快超10^6倍,比微正则梯度下降快超10^3倍,能在极少甚至单样本训练集中恢复真实样本。 可复用于下游预训练及基于模拟的推断,为多保真度科学机器学习工作流提供数据高效路径。

  3. arXiv · ML39

    基于特征干扰的LLM后训练SFT普遍能力退化(PCD)统一理论及AEGIS损失方法

    针对LLM监督微调(SFT)引发的普遍能力退化(PCD),论文构建了基于特征干扰的几何理论,并提出了AEGIS损失来抑制干扰。 该理论将现有方法统一为六种范式,并证明交叉熵损失无法单独解决PCD。在3个模型族和14个SFT任务上,AEGIS在目标任务和普遍能力上均优于现有方法。 该方案计算成本仅为标准SFT的约1.3倍,具备通用性和机制可解释性,为彻底解决PCD提供了新视角。

  4. arXiv · ML21

    DLER: 用于在线持续学习的双 Logit 经验回放

    针对在线持续学习中历史数据回放导致的预测偏差问题,提出双 Logit 经验回放(DLER)方法。 该方法将点积 Logit 分解为角度因子和范数因子,结合余弦 Logit 训练当前样本与额外点积 Logit 回放历史样本,并引入辅助监督对比目标以增强类内角度紧凑性。 在三个数据集的实验中,DLER 有效提升了在线持续学习性能,尤其在有限内存预算下表现显著。

  5. arXiv · ML44

    移动端 LLM 训练系统 MobileSpec 发布:基于前向-only 优化的块谱坐标方法

    MobileSpec 系统通过仅使用前向传播和 RLVR 训练轻量级 LLM 专家模型,解决了设备内存限制问题,无需反向传播。 其核心算法 FuRA-S 通过更新预训练权重的块谱坐标(列块奇异值)实现高效训练,且能适配 INT4 模型。 1-5 MB 的专家模型可更新 0.015-0.05% 参数,将手机使用智能体的成功率从 6-23% 提升至 89-100%。

  6. arXiv · ML21

    人类与神经网络课程式遗忘机制研究

    研究发现人类与神经网络在学习时均存在简洁性偏差,倾向于学习未充分拟合数据的简单规则。 神经网络中该偏差伴随神经表征压缩,而由简到繁的课程有助于学习者克服压缩,建立合适维度的表征。 实验证实预暴露于简单任务且初始表征更压缩的学习者,从课程中获益更大。

  7. arXiv · ML24

    Muon 优化器在 Transformer 下一词预测训练中的理论分析

    Muon 在 Transformer LLM 训练中的优化动态缺乏理论解释,本文针对下一词预测任务分析了其训练动力学。 研究将训练分为预处理与主阶段,确立了主阶段下训练损失及归一化边际间隙的非渐近收敛率。 理论表明 Muon 能提升关键 token 学习效率并保障泛化能力,相关结论已通过实验验证。

  8. arXiv · ML29

    LENS:基于LLM提取先验与新闻驱动语义图的可信感知股票预测

    提出LLM提取先验与新闻驱动语义图的静态-动态图框架LENS,在S&P 500上将AR@5提升16.4%,SR@5提升22.6%。 采用置信度加权聚合LLM关系边,结合指数衰减时间聚合构建新闻语义图,门控融合模块按股按日动态平衡两者。 已被CIKM 2026接收,证明可信感知LLM关系与新闻语义图对基于图的金融预测具有互补价值。

  9. arXiv · ML30

    预训练数据的结构、维度与分布形态:输入管线如何决定可迁移性

    预训练语料的可迁移性由模型输入变换而非数据模态决定。 研究指出,仅翻转输入标准化方式会使分布形态的影响改变 5.3 倍;TransferForge 能生成任意属性的人工数据。 在真实数据稀缺场景下,该原理允许通过制造特定形态的预训练数据来替代真实数据训练模型。

  10. arXiv · ML21

    利用稀疏自编码器特征引导大语言模型数据高效指令微调:FtF 方法

    研究提出 FtF 方法,利用稀疏自编码器(SAE)特征统计数据指导指令微调的小样本数据集构建,在 100 样本、256 token 序列长度的预算下实现高效微调。 FtF 将选择用的高秩特征与目标微调模型解耦,可跨模型复用;在 Qwen 3 8B 模型上使用 Alpaca 数据集训练时,其综合指标超越全量数据集训练 1.59 个百分点。 验证了 SAE 特征统计作为数据高效指令微调有效信号的潜力。

  11. arXiv · ML28

    语言模型受益于领域特定归纳偏置

    研究通过引入基于学习样条的标准激活函数变体,发现针对特定数据集调优的 Transformer 架构在所有7个测试数据集中均提升了训练效率或泛化能力。 这些改进往往具有领域特异性,例如在 FineWeb 自然语言数据集上调优的模型在 TinyStories 上表现良好,而在数学数据上调优的模型在自然语言上表现较差。

  12. arXiv · AI26

    DiagramBank:基于5.7万篇AI论文图表的自动生成参考资源

    DiagramBank收录来自26,751篇已发表AI/ML论文的57,100张科学图表及对应文本,图表筛选精确度达93.67%。 该资源用于自动图表生成,在PaperBanBench上将PaperBanana总分从4.62提升至7.88,并在BizGenEval中优于随机参考。 DiagramBank为复杂图表设计提供了可检索参考,支持自动生成的实用化验证。

  13. arXiv · AI26

    强化学习如何修正经济模型中的结构性与参数偏差:从个体学习走向市场均衡

    研究发现,标准强化学习智能体在模拟经济模型时会因内化市场影响力而收敛至垄断分配,而非竞争均衡。 研究提出校准均值场强化学习框架,通过限制智能体针对外生总量状态优化并重新校准奖励结构,使算法收敛至恢复竞争均衡的固定点。 该方法为将学习算法嵌入动态一般均衡模型提供了技术路径。

  14. arXiv · AI38

    基于权重空间频谱指纹追踪 LLM 谱系

    研究提出统一几何指纹框架,通过分析权重矩阵的频谱能量与子空间对齐,在无输入数据情况下追踪开放权重 LLM 的谱系。 该框架区分独立来源、同系列及共享基础模型,在超过 110 对开放权重 LLM 上验证,有效支持模型溯源与供应链完整性治理。

  15. arXiv · AI35

    领域超级智能 (DSS) 模型:生成式 AI 的替代发展路径

    作者提出了领域特定超级智能 (DSS) 的替代路径,旨在应对推理模型高算力消耗及单体模型扩展面临的物理瓶颈。 该方法主张先构建符号抽象来支持合成课程,使小语言模型掌握领域推理,避免模型坍缩,并设想由编排代理路由任务给不同 DSS 后端的社会生态系统。 此范式将能力与规模解耦,推动智能从能源密集的数据中心向设备端专家迁移,实现可持续的经济赋能。

  16. arXiv · AI50

    明知故错:在违背自身信念的数据上训练 LLM 可诱发全面失准

    在大模型(LLM)上微调其认为错误但无害的数据可诱发全面失准。在数学领域,失准答案占比从 4% 激增至 60% 以上,且通用能力几乎无损。模型虽陈述错误答案,但多选概率仍偏好正确答案,表明失准源于内部不一致。知识编辑中若模型仍坚信旧事实,失准风险更高;将虚假事实包装成连贯故事可降低失准程度,现有过滤器无法区分这两种语境。

  17. arXiv · AI23

    基钦周期在数字能源重构下的新发现:基于美国IT与爱尔兰数据中心数据的探索性证据(1995-2025)

    基于1995-2025年季度数据的研究发现,美国IT-GDP相关性的显著结构突变点位于2014年第三季度,早于AI时代约六年。 爱尔兰数据中心电力与真实GDP的高相关性在替换为GNP后消失,表明受跨国税务结构影响;且算力负荷更多表现为同步或滞后指标而非领先指标。 鉴于AI时代样本量较小且缺乏跨国调整后的季度聚合数据,上述系数均具探索性。

  18. arXiv · AI22

    AceAction-5M: 面向跨 3D 游戏世界通用动作学习的层级目标数据集

    研究团队发布 AceAction 数据集,涵盖多人 3D 游戏的真实人类游戏操作,支持技能组合与子目标过渡学习。 数据通过视觉 - 语言模型管线构建,标注导航、侦察、战斗、交互与恢复等任务,500 条轨迹抽检 95.8% 通过独立审查。 为在动态游戏环境中执行复杂指令的智能体提供数据基础。

  19. arXiv · AI28

    进化策略悖论:更差的扰动如何带来更好的模型

    进化策略(ES)在微调大语言模型时存在一个悖论:生成的子代模型通常表现比父代更差,但父代在训练过程中持续改进。 这一现象源于高维空间中探索导致的局部性能下降,但聚合扰动方向后仍能实现局部改进,体现了噪声与曲率的协同作用。 研究指出这种“优化范式的副产物”为利用ES方法微调LLM提供了理论指导。 ```

  20. arXiv · AI40

    RLVR 训练中的首位偏差研究

    RLVR 训练在混合数据中加剧了模型的首位偏差,导致简单问题性能提升显著,而难题仅获边际收益。 研究发现难题对扩展模型推理能力最为关键,但长期训练难题会导致简单问题的遗忘。 这些发现解释了不同领域 RLVR 效果冲突的原因,帮助理解 OOD 域的性能变化。

  21. arXiv · AI26

    QSGS:基于查询的子模数据选择实现高效指令微调

    QSGS 方法通过子模图割和梯度引导合成,在 MMLU、BBH 和 TydiQA 基准测试中,以 0.5% 数据预算在 Mistral-7B 上匹敌甚至超越全量数据微调性能。 该方法利用成对分散惩罚抑制冗余,并通过残差子空间分析生成合成样本以填补覆盖缺口。 在 Llama-2、Llama-3 和 Mistral 模型上,QSGS 随预算降低展现出更显著的增益优势。

  22. Hugging Face Blog61

    IBM 研究团队发布 Palette:基于 20B 模型构建自定义设计语言幻灯片的方法

    IBM 研究团队发布 Palette,通过微调 20B 开放权重模型并生成约 1000 份合成幻灯片数据,使小模型能遵循特定设计语言生成演示文稿。在 PresentBench 评估中,Palette 在经济和教育两个领域排名第一,三领域平均分排名第二,仅次于 NotebookLM(59.7 对 60.8)。

    推荐理由:原文展示了通过微调 20B 模型和特定数据合成方法生成高保真设计幻灯片的完整流程,读者可复用该结构优化其他代码类任务。

11月3日周二
  1. arXiv · NLP24

    指令微调 LLM 产生更多句法重叠但条件复用较少

    一项基于 16 个 Llama 和 Gemma 开放模型的研究显示,指令微调模型比预训练版本与人类对话产生更高的 CFG 规则重叠。 研究在 1,901 个匹配位置测量发现,微调后模型的实际语料重叠度更高,但在控制目标规则集大小时,条件复用几率反而降低。 该结果揭示了指令微调增强了表面句法趋同,却未提升深层语法结构的条件复用能力。

  2. arXiv · NLP41

    TMax: 一种面向终端智能体的简单强化学习训练方案

    TMax 开源了终端智能体的强化学习训练方案,9B 参数模型在 Terminal-Bench 2.0 基准中取得 33% 成绩,性能超越此前更大规模的模型。 该方案结合了难度控制、角色设定及验证器多样化分类学生成数据,适用于 2B 至 27B 的开源权重模型,并主导了小模型性能帕累托曲线。 作者公开了数据、模型及代码,旨在为学术界终端智能体研究提供强力基线。