跳到正文
10月16日周五
  1. arXiv · AI28

    TACO 校准 RLVR 中的尾部风险信用分配

    针对 RLVR 中 GRPO 类方法因均匀信用分配导致的尾部错误 Token 强化问题,提出 TACO 方法。 TACO 利用策略自参考计算 Token 稀缺度以评估尾部风险,并据此动态降低高风险 Token 的正向信用权重,从而在保留稀疏模式学习机会的同时限制错误强化。 实验显示 TACO 在四款 LLM 及八个推理基准上持续优于基线,并显著提升了长程 RL 训练稳定性。

  2. arXiv · AI40

    LLMSurgeon:诊断大语言模型的数据混合比例

    论文提出 LLMSurgeon 框架,将大语言模型预训练数据混合估计形式化为逆问题,旨在事后审计模型的数据溯源。该方法通过校准软混淆矩阵并求解约束逆问题,修正系统性领域混淆,恢复潜在混合先验。研究引入 LLMScan 评测套件,利用开源模型的高保真结果验证了 LLMSurgeon 在审计基础模型“数字 DNA”上的实用性。

  3. arXiv · ML29

    无需训练的LLM行为控制任务向量

    研究者提出无需训练任务向量(TFTVs),通过前向传播统计量将激活引导向量映射为秩一权重空间编辑,实现LLM行为控制。 该方法无需微调即可增强、抑制或组合目标行为,在保持通用知识与解题能力的前提下,比基线方法展现更强的特征控制效用。 代码已在项目网站开源,为后训练模型编辑及无需训练的控制提供新方向。

  4. arXiv · AI20

    Chronoberg:包含时间情感词典的250年历时语料库

    研究者发布 Chronoberg,一个覆盖 250 年英语书籍文本的历时语料库,基于 Project Gutenberg 构建并富含时间标注。 该语料库支持通过 Valence-Arousal-Dominance 分析量化词义变化,并暴露现代 LLM 在跨时代情感及歧视语言检测上的局限。 Chronoberg 已在 HuggingFace 公开,旨在推动具备时间感知能力的训练与评估流程。

  5. arXiv · ML30

    重新思考高稀疏度 LLM 剪枝校准:从单一来源到能力覆盖

    高稀疏度LLM剪枝的校准集选择应视为能力覆盖问题,单一来源无法保留所有能力。 在60%稀疏度下,不同策略在代码保留度上差异达51.9分;均匀混合的Balanced策略在C4上优势随稀疏度增加而扩大,IGSP方法在LLaMA上表现优于先前自我生成方法。 能力覆盖是设计高稀疏度剪枝的核心变量。

  6. arXiv · ML24

    部分 RoPE 的性能与收敛研究

    论文提出部分 RoPE 可将 KV cache 内存节省高达 10 倍,同时保持与完整 RoPE 相当的最终损失。 系统研究表明仅对约 10% 的维度应用 RoPE 即可匹配完整 RoPE 的收敛速度,且无位置编码易导致损失尖峰。 这些发现突显了部分 RoPE 作为效率与稳定性之间有效折衷方案的价值。

  7. arXiv · AI37

    MEMONDEMAND:面向大规模企业数据的内存管理系统

    MEMONDEMAND 提出了一套内存管理系统,在 EnterpriseRAG-Bench 上全尺度超越最强基线,10M token 时提升 12.23%,618M token 时提升 4.66%。 该系统包含动态多级层次结构、双重内存分离及按需升级机制,并已在 FinanceBench、HotpotQA 和 FRAMES 上验证。 代码已开源,适用于跨领域、大规模的企业数据场景。

  8. arXiv · ML25

    科学反馈揭示超越训练惯例的有效区域

    科学性能反馈可将生成模型的学习搜索分布重定向至超越人类设计惯例的区域,且无需明确奖励偏离行为。 在反应堆晶格设计和化学反应条件选择中,适应性调整提高了科学性能,并增加了生成训练数据中缺失选项的频率。 在实测反应中,被排除在外的特定配体选择概率从 0.29 升至 0.70-0.71,同时预期产量误差降低。

  9. arXiv · ML40

    完整还是稀疏:两种可辨识性在非线性独立成分分析中的统一

    研究证明当表示维度不低于潜在空间时,最优编码器在潜在变量上是线性的;维度不足时可辨识性通常失效。在生成设定中,非负激活和能量效率约束迫使每个神经元编码单一潜在变量;在判别设定中,稀疏潜在变量结合Spark条件使编码器继承压缩感知结构,实现稀疏字典学习。

  10. arXiv · ML20

    随机正则化流实现格点杨-米尔斯理论拓扑采样的连续极限

    研究通过数值证据表明,结合开放边界条件与随机正则化流的计算策略可缓解 SU(3) 杨-米尔斯理论中的拓扑冻结问题。 该方法在 0.03 fm 格点间距下测试,平方拓扑电荷的集成自相关时间与拓扑易感性的统计不确定性在现有算力下保持可控。 这是迈向在前沿格点规范理论计算中应用更高效流形架构以实现拓扑遍历采样的重要一步。

  11. arXiv · ML24

    基于热力学一致潜空间动力学的非均质材料断裂预测模型 tLaSDI

    引入热力学一致潜空间动力学辨识(tLaSDI)模型,利用 pGFINNs 在低维潜空间学习热力学状态变量,预测非均质材料的断裂模式与演化。 模型通过硬约束嵌入总能量守恒与熵产生等热力学原理,并引入几何条件自编码器以增强几何配置学习。 在未见测试样本上,tLaSDI-pGFINNs 比纯数据驱动的 AE-LSTM 模型更准确地捕捉断裂模式及后续演化过程。

  12. arXiv · AI31

    EigDiff:利用特征样本减少扩散模型训练数据规模

    EigDiff 方法通过利用特征样本,将扩散模型训练数据减少至多 14 倍,同时保持模型性能基本不变。 该方法利用预训练 CLIP 模型的潜在空间,通过主成分分析(PCA)计算潜在特征向量,并以其作为参考点选择包含代表性样本和多样图像的训练子集。 实验还表明,该子集选择方法比现有方法加速了至多 1607 倍。

  13. arXiv · ML31

    策略梯度估计中基线与分数中心化的作用分析

    强化学习在大语言模型后训练中常使用重要性采样处理离策略问题,正则化导致策略梯度对奖励常数偏移不再具有不变性。 引入奖励与重要性加权分数的协方差作为估计量可恢复该不变性,并揭示群组均值基线与分数中心化的区别。 序列级重要性采样下分数中心化无额外收益,而词元级重要性采样中缺失分数中心化通常引入偏差。

  14. arXiv · ML21

    浅层神经网络为何优先学习正弦分量:基于正交多项式动力学的框架

    该研究通过正交多项式动力学框架解释了神经网络的频谱偏置现象。核心观点是浅层网络倾向于先学习低频正弦分量。 分析方法基于将网络输出展开为一般傅里叶级数,并构建描述梯度下降动力学的矩阵 H。通过矩阵 H 的特征值衰减和特征向量形状,阐明了学习偏好与激活函数及网络架构的关系。

  15. arXiv · ML36

    Lethe: 用于评估边缘遗忘方法的链接推断攻击

    Lethe是首个针对图神经网络边缘遗忘(Edge Unlearning)的综合基准,包含15种方法和8个数据集,旨在解决现有评估指标缺乏信息量的问题。 该基准强调大规模图数据集,并引入基于链接推断攻击的实证度量,以取代无效的代理准确率指标,揭示了专用边缘遗忘方法可能比从头重训练更慢的缺陷。 Lethe已被NEURIPS 2026接收,作为一个可复现、可扩展的基准发布,填补了边缘遗忘领域的评估空白。

  16. arXiv · AI38

    AutoSFT:用于监督微调自动化数据研究的多智能体系统

    AutoSFT 是一个多智能体系统,通过分离执行与分析,自动覆盖数据修剪、修复及合成等全范围数据操作,用于监督微调。 引入合成子代理后,IFEval 基准成绩提升 +3.4,IFBench 提升 +2.9;在代码任务中,分析模块使 MBPP+ 提升 +3.7。 研究结果表明,自动化 SFT 数据研究的关键在于覆盖多样化的数据操作,而非依赖单一更强操作。

  17. arXiv · ML32

    N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models 中文解读:CP 方法将两比特量化表应用于大模型

    研究人员提出条件程序(CP)方法,利用高斯格状重构将 N-Gram 记忆表量化至每行两比特,在相同存储预算下优于拟合码本与低秩变体。 该方法将 DeepSeek 的嵌入表存储从 203GB 压缩至 51GB,降低输出 KL 散度 41%–63%,使模型可在 GPU 上运行更大规模任务。 压缩后表结构仍保留完整查找能力,为长上下文或多实例部署提供显存空间余量。

  18. arXiv · AI44

    SRD 方法让模型从未经验证的对等生成中学习并提升数学推理能力

    提出共享残差蒸馏(SRD)方法,无需外部监督即可从模型自身未验证的对等轨迹中学习,提升 Qwen3 系列模型 AIME24--26 avg@12 得分。 在 Qwen3-1.7B、4B 和 8B 上,AIME 平均分数分别从 11.02 升至 16.20、19.07 升至 45.46、21.39 升至 54.44。训练后的模型在推理时无需对等辅助,且未在两项通用能力基准上出现性能下降。

  19. arXiv · AI20

    RoleQ:将语言模型转换为三元的角色对齐缩放

    RoleQ 提出一种基于 Transformer 单元功能角色而非权重矩阵布局的量化框架,将模型转换为 1.59 bits/weight。 该框架无需搜索、校准或存储状态,在 0.6B 至 14B 模型上,三元量化下困惑度比基于布局的放置方式降低最多一半。 在 8B 规模下,部分比特可恢复约一半的 MMLU 分数,显著优于随机或基于 Hessian 的放置方法。