DataKernelBench:评估 LLM 在 GPU 上优化数据库查询的能力
DataKernelBench 将 SQL 转换为 PyTorch TorchPlan 程序,并在 H100 GPU 上通过执行引导修复评估 LLM 优化 CUDA 或 Triton 代码的能力。在 TPC-H SF10 测试中,最佳全查询 CUDA 配置相比基线实现 2.11 倍加速。
DataKernelBench 将 SQL 转换为 PyTorch TorchPlan 程序,并在 H100 GPU 上通过执行引导修复评估 LLM 优化 CUDA 或 Triton 代码的能力。在 TPC-H SF10 测试中,最佳全查询 CUDA 配置相比基线实现 2.11 倍加速。
针对 RLVR 中 GRPO 类方法因均匀信用分配导致的尾部错误 Token 强化问题,提出 TACO 方法。 TACO 利用策略自参考计算 Token 稀缺度以评估尾部风险,并据此动态降低高风险 Token 的正向信用权重,从而在保留稀疏模式学习机会的同时限制错误强化。 实验显示 TACO 在四款 LLM 及八个推理基准上持续优于基线,并显著提升了长程 RL 训练稳定性。
论文提出 LLMSurgeon 框架,将大语言模型预训练数据混合估计形式化为逆问题,旨在事后审计模型的数据溯源。该方法通过校准软混淆矩阵并求解约束逆问题,修正系统性领域混淆,恢复潜在混合先验。研究引入 LLMScan 评测套件,利用开源模型的高保真结果验证了 LLMSurgeon 在审计基础模型“数字 DNA”上的实用性。
研究者提出无需训练任务向量(TFTVs),通过前向传播统计量将激活引导向量映射为秩一权重空间编辑,实现LLM行为控制。 该方法无需微调即可增强、抑制或组合目标行为,在保持通用知识与解题能力的前提下,比基线方法展现更强的特征控制效用。 代码已在项目网站开源,为后训练模型编辑及无需训练的控制提供新方向。
研究者发布 Chronoberg,一个覆盖 250 年英语书籍文本的历时语料库,基于 Project Gutenberg 构建并富含时间标注。 该语料库支持通过 Valence-Arousal-Dominance 分析量化词义变化,并暴露现代 LLM 在跨时代情感及歧视语言检测上的局限。 Chronoberg 已在 HuggingFace 公开,旨在推动具备时间感知能力的训练与评估流程。
UniWind 提出融合物理先验与数据驱动修正的风电预测框架。 该模型通过物理先验估计器构建校准先验,利用潜变量编码器和状态感知修正器生成最终预测。 实验在 24 个真实数据集上验证了其在全量、跨农场零样本及跨区域零样本设置下的强预测准确性与鲁棒性。
高稀疏度LLM剪枝的校准集选择应视为能力覆盖问题,单一来源无法保留所有能力。 在60%稀疏度下,不同策略在代码保留度上差异达51.9分;均匀混合的Balanced策略在C4上优势随稀疏度增加而扩大,IGSP方法在LLaMA上表现优于先前自我生成方法。 能力覆盖是设计高稀疏度剪枝的核心变量。
针对模型合并中的交叉任务干扰问题,提出名为 Resolving Interference 的轻量适应框架,利用无标签辅助数据将专家模型解耦。 该方法使 SOTA 合并方法性能最高提升 3.8%,未见域泛化能力最高提升 2.3%,且对辅助数据源来源具有鲁棒性。
论文提出部分 RoPE 可将 KV cache 内存节省高达 10 倍,同时保持与完整 RoPE 相当的最终损失。 系统研究表明仅对约 10% 的维度应用 RoPE 即可匹配完整 RoPE 的收敛速度,且无位置编码易导致损失尖峰。 这些发现突显了部分 RoPE 作为效率与稳定性之间有效折衷方案的价值。
MEMONDEMAND 提出了一套内存管理系统,在 EnterpriseRAG-Bench 上全尺度超越最强基线,10M token 时提升 12.23%,618M token 时提升 4.66%。 该系统包含动态多级层次结构、双重内存分离及按需升级机制,并已在 FinanceBench、HotpotQA 和 FRAMES 上验证。 代码已开源,适用于跨领域、大规模的企业数据场景。
科学性能反馈可将生成模型的学习搜索分布重定向至超越人类设计惯例的区域,且无需明确奖励偏离行为。 在反应堆晶格设计和化学反应条件选择中,适应性调整提高了科学性能,并增加了生成训练数据中缺失选项的频率。 在实测反应中,被排除在外的特定配体选择概率从 0.29 升至 0.70-0.71,同时预期产量误差降低。
STAMP 提出一种时间戳平衡算子,将标准邻域聚合替换为时间对齐传播,以缓解时序图域适应中的分布漂移。该模型在 ogbn-arxiv 和 ogbn-mag 基准上分别达到最先进水平,并改善了时序分割 Pokec 的性能。
PathCal 是一种免训练控制器,通过微调固定延续偏差优化数学推理任务中的准确率与生成长度权衡。 该算法利用延续、修正和替代标记间的即时竞争信号,施加有限 Logit 调整,无需额外模型前向传播即可生效。
研究团队发布了商用许可的多语言指令微调数据集 Multi-SFT,包含 5 种欧洲语言的 502,818 条指令-响应数据对。 数据经人工评估,所有数据集和语言的一致者间信度(inter-annotator agreement)至少为 0.87。
审计16个RLVR数学语料库,发现594对训练-基准样本中,80余数阈值下88%的移除被确认为误删。 无预注册语义阈值达到90%精确率目标;法官裁决策略在留出集上实现98.1%精确率与98.2%召回率,样本中零误删。
研究证明当表示维度不低于潜在空间时,最优编码器在潜在变量上是线性的;维度不足时可辨识性通常失效。在生成设定中,非负激活和能量效率约束迫使每个神经元编码单一潜在变量;在判别设定中,稀疏潜在变量结合Spark条件使编码器继承压缩感知结构,实现稀疏字典学习。
summary_zh: 发布韩语数据集ESG-Kor,用于从韩国企业可持续发展报告中自动提取ESG信息。 该数据集包含118,946个句子,依据ESG评估机构提供规则进行人工标注。
研究通过数值证据表明,结合开放边界条件与随机正则化流的计算策略可缓解 SU(3) 杨-米尔斯理论中的拓扑冻结问题。 该方法在 0.03 fm 格点间距下测试,平方拓扑电荷的集成自相关时间与拓扑易感性的统计不确定性在现有算力下保持可控。 这是迈向在前沿格点规范理论计算中应用更高效流形架构以实现拓扑遍历采样的重要一步。
论文提出 FedSumUp 方法,利用可学习有损压缩器生成紧凑表示,在 BloodMNIST、CIFAR-10 等数据集上降低重构 PSNR 至 8.56 dB。 该方法将客户端运行时间最高减少 96.5%,同时保持 ChestMNIST 89.72% 的分类准确率,且对非 IID 数据分布具有鲁棒性。
引入热力学一致潜空间动力学辨识(tLaSDI)模型,利用 pGFINNs 在低维潜空间学习热力学状态变量,预测非均质材料的断裂模式与演化。 模型通过硬约束嵌入总能量守恒与熵产生等热力学原理,并引入几何条件自编码器以增强几何配置学习。 在未见测试样本上,tLaSDI-pGFINNs 比纯数据驱动的 AE-LSTM 模型更准确地捕捉断裂模式及后续演化过程。
PathFM 利用流匹配生成完整未来路径,解决多数模型仅预测边际分位数而忽略依赖结构的问题。该模型将采样蒸馏至一至两步并共享注意力缓存,使其生成多条路径的速度约等于单次分位数查询。
EigDiff 方法通过利用特征样本,将扩散模型训练数据减少至多 14 倍,同时保持模型性能基本不变。 该方法利用预训练 CLIP 模型的潜在空间,通过主成分分析(PCA)计算潜在特征向量,并以其作为参考点选择包含代表性样本和多样图像的训练子集。 实验还表明,该子集选择方法比现有方法加速了至多 1607 倍。
强化学习在大语言模型后训练中常使用重要性采样处理离策略问题,正则化导致策略梯度对奖励常数偏移不再具有不变性。 引入奖励与重要性加权分数的协方差作为估计量可恢复该不变性,并揭示群组均值基线与分数中心化的区别。 序列级重要性采样下分数中心化无额外收益,而词元级重要性采样中缺失分数中心化通常引入偏差。
summary_zh: BitSparse 是一种 GPU 驻留的无损压缩格式,专为处理重新出现的稀疏 ReLU 和 ReLU² 激活设计。它通过自定义 Triton 内核将压缩和解重构集成到 autograd 函数中,在缩减激活缓存的同时确保反向传播能精确恢复数据。
CoTranslator 通过学习将反向 CoT 响应翻译为经验证的正向响应分布,支持大规模学生训练数据生成。在六个数学基准测试中,其平均准确率比语义抑制方法最高提升 5.82 个百分点。
LCT 是一种针对训练场景设计的 GPU 执行框架,利用浮点数据冗余实现无损张量压缩,最高压缩率达 1.455 倍。 框架通过高度优化的 GPU kernel 实现基于预计算码本的 Huffman 编码,在 162M 参数 NanoGPT 上降低 24.6% 内存占用,并支持 Qwen3-4B 微调时将上下文长度扩大 3.5 倍。
该研究通过合成公告测试了LLM财务预测的驱动因素,涵盖四个模型家族的六个检查点。 实验包含2,016个提示,主要EPS对比差异范围为-0.19至86.80个百分点。 自然语言数字诊断准确率介于51.0%与95.8%之间,结果公开可查。
该研究通过正交多项式动力学框架解释了神经网络的频谱偏置现象。核心观点是浅层网络倾向于先学习低频正弦分量。 分析方法基于将网络输出展开为一般傅里叶级数,并构建描述梯度下降动力学的矩阵 H。通过矩阵 H 的特征值衰减和特征向量形状,阐明了学习偏好与激活函数及网络架构的关系。
Lethe是首个针对图神经网络边缘遗忘(Edge Unlearning)的综合基准,包含15种方法和8个数据集,旨在解决现有评估指标缺乏信息量的问题。 该基准强调大规模图数据集,并引入基于链接推断攻击的实证度量,以取代无效的代理准确率指标,揭示了专用边缘遗忘方法可能比从头重训练更慢的缺陷。 Lethe已被NEURIPS 2026接收,作为一个可复现、可扩展的基准发布,填补了边缘遗忘领域的评估空白。
AutoSFT 是一个多智能体系统,通过分离执行与分析,自动覆盖数据修剪、修复及合成等全范围数据操作,用于监督微调。 引入合成子代理后,IFEval 基准成绩提升 +3.4,IFBench 提升 +2.9;在代码任务中,分析模块使 MBPP+ 提升 +3.7。 研究结果表明,自动化 SFT 数据研究的关键在于覆盖多样化的数据操作,而非依赖单一更强操作。
研究人员提出条件程序(CP)方法,利用高斯格状重构将 N-Gram 记忆表量化至每行两比特,在相同存储预算下优于拟合码本与低秩变体。 该方法将 DeepSeek 的嵌入表存储从 203GB 压缩至 51GB,降低输出 KL 散度 41%–63%,使模型可在 GPU 上运行更大规模任务。 压缩后表结构仍保留完整查找能力,为长上下文或多实例部署提供显存空间余量。
提出共享残差蒸馏(SRD)方法,无需外部监督即可从模型自身未验证的对等轨迹中学习,提升 Qwen3 系列模型 AIME24--26 avg@12 得分。 在 Qwen3-1.7B、4B 和 8B 上,AIME 平均分数分别从 11.02 升至 16.20、19.07 升至 45.46、21.39 升至 54.44。训练后的模型在推理时无需对等辅助,且未在两项通用能力基准上出现性能下降。
RoleQ 提出一种基于 Transformer 单元功能角色而非权重矩阵布局的量化框架,将模型转换为 1.59 bits/weight。 该框架无需搜索、校准或存储状态,在 0.6B 至 14B 模型上,三元量化下困惑度比基于布局的放置方式降低最多一半。 在 8B 规模下,部分比特可恢复约一半的 MMLU 分数,显著优于随机或基于 Hessian 的放置方法。
CIM-Embed 通过监督对比学习实现指令条件多模态嵌入,在自构建的 ProductMIC 基准(5,373 个产品,449 项任务)上达到 95.01 的平均 V-measure,显著优于最强通用嵌入基线 WeMM 9B 的 53.06。
summary_zh: 研究在单张 A100 GPU 上对比 Muon 与 AdamW,结果显示 Muon 在语言模型(17.7M-33.6M 参数)和视觉 Transformer(2.70M 参数)上降低验证损失。
Data World引擎基于明确机制合成环境、任务与评分标准,并通过独立审计验证目标可恢复性。该引擎生成了1,037个独立世界和2,135个训练任务,并构建包含100个任务的DataWorld-Bench基准。
LLM后训练中对称奖励聚合会导致主任务性能下降,尽管总奖励提升。论文提出Trust-Anchored Gating (TAG) 机制,在Qwen3-4B模型上将pass@4从0.220提升至0.581,同时将响应长度缩短44%。
MetaExp 框架通过可验证任务家族训练 Qwen3.5-122B-A10B,实现经验学习能力的迁移。 该方法利用 4,956 条轨迹微调模型,在 SpreadsheetBench 上提升 8.5 分,在 AutomationBench 上提升 14.8 分。 参数冻结下收益持续,证明经验学习是部署后非参数改进的可迁移能力。
研究人员提出STOPD方法,通过随机截断学生模型的生成轨迹并采用逆概率加权,有效降低了在线策略蒸馏的计算成本。 该方法减少了25-48%的token生成量,实现了1.3-2.2倍的训练速度提升,且准确率与完整轨迹蒸馏相当。
论文提出VR-SGDA算法,用于解决联邦minimax问题中客户个性化最大化变量无法直接平均的困境。该方法通过引入方差缩减上升步骤,使模型在非凸-PL区域消除噪声下限,恢复次线性收敛速率。实验在子群体鲁棒性和NLP对抗训练任务中验证了最坏组鲁棒性优势。