随机机器学习实验中的等效性检验与运行次数设计
summary_zh: 提出了一种用于认证单次运行指标(如AUROC)实际等效性的协议,核心在于两层级(seed x item)方差模型分离运行间差异与项目级噪声。
summary_zh: 提出了一种用于认证单次运行指标(如AUROC)实际等效性的协议,核心在于两层级(seed x item)方差模型分离运行间差异与项目级噪声。
研究表明,在合成医疗数据中,隐私感知改写能实现比 DP-SGD 和直接微调更优的能力与隐私平衡。 直接微调在能力指标上表现最佳但隐私泄漏最多,而 DP-SGD 虽降低泄漏却大幅牺牲模型能力。 引入“独特性感知”指令来替换私人细节的隐私感知改写,相比朴素改写提升了跨模型隐私保护。
论文提出基于正交分解的多任务主动学习框架,解决现有线性标量化方法的局限性。 核心发现“冲突悖论”:在候选排序中惩罚梯度冲突效果劣于不评分,因此将冲突检测与训练分离。
研究发现过参数化视觉分类器主要依赖神经元符号而非幅值进行分类。仅基于二元符号编码的 K 近邻分类器,精度即可与完整模型相当。 该发现跨架构、激活函数和数据集普遍成立。若翻转 20% 符号,准确率将降至随机水平,证实符号对性能的决定性影响。 这表明离散符号编码可能是比连续权重空间更合适的分析单元,为理解网络泛化机制提供了新视角。
研究人员开发针对中国姓名的汉字性别推断模型,解决拼音形式固有的性别歧义问题。模型在回归任务中达到0.85 R²,分类任务宏平均AUC为0.97,表现优于Namsor、GPT和Claude等现有工具。在APS期刊独立测试中,该方法实现100%姓名性别分类,而现有方法存在20%-100%未分类率,证明汉字级信息对可靠性别推断的关键作用。
在高维岭回归迁移学习框架中,通过确定对等分析证明特定参数下缩放定律达成 Minimax 最优指数。该最优源模型正则化仅依赖源数据,且单遍随机梯度下降微调整合能实现同等最优速率。实验验证了该理论在合成设置及语言模型中的有效性。
构建了首个涵盖感知、求解和推理三大渐进能力的时序大语言模型(TS-LLM)基准套件,包含33.7万训练样本和4.4万评估样本。该套件用于探究时序数据进入LLM的最佳方式及顺序。
提出 LM2LM 方法,用强化学习训练 LLM 生成有效的语言模型改进提案。利用冻结 LLM 作为研究世界模型(RWM)提供可扩展奖励,通过定期执行高排名提案更新上下文以保持可靠性。
研究提出基于 LLM token 概率的方法,通过指定候选 L1 前缀对文本评分来推断母语背景。 该方法在 TOEFL9 等三个数据集上使用 Llama 3.1 8B 和 70B 模型进行评估,结果显示 token 概率评分显著优于直接分类,其中 70B 模型在所有数据集上均达到 SOTA 性能。 这表明预训练 LLM 的 token 概率包含可用于区分 L2 英语生产中 L1 背景的信息。
系统性评估了置信度路由在 LLM 推理降本中的有效性。覆盖 3 个模型族、4 种语言及 3 类任务,共 72 种配置与 42,288 次预测。
MoEvolve 提出双向蒸馏框架,利用激活扩展的 MoE 模型作为教师,使低激活配置模型性能提升最多 22.2 个领域平均分。 该框架采用先恢复后强化策略,将增强能力反向迁移至原低激活模型,优于同预算 RLVR 基线最多 6.5 分。 最终低激活模型常超越其扩展教师,且在多样化 MoE 模型和基准上验证了有效性。
研究提出局部代理网络通过蒸馏预测全局输出,在 Transformer 训练中规避反向传播的激活存储瓶颈。 理论上该方法在深度线性网络中精确,非线性残差模型中可界定梯度误差;在 CIFAR-100 上展示了优于其他局部算法的精度/内存权衡。 该方法在低内存预算下微调大语言模型时,训练速度更快且性能高于零阶学习算法。
提出 Lookahead Editing (LED) 方法,增强掩码扩散模型 MDM 表达能力。在 8 项基准测试中,LED SFT 平均提升 11.4 和 7.7 分。仅用 SFT 微调的 LED-8B 性能超越经预训练和后训练的 LLaDA2.1-16B Q-mode。
现有 Maximal Update Parametrization ($\mu$P) 在差分隐私 (DP) 约束下失效。论文提出 DP-$\mu$P 框架,通过推导信噪比 (SNR) 条件实现零样本学习率迁移。
该研究提出了 Normalizing Flow Maps (NFM),这是一类结合了少数步长生成与可处理样本似然特性的精确可逆 pushforward map,它推广了 Normalizing Flows 和 flow maps。
研究提出AlphaBet智能体强化学习(RL)框架,训练单一LLM策略跨多个预测日期搜索证据、推理并报告概率。 在GLM-4.5-Air模型上,AlphaBet将Forecast-Dojo数据集的Brier score从0.731降至0.626,FutureX数据集从0.612降至0.528。该框架将预测遗憾分解为证据获取差距与概率报告差距,证实多日期训练带来的提升源于信息获取与概率报告两方面。
CoLU 通过更新单个 Transformer 层结合置信度加权正则化,在 TOFU 数据集六项设置及 MUSE 两项指标上全面超越 NPO、SimNPO 等 SOTA 方法。 配合 Brief Layer Screening 策略可减少 60.2% 至 79.7% 运行时间,平均 GPU 显存占用降低 77.4% 至 79.5%。 实现了大语言模型遗忘与保留平衡的高效能新基准。
Sigma-Delta采样器将随机采样与退火步骤嵌入一阶噪声整形循环,推动量化噪声移出低频适应带,使离散权重更新沿崎岖损失景观中的平滑下降轨迹执行。 在CIFAR-10上,13M参数三值模型精度距全精度不足1%;在MatMul-free语言模型(2.7B参数)上,该方法优于直通估计器基线。 与标准量化感知训练相比,该框架降低训练内存占用超50%,速度提升一个数量级,适用于设备端大模型训练与微调。
大型语言模型在临床分类中受虚假特征影响,交换单个性别词会导致高达 53.5% 病例的无关诊断发生改变。 TGS 通过预测轨迹判断修正时机,在 i2b2 数据集上修复 17.7% 错误,仅破坏 1.3% 正确预测;高血压性别切换不一致率从 53.5% 降至 38.0%。 该方法无需反事实数据或虚假特征先验知识,可迁移至 3 个模型族及其他临床生物医学数据集。
1.41亿参数编码器基于77个公开数据集的112万样本训练,在低误报率下PII检测召回率领先。 模型吞吐量提升2-10倍,GPU峰值内存降低94-97%,覆盖多语言及URL中IP地址等场景。
该研究构建了迄今最大规模的带有序标注的视角主义 NLP 数据集,用于评估不同算法在预测多样化人类评分时的表现。 研究发现,算法在处理倾向于与他人保持一致的标注者时表现更好,但标注者的响应率与算法性能之间不存在具有统计学意义的正相关。
提出可扩展的语言无关方法论,通过 NLI 任务对知识库与文本的自然对齐进行去噪,解决希伯来语低资源语言缺乏标准化关系抽取(RE)基准的问题。 实测最优开源模型 Gemma-4-31B-it 在完全保留的双标注测试集上 F1 为 0.844;最优 API 模型 GPT-5.4 得分为 0.921。
研究团队发布Pearl-Chat,一款针对Luganda语设计的8,473,122参数因果解码器。该模型采用JAX和Flax NNX框架构建,并训练出词表大小为8,192的BPE分词器,实现1.60 tokens/word的生成率。
研究发现微调权重更新的高秩度量在噪声基线下表现各异,13个最大8B参数的模型均显示少量强方向伴随长尾。 指令数据更新并未显著优于维基百科或代码,DPO在偏好标签随机交换时更新相同,随机文本产生最集中更新。 论证了权重有效秩变化微小说明后训练表象化的近期主张,证明随机更新仅微调秩但破坏模型。
在 Qwen2.5-1.5B 上,学习特定事实绑定后,模型在持续微调中的再学习速度显著快于未学习对照组。 在预设部分遗忘检查点,LEARNED 组比 CONTROL 组更快恢复目标;从未见过的池子中转换,先前学习可减少约 18% 的优化器更新需求。
一项针对 155 名 NLP 研究人员的调研显示,44% 的受访者在众包数据中观察到 LLM 使用。 93% 的受访者预见了这一问题,但一半不清楚应采取何种预防措施。最常见的检测策略包括识别独特的文本风格模式和异常快的完成时间。 研究发现现有努力不足以完全解决该问题,并提出了 LLM 时代众包数据收集的考量建议。
针对指令微调数据冗余与低质问题,研究提出基于加权上下文影响(wICI)的选择框架,旨在衡量候选样本对语义相关同伴降低指令遵循难度的贡献。 实验跨越多个模型与基准测试表明,在受限数据预算下该方法优于现有基线,且实证发现样本难度与上下文影响呈负相关。 该研究为从上下文学习视角构建高效指令微调数据集提供了系统性指导。
研究人员提出离线数据增强方法 Composition-RL,通过组合现有提示词解决强化学习中易例占比过高的问题,避免修改优化器。 在 4B 至 30B 参数规模实验中,该方法持续提升推理能力;课程学习变体与跨域提示词组合进一步增强了模型性能。 论文完整代码、数据及模型已公开,该版本为 NeurIPS 2026 接收稿。
CLUE 提出结合监督证据推理与 GRPO 的两阶段训练管道,利用 $\mathrm{IU}_{\mathrm{G}}$ 奖励机制提升模型对社会语境的识别能力。 在基于 Qwen 基座模型的测试中,CLUE 在域内加权 F1 提升 17.3%,域外提升 9.3%,且推理 Token 减少超 80%,证据对齐度获人工评估认可。
该综述统一了大语言模型训练生命周期中的数据策略,提出将策略视为分配训练预算的策略函数。 方法按决策粒度、模型依赖性及时间适应性分类,细粒度策略虽控制力强但增加推理成本。 跨模型规模传输及端到端成本证据有限,论文附持续更新的资源列表。
该综述将长上下文压缩重构为推理时资源分配的记忆管理问题,区分计算活跃与非活跃内存,并提出预算成本模型。 框架统一了短期压缩与长期记忆管理,将写入、卸载、回忆等操作定义为信息生命周期中的状态转换,旨在决定信息何时以何种形式参与高成本推理。
研究基于 SGD 动力学,通过最小化期望损失上界推导出深度神经网络高斯初始化的最优方差条件。 该数学准则优于启发式方法,在 MNIST 数据集实验中证实,满足此条件的模型最终训练损失低于 He 初始化且测试精度更高。
ZenFlow 通过优先处理重要梯度,将 LLM 微调中的 GPU 计算与 CPU 卸载解耦,实现无停顿训练。 系统利用重要梯度的时空局部性高效识别关键参数,评估显示其带来最高 5 倍端到端加速、85% GPU 停顿减少及 72% 云成本降低。
DataKernelBench 将 SQL 转换为 PyTorch TorchPlan 程序,并在 H100 GPU 上通过执行引导修复评估 LLM 优化 CUDA 或 Triton 代码的能力。在 TPC-H SF10 测试中,最佳全查询 CUDA 配置相比基线实现 2.11 倍加速。
针对 RLVR 中 GRPO 类方法因均匀信用分配导致的尾部错误 Token 强化问题,提出 TACO 方法。 TACO 利用策略自参考计算 Token 稀缺度以评估尾部风险,并据此动态降低高风险 Token 的正向信用权重,从而在保留稀疏模式学习机会的同时限制错误强化。 实验显示 TACO 在四款 LLM 及八个推理基准上持续优于基线,并显著提升了长程 RL 训练稳定性。
论文提出 LLMSurgeon 框架,将大语言模型预训练数据混合估计形式化为逆问题,旨在事后审计模型的数据溯源。该方法通过校准软混淆矩阵并求解约束逆问题,修正系统性领域混淆,恢复潜在混合先验。研究引入 LLMScan 评测套件,利用开源模型的高保真结果验证了 LLMSurgeon 在审计基础模型“数字 DNA”上的实用性。
研究者提出无需训练任务向量(TFTVs),通过前向传播统计量将激活引导向量映射为秩一权重空间编辑,实现LLM行为控制。 该方法无需微调即可增强、抑制或组合目标行为,在保持通用知识与解题能力的前提下,比基线方法展现更强的特征控制效用。 代码已在项目网站开源,为后训练模型编辑及无需训练的控制提供新方向。
研究者发布 Chronoberg,一个覆盖 250 年英语书籍文本的历时语料库,基于 Project Gutenberg 构建并富含时间标注。 该语料库支持通过 Valence-Arousal-Dominance 分析量化词义变化,并暴露现代 LLM 在跨时代情感及歧视语言检测上的局限。 Chronoberg 已在 HuggingFace 公开,旨在推动具备时间感知能力的训练与评估流程。
UniWind 提出融合物理先验与数据驱动修正的风电预测框架。 该模型通过物理先验估计器构建校准先验,利用潜变量编码器和状态感知修正器生成最终预测。 实验在 24 个真实数据集上验证了其在全量、跨农场零样本及跨区域零样本设置下的强预测准确性与鲁棒性。
高稀疏度LLM剪枝的校准集选择应视为能力覆盖问题,单一来源无法保留所有能力。 在60%稀疏度下,不同策略在代码保留度上差异达51.9分;均匀混合的Balanced策略在C4上优势随稀疏度增加而扩大,IGSP方法在LLaMA上表现优于先前自我生成方法。 能力覆盖是设计高稀疏度剪枝的核心变量。