Invent-A-Dataset 在零数据场景下生成数据集质量提升17%,多样性提升19%。
该系统基于提示词,针对Anthropic等五大模型API,在八类任务中生成最高20K样本的数据集,规模越大优势越明显。 其微调模型性能优于其他生成器,显著改善下游训练效果。
该系统基于提示词,针对Anthropic等五大模型API,在八类任务中生成最高20K样本的数据集,规模越大优势越明显。 其微调模型性能优于其他生成器,显著改善下游训练效果。
ID Balancing是一种基于积分-微分控制器的负载均衡方法,用于解决大语言模型中混合专家(MoE)路由不平衡问题。 该方法整合了DeepSeek的无损失方法和Kimi K3的分位数平衡方法。 实验显示,在Top-3路由设置下,ID Balancing将最坏情况骨干MaxVio降低超过50%,最坏情况骨干MaxVio在总参数量从18.9B增加到69.9B时保持稳定。
研究者提出 Loop-µP 参数化方案,解决循环 Transformer 随循环次数 N 增加导致训练不稳定及超参数失效问题。 理论证明在无限宽度极限下,残差分支乘以 1/N 且学习率与 N 解耦是保持前向传播稳定的唯一方式。语言建模实验中,该方法支持 N 高达 8、执行深度达 384 层的缩放,且无需重新搜索超参数。
PiSO 提出了一种后训练量化算法,能根据校准数据为 LLM 选择全局最优的通道级标度,显著降低重构误差。 该算法在 Llama 和 Qwen 多个尺寸与位宽实验中一致提升了困惑度与零样本准确率;在 2 位量化下,PiSO 可将 Qronos 的 Llama-3 困惑度降低多达 7 倍。
PivotTrace 提出一种利用注意力动态追踪推理中元认知转折点的三元数据分诊框架。该框架通过量化转折点密度来精确评估不确定性,实现了自动化数据路由,以协同最大化标注与训练效率。实验表明,PivotTrace 仅使用 29.3% 的标注样本即超越了全监督大模型,且收敛速度提升 2.75 倍。
P3O 方法在 Qwen3-8B-Base 的数学推理任务中避免 GRPO 后期崩塌,表现优于调优基准线。 该方法用每 token 策略比率的归一化有效样本量替代固定裁剪范围,不引入新超参数。 通过让批次数据决定策略更新强度,增强了大模型 RL 后训练的稳定性。
研究在 $\mu$-KL 条件下推导了动量型随机条件梯度算法(如 Scion)的分析框架,揭示了批量大小存在临界阈值:初始增大批量提升精度,但超过阈值后收益饱和甚至降低性能。 理论预测了最优步长量级,并提出了在训练中动态增加批量大小和序列长度的自适应策略。 在 NanoGPT 上的实验验证了理论预测的 scaling 规律,为设计高效训练调度提供了指导。
该研究提出用容忍度约束所有群体间预测分布的成对 Wasserstein 距离,替代严格的人口统计均等性,以保留公平性的可调节性。在实数线上,当满足特定条件时,该问题转化为有界的分位数优化,且在平方损失下 $W_1$、$W_2$ 及 $W__\infty$ 约束分别对应软阈值、收缩和截断操作。
实验发现模型推理正确性信息可线性解码,但特定方向无法通过因果干预提升推理表现。 研究引入 ChainSearch 任务训练 300 万参数模型,利用线性探针等手段寻找内部推理正确性方向。 结果质疑线性表示假设在识别因果有用方向上的充分性。
提出免训练选择器 LIFT,利用部分推理滚动输出高效筛选高价值提示词,降低 RLVR 数据选择成本。 LIFT 核心指标 PRCL 基于点wise V-信息,在 Qwen2.5-Math-1.5B 等模型上,仅需全量 token 的 26% 至 4.7% 即可保留 90% 至 95% 的评分。
研究团队提出 Halcyon 模型,证明无需互联网规模语言预训练即可实现强文本到图像生成。 Halcyon-0.52B 在 gFD 指标上以 48.0 优于 LlamaGen-XL/8 的 63.3,预训练计算量减少 18.2 倍;Halcyon-1.6B 以 35.3 gFD 超越 JiT-T2I-XXL/8++ 的 41.0,计算量减少 275 倍。
研究人员提出了一阶和零阶随机优化方法,用于训练包含真值标签和 ML 预测标签混合的数据集,解决了人工标注成本高的问题。 该方法的有效性通过从训练线性回归模型到微调大语言模型(LLM)的全面实证研究得到验证,展示了在 ML 标签数据上进行训练的效果。
Trajectory Replay 提出一种连续时间混合传输方法,用于终身生成模型,通过匹配冻结历史速度与 incoming task 速度场来规避样本生成,每次持续更新仅需少量网络评估即可访问历史轨迹。 实证显示,该方法在类别增量图像生成任务中优于 generative replay 与蒸馏基线,并在两个生物学案例中将生成扰动模型扩展至新上下文与实验批次,同时保持治疗效果预测能力。
ESM-2 蛋白质语言模型预训练数据中过滤病毒蛋白,在病毒蛋白上显著降低性能,但非病毒蛋白性能基本保留。 效果集中在感染人类的病毒蛋白,且随模型从 8M 扩至 3B 参数而增强;微调可恢复性能,最大模型恢复成本约 80 美元 H100 算力。
CTLite 通过解耦历史摘要与预测,仅用 88-2,537 个可训练参数在四个基准中取得最佳或次优 MSE 与 MAE。其无参数连续时间编码器生成可复用摘要,匹配 GPU 负载下推理延迟降低 18.6%-87.3%。复用摘要使 16 次预测总运行时间比每次重算编码器减少约 52%。
论文推导目标传播(TP)在隐式范数下的信赖域形式,提出并行求解子问题的 CGTP 算法,并将 KFAC 确立为其特例。 KGTP 在 MNIST 和 Fashion-MNIST 上匹配 ADAM 与 KFAC 精度,外层迭代次数比 ADAM 少约 10 倍。 该方法在不同深度下保持稳定,为 KFAC 的因子阻尼提供了变分依据。
UtilityBench 是一个包含 15,000 个可验证实例的基准,通过最佳最坏标度法量化错误严重性,用于评估语言模型在错误成本各异场景下的效用。 它引入 UtilityAUC 指标,通过模型响应排序下的效用曲线面积,实现超越错误频率的效用偏好对齐。 在 20 个最先进模型的评估中,较高的准确率或更先进的架构并不总能带来更高的 UtilityAUC,揭示了问题解决能力与负责任决策之间的差距。
AsyncOPSD 通过解耦 rollout 生成与学习者更新,使 OPSD 训练吞吐量提升 $1.96$--$2.25\times$。 该框架利用单一语言模型同时充当学生与教师,消除了多模型协调开销,并引入陈旧性感知的策略控制目标。 在三个模型规模的数学推理基准测试中,AsyncOPSD 提高了平均准确率。
研究发现 RLVR 训练中的自适应解码调度可提升采样效率,动态扩大候选 token 支持范围优于固定策略。 在 4B 代码 RLVR 场景中,调度策略在 150M token 验证集上的插值分数平均比固定 K=10 策略高 1.80±0.42 分,且与最强的固定 K=20 基线表现相当。 这表明 rollout 支持范围是强化学习中采样效率的重要控制变量,为自适应调度设计提供了实证依据。
研究通过“三角卷曲”刻画 DPO 中 Bradley-Terry 模型假设失效导致的结构性近似误差,并证明其对最终性能的限制。 论文对 ReLU 评分模型及裁剪模型推导了显式近似速率,建立了有限样本界限,区分了模型容量不足与结构性误设的影响。 结果将 DPO 目标与上下文偏好准确性(CPA)关联,将超出风险上界转化到 CPA 度量上。
论文提出 FracTS,一种层次化由粗到细的自回归模型,用于生成多元时间序列。 FracTS 适应时间序列结构化特性,通过多尺度表示捕捉全局轨迹结构与局部动力学。 在五个数据集上,FracTS 预测机器学习效用平均提升 100.0%(无条件)及 75.0%-81.0%(有条件),超越七个基线。
CD-OPD 在八项基准测试中将平均准确率提升 1.32-7.05 个百分点。 该方法利用教师生成的依赖图谱构建上下文摘要,并通过在线元重加权优化更新方向。 CD-OPD 将协作失败率降低 27.4%-56.4%,解决了在线策略蒸馏中的教师接管错误问题。
研究提出了DROD(双重比率有序dropout)方法,用于解决异构模型在联邦持续学习场景下的训练问题。该方法在ResNet-18架构上,通过shortcut和branch双比率机制提取子模型。 在共享参数和FLOP预算下,DROD在异构模型联邦学习策略中取得了最高平均准确率。其优势在ER、DER++和BiC等回放策略下保持稳定。
PACT 是一个利用原生 NVFP4 GEMM 加速冻结投影的 LoRA 微调系统,旨在降低消费者显卡上的计算与内存约束。 在 16GB RTX 5080 上评估显示,该系统通过复用量化 RMSNorm 输出、保存 NVFP4 激活值用于反向传播,并离线使用 GPTQ 校准冻结权重,实现了比现有方法更低的内存占用和更快的微调速度,且保持具有竞争力的准确率。
PRECOCIAL 方法通过 LLM 迭代重写生成程序,优化合成预训练数据。 在四个语言与代码数据集上,该方法比人工设计课程更少 9-33% 微调步数,困惑度更低。 优化后的程序可跨域迁移,并在四个推理任务中实现更好的下游性能。
乳腺癌分型模型跨队列评估因标签标准不一而失真,标签空间限制修正主导效果(TCGA-BRCA 准确率 73.76%→79.74%)。 目标标签空间无法从未标记预测中恢复(EM 保留缺失类先验 0.0751),需依据队列文档确保合规性。 多模态融合增益未转移,基因组面板对病理完全缓解预测无额外价值(DeltaAUC +0.0045)。
研究人员提出 ControlJEPA 框架,利用 Lyapunov Tube Loss 约束隐状态轨迹,相比标准微调持续提升精度与数据效率。 该方法无需修改模型架构,在 6 个基准和 6 个模型族上验证有效,且平滑特性在推理阶段依然保持。 相关代码已开源,该方法将于 NeurIPS 2026 发表。
该系统将冻结权重矩阵乘积移至手机 NPU,保持训练图和 LoRA 适配器在 CPU 运行。 输入梯度内核复用常驻权重瓦片,通过基于梯度敏感度的精度选择和行级范围保护保持 FP16 输出精度。 在两款 Qualcomm Snapdragon 平台上使用 Qwen 和 Llama 模型验证,支持夜间个性化微调。
提出内存高效的 Adam 优化器变体 AdamPM,将相邻矩条目分组共享均值,将二阶矩内存降低至原需求的 $1/s$。 该方法直接继承 Adam 超参数并易于集成现有实现,实验表明在 LLM 预训练和微调中能维持模型性能与训练速度。 代码已公开,系统验证了二阶矩池化作为有效设计。
该框架利用自适应蒸馏和效用驱动的同伴选择两种机制,使客户端能根据其本地数据表现更有针对性地学习优于自身的模型。 在联邦分类任务中,该方法比朴素的去中心化蒸馏具有更低的损失和更快的收敛速度。
提出基于掩码自编码器的多域自监督预训练框架,结合物理感知目标与稀疏 Voigt 轮廓解码器学习拉曼光谱表征。 该框架通过可微峰位置、宽度和幅度建模谱峰结构,并加入去噪目标以增强对谱线畸变的鲁棒性。 实验表明,自监督预训练显著提升标注数据受限任务的标签效率、鲁棒性和可迁移性。
miniTE 框架通过执行诊断、跨引擎数值对齐及 W4A4 GEMM 计算,解决原生 NVFP4 在 LLM 强化学习中因独立训练与采样引擎导致的数值执行不一致问题。
RLTLDR 引入“TL;DR”反馈机制,使 Qwen 3.5 9B 模型在 Pass@128=0 的难题中实现自我提升。 模型在失败后生成单条洞察并用于后续采样,通过反向传播内化任务到洞察的映射关系,突破学习瓶颈。 RLTLDR 将无上下文评估时的 Pass@1 从 0%-1% 提升至 12%-13%,证明了紧凑训练范式的有效性。
研究人员提出 On-Policy Reverse Distillation(OPRD)方法,用于解决弱到强泛化问题,使更强模型从较弱教师中学习并超越教师。 该方法通过评估教师策略偏移并放大学生验证器驱动的策略梯度,在数学推理、代码生成等任务上,以更少的学生更新次数实现比现有强化学习和蒸馏方法更高的性能。
多领域强化学习后训练常导致模型在数学、代码等任务上的能力干扰与退化,且全域梯度近乎正交。 局部扰动模型将损失变化分解为一阶项与路径平均曲率项,解释了短程刷新带来的恢复效果。
论文利用最优传输形式化大语言模型推理,通过 12 个结构坐标和 Wasserstein-1 距离量化分布外风险。 Kantorovich 对偶界定了风险上界;APE 导致风险为 $\Omega(1)$,RoPE 保持分数不变并限制误差。
提出 TTCS 测试时课程合成框架,通过问题合成器与求解器共同进化,解决现有测试时训练伪标签质量低及更新不稳定问题。 合成器生成适配求解器能力的渐进式问题变体,求解器利用自一致性奖励更新,二者形成稳定反馈循环。 实验显示其在数学基准上增强推理能力并迁移至通用任务,代码已开源。
summary_zh: open-sci-ref-0.02 发布了 0.13B-1.7B 参数规模、覆盖 9 个参考数据集的开源 Transformer 模型族,支持最高 1T token 预算的训练与评估。
Bilibili 发布开源小语言模型 Index-1.9B 系列,含 Base、Pure、Chat 和 Character 四个版本,其中 Base 模型在基准测试中平均得分 64.92。
提出 LCLM(潜在上下文语言模型)压缩器,基于 0.6B-encoder 与 4B-decoder 架构,将 400B tokens 预训练数据压缩至 1:16 比率,显著提升推理效率。