PPML-Hybrid:面向异构客户端的隐私保护联邦学习方法
研究提出PPML-Hybrid方法,允许异构客户端根据计算资源分布式选择HE或DP。 在组学数据集上,该方法在显著缩短计算时间的同时保持可比的预测准确率,且在同等或更严格隐私预算下优于纯DP方法。
研究提出PPML-Hybrid方法,允许异构客户端根据计算资源分布式选择HE或DP。 在组学数据集上,该方法在显著缩短计算时间的同时保持可比的预测准确率,且在同等或更严格隐私预算下优于纯DP方法。
研究提出基于非平衡统计物理的统一框架,证实描述大脑神经元雪崩的方程同样适用于深度神经网络级联活动。 网络在吸收相与活跃相之间的准临界状态下学习效果最佳。通过有限尺寸标度,研究识别出包括Barkhausen噪声和定向渗流在内的不同普适类。
提出LSTMem,一种受LSTM启发的在线记忆模块,为冻结LLM每层配备细胞状态与隐藏状态,在Qwen3-4B-Instruct上提升MemoryAgentBench、LoCoMo和HotpotQA成绩。 LSTMem通过门控机制分离记忆积累与表达,并利用跨层前向传播与高层重建梯度优化下层状态,优于基于联想记忆的对照方案。 代码已开源。
论文提出微分功能主义假设,认为物理相互作用的一阶结构(Jacobian)塑造现象体验的结构。 引入透明度(有效秩)和完整性(归一化代数连通度)两个度量,通过示例推导重叠体验、系统边界及时间厚度等现象特征。 该框架可在人工网络中大规模计算,并估算脑区扰动数据,相关代码已开源。
spora 提供 13,546 张标准化多路复用图像,覆盖 35 个队列、5 项技术。 配套 spora [io] 接口与 spora [bench] 基准,支持基础模型训练。 已接收至 NeurIPS 2026,推动跨队列模型训练与评测。
知识蒸馏对不同教师属性的传递具有选择性,基准关联知识成功通过所有四种序列蒸馏渠道传递,而拒绝后门行为几乎未被学生模型继承。 Logit 蒸馏能显著传递后门行为,在未见过后门示例的学生中触发拒绝率达 85.5%,表明选择标准取决于教师属性的结构而非数据。 代码已在 GitHub 开放获取。
论文提出 FinSafeGuard,通过四阶段管道生成 14.3M 高质量合成训练样本,涵盖 Banking、Insurance 等三个金融领域。 管道包含条件自动演化、语义去重及 LLM-as-Judge 过滤;去重率根据领域差异在 9.9% 至 40.6% 之间波动。 该框架将 26.4M 原始样本精简为 14.3M 高置信度样本,提供了可复现的领域特定数据生成方法。
NCE 框架通过专用特殊 token 语法让 LLM Agent 原生编辑上下文,在 4 个长时程 agentic benchmark 上平均成功率提升 5.6 和 4.5 个百分点。
该研究提出包含 30 项属性、4 个维度的建筑数据集 AI 就绪度框架,用于评估元数据、质量、治理及 AI 效用。 框架在 21 个公开数据集上验证,整体就绪度得分介于 0.720 至 0.964 之间,混合验证达成 90.5% 一致性。 该框架支持对异构建筑数据集进行一致评估并识别就绪度差距。
针对机场观测缺失问题,研究提出两阶段混合框架,利用约1000万用户和1.31亿次观测的LBS数据推断美国境内航空行程。 第二阶段概率模型将航线覆盖率从10.65%提升至50.60%,Spearman相关系数由0.4490升至0.7630,并恢复92.2%的第一阶段参考行程。 该框架定义了三种端点观测状态,帮助机场机构识别不完整观测下遗漏的国内航空出行模式。
Resonance 模型利用前沿监督启动开源模型的前向反应预测,显著提升小分子药物设计的推理能力。 该模型通过蒸馏教师模型的推理轨迹并结合自验证输出训练,将接近零准确率的基座模型转化为有效的反应预测器,且强学生模型仅靠蒸馏即超越教师。 研究表明准确性未带来鲁棒推理,小模型易在质疑下放弃正确答案,凸显化学推理模型评估需兼顾答案准确率与推理鲁棒性。
Mirror 提出一种自监督方法,通过环境交互学习视频到动作映射,无需预置动作数据或手工奖励。 该方法在 Atari、OGBench 和 DeepMind Control 上超越领先的从观察学习(learning-from-observation)方法,在 Minecraft BASALT 上表现优于使用专家动作或手工任务知识的方法。
提出结合预测分歧与材料特征多样性的获取框架,解决数据集对当前属性优化但丢失未来信息的问题。 在四个DFT数据集和一个实验热电材料数据集上,NSGA-II Dis. + diversity框架表现最稳健,保持当前目标预测高于随机采样并提升排除属性性能。 该框架为构建无偏材料数据集、缓解后续建模冷启动限制提供实用路径。
该系统基于提示词,针对Anthropic等五大模型API,在八类任务中生成最高20K样本的数据集,规模越大优势越明显。 其微调模型性能优于其他生成器,显著改善下游训练效果。
ID Balancing是一种基于积分-微分控制器的负载均衡方法,用于解决大语言模型中混合专家(MoE)路由不平衡问题。 该方法整合了DeepSeek的无损失方法和Kimi K3的分位数平衡方法。 实验显示,在Top-3路由设置下,ID Balancing将最坏情况骨干MaxVio降低超过50%,最坏情况骨干MaxVio在总参数量从18.9B增加到69.9B时保持稳定。
研究者提出 Loop-µP 参数化方案,解决循环 Transformer 随循环次数 N 增加导致训练不稳定及超参数失效问题。 理论证明在无限宽度极限下,残差分支乘以 1/N 且学习率与 N 解耦是保持前向传播稳定的唯一方式。语言建模实验中,该方法支持 N 高达 8、执行深度达 384 层的缩放,且无需重新搜索超参数。
PiSO 提出了一种后训练量化算法,能根据校准数据为 LLM 选择全局最优的通道级标度,显著降低重构误差。 该算法在 Llama 和 Qwen 多个尺寸与位宽实验中一致提升了困惑度与零样本准确率;在 2 位量化下,PiSO 可将 Qronos 的 Llama-3 困惑度降低多达 7 倍。
PivotTrace 提出一种利用注意力动态追踪推理中元认知转折点的三元数据分诊框架。该框架通过量化转折点密度来精确评估不确定性,实现了自动化数据路由,以协同最大化标注与训练效率。实验表明,PivotTrace 仅使用 29.3% 的标注样本即超越了全监督大模型,且收敛速度提升 2.75 倍。
P3O 方法在 Qwen3-8B-Base 的数学推理任务中避免 GRPO 后期崩塌,表现优于调优基准线。 该方法用每 token 策略比率的归一化有效样本量替代固定裁剪范围,不引入新超参数。 通过让批次数据决定策略更新强度,增强了大模型 RL 后训练的稳定性。
研究在 $\mu$-KL 条件下推导了动量型随机条件梯度算法(如 Scion)的分析框架,揭示了批量大小存在临界阈值:初始增大批量提升精度,但超过阈值后收益饱和甚至降低性能。 理论预测了最优步长量级,并提出了在训练中动态增加批量大小和序列长度的自适应策略。 在 NanoGPT 上的实验验证了理论预测的 scaling 规律,为设计高效训练调度提供了指导。
该研究提出用容忍度约束所有群体间预测分布的成对 Wasserstein 距离,替代严格的人口统计均等性,以保留公平性的可调节性。在实数线上,当满足特定条件时,该问题转化为有界的分位数优化,且在平方损失下 $W_1$、$W_2$ 及 $W__\infty$ 约束分别对应软阈值、收缩和截断操作。
实验发现模型推理正确性信息可线性解码,但特定方向无法通过因果干预提升推理表现。 研究引入 ChainSearch 任务训练 300 万参数模型,利用线性探针等手段寻找内部推理正确性方向。 结果质疑线性表示假设在识别因果有用方向上的充分性。
提出免训练选择器 LIFT,利用部分推理滚动输出高效筛选高价值提示词,降低 RLVR 数据选择成本。 LIFT 核心指标 PRCL 基于点wise V-信息,在 Qwen2.5-Math-1.5B 等模型上,仅需全量 token 的 26% 至 4.7% 即可保留 90% 至 95% 的评分。
研究团队提出 Halcyon 模型,证明无需互联网规模语言预训练即可实现强文本到图像生成。 Halcyon-0.52B 在 gFD 指标上以 48.0 优于 LlamaGen-XL/8 的 63.3,预训练计算量减少 18.2 倍;Halcyon-1.6B 以 35.3 gFD 超越 JiT-T2I-XXL/8++ 的 41.0,计算量减少 275 倍。
研究人员提出了一阶和零阶随机优化方法,用于训练包含真值标签和 ML 预测标签混合的数据集,解决了人工标注成本高的问题。 该方法的有效性通过从训练线性回归模型到微调大语言模型(LLM)的全面实证研究得到验证,展示了在 ML 标签数据上进行训练的效果。
Trajectory Replay 提出一种连续时间混合传输方法,用于终身生成模型,通过匹配冻结历史速度与 incoming task 速度场来规避样本生成,每次持续更新仅需少量网络评估即可访问历史轨迹。 实证显示,该方法在类别增量图像生成任务中优于 generative replay 与蒸馏基线,并在两个生物学案例中将生成扰动模型扩展至新上下文与实验批次,同时保持治疗效果预测能力。
ESM-2 蛋白质语言模型预训练数据中过滤病毒蛋白,在病毒蛋白上显著降低性能,但非病毒蛋白性能基本保留。 效果集中在感染人类的病毒蛋白,且随模型从 8M 扩至 3B 参数而增强;微调可恢复性能,最大模型恢复成本约 80 美元 H100 算力。
CTLite 通过解耦历史摘要与预测,仅用 88-2,537 个可训练参数在四个基准中取得最佳或次优 MSE 与 MAE。其无参数连续时间编码器生成可复用摘要,匹配 GPU 负载下推理延迟降低 18.6%-87.3%。复用摘要使 16 次预测总运行时间比每次重算编码器减少约 52%。
论文推导目标传播(TP)在隐式范数下的信赖域形式,提出并行求解子问题的 CGTP 算法,并将 KFAC 确立为其特例。 KGTP 在 MNIST 和 Fashion-MNIST 上匹配 ADAM 与 KFAC 精度,外层迭代次数比 ADAM 少约 10 倍。 该方法在不同深度下保持稳定,为 KFAC 的因子阻尼提供了变分依据。
UtilityBench 是一个包含 15,000 个可验证实例的基准,通过最佳最坏标度法量化错误严重性,用于评估语言模型在错误成本各异场景下的效用。 它引入 UtilityAUC 指标,通过模型响应排序下的效用曲线面积,实现超越错误频率的效用偏好对齐。 在 20 个最先进模型的评估中,较高的准确率或更先进的架构并不总能带来更高的 UtilityAUC,揭示了问题解决能力与负责任决策之间的差距。
AsyncOPSD 通过解耦 rollout 生成与学习者更新,使 OPSD 训练吞吐量提升 $1.96$--$2.25\times$。 该框架利用单一语言模型同时充当学生与教师,消除了多模型协调开销,并引入陈旧性感知的策略控制目标。 在三个模型规模的数学推理基准测试中,AsyncOPSD 提高了平均准确率。
研究发现 RLVR 训练中的自适应解码调度可提升采样效率,动态扩大候选 token 支持范围优于固定策略。 在 4B 代码 RLVR 场景中,调度策略在 150M token 验证集上的插值分数平均比固定 K=10 策略高 1.80±0.42 分,且与最强的固定 K=20 基线表现相当。 这表明 rollout 支持范围是强化学习中采样效率的重要控制变量,为自适应调度设计提供了实证依据。
研究通过“三角卷曲”刻画 DPO 中 Bradley-Terry 模型假设失效导致的结构性近似误差,并证明其对最终性能的限制。 论文对 ReLU 评分模型及裁剪模型推导了显式近似速率,建立了有限样本界限,区分了模型容量不足与结构性误设的影响。 结果将 DPO 目标与上下文偏好准确性(CPA)关联,将超出风险上界转化到 CPA 度量上。
论文提出 FracTS,一种层次化由粗到细的自回归模型,用于生成多元时间序列。 FracTS 适应时间序列结构化特性,通过多尺度表示捕捉全局轨迹结构与局部动力学。 在五个数据集上,FracTS 预测机器学习效用平均提升 100.0%(无条件)及 75.0%-81.0%(有条件),超越七个基线。
CD-OPD 在八项基准测试中将平均准确率提升 1.32-7.05 个百分点。 该方法利用教师生成的依赖图谱构建上下文摘要,并通过在线元重加权优化更新方向。 CD-OPD 将协作失败率降低 27.4%-56.4%,解决了在线策略蒸馏中的教师接管错误问题。
研究提出了DROD(双重比率有序dropout)方法,用于解决异构模型在联邦持续学习场景下的训练问题。该方法在ResNet-18架构上,通过shortcut和branch双比率机制提取子模型。 在共享参数和FLOP预算下,DROD在异构模型联邦学习策略中取得了最高平均准确率。其优势在ER、DER++和BiC等回放策略下保持稳定。
PACT 是一个利用原生 NVFP4 GEMM 加速冻结投影的 LoRA 微调系统,旨在降低消费者显卡上的计算与内存约束。 在 16GB RTX 5080 上评估显示,该系统通过复用量化 RMSNorm 输出、保存 NVFP4 激活值用于反向传播,并离线使用 GPTQ 校准冻结权重,实现了比现有方法更低的内存占用和更快的微调速度,且保持具有竞争力的准确率。
PRECOCIAL 方法通过 LLM 迭代重写生成程序,优化合成预训练数据。 在四个语言与代码数据集上,该方法比人工设计课程更少 9-33% 微调步数,困惑度更低。 优化后的程序可跨域迁移,并在四个推理任务中实现更好的下游性能。
乳腺癌分型模型跨队列评估因标签标准不一而失真,标签空间限制修正主导效果(TCGA-BRCA 准确率 73.76%→79.74%)。 目标标签空间无法从未标记预测中恢复(EM 保留缺失类先验 0.0751),需依据队列文档确保合规性。 多模态融合增益未转移,基因组面板对病理完全缓解预测无额外价值(DeltaAUC +0.0045)。
研究人员提出 ControlJEPA 框架,利用 Lyapunov Tube Loss 约束隐状态轨迹,相比标准微调持续提升精度与数据效率。 该方法无需修改模型架构,在 6 个基准和 6 个模型族上验证有效,且平滑特性在推理阶段依然保持。 相关代码已开源,该方法将于 NeurIPS 2026 发表。