EOPSA:高效在策略自蒸馏安全对齐方法
EOPSA 提出一种高效在策略自蒸馏安全对齐框架,将推理计算量减少约 50%,且仅对约 2% 的 token 进行反向传播,在保持 32B 参数规模模型推理能力的同时提升安全合规性。 该方法通过自适应 rollout 调度和选择性蒸馏,排除风格漂移导致的无效梯度噪声,确保计算资源集中于安全关键 token。代码和模型已在项目仓库开源。
EOPSA 提出一种高效在策略自蒸馏安全对齐框架,将推理计算量减少约 50%,且仅对约 2% 的 token 进行反向传播,在保持 32B 参数规模模型推理能力的同时提升安全合规性。 该方法通过自适应 rollout 调度和选择性蒸馏,排除风格漂移导致的无效梯度噪声,确保计算资源集中于安全关键 token。代码和模型已在项目仓库开源。
GENCO 统一神经求解器支持稳态输电电网的潮流计算、最优潮流和状态估计,最高较 Newton-Raphson 快 30 倍,较 IPOPT 快 85 倍。 开源 GridFM 开发框架标准化了合成数据生成与低代码训练,并发布了数百万 PF 和 OPF 场景的大规模数据集。 该系统大幅降低了电力系统工程师的使用门槛,标志着向电网基础模型(Grid Foundation Models)迈进。
论文提出 CAFE 框架,将自动特征工程(AFE)重构为因果引导的顺序决策过程,结合因果发现与强化学习。 该框架分两阶段:先学习稀疏有向无环图获取软因果先验,再用级联多智能体深度 Q 学习选择因果组及算子。 在 15 个基准上显著优于最强 AFE 基线(Wilcoxon p<0.001),在分布偏移下性能下降幅度最多减少 4 倍。
针对 GRPO 训练中验证器被作弊利用的问题,提出低通过预算审计(LB)策略,通过优先审计弱通过最少的组并惩罚被抓作弊样本,有效抑制奖励作弊。 在 LeetCode 和 Countdown-Code 任务中,LB 策略将作弊率降至接近零,而同等预算的随机审计无效;此外,该策略比无偏校正方法在留出集准确率上高出 6.1-11.8 分,且仅需使用完整审计 28% 的标签量。
提出 DoubleFree 框架,复用领域强化学习的历史轨迹实现无 Rollout 的多任务 LLM 整合训练。 在 Qwen3 和 SmolLM3 模型上,DoubleFree 将整合速度提升 2.99-5.75 倍,降低 80.9-90.1% 的 GPU 小时消耗。 该方法对现有后训练框架仅需最小改动即可显著降低系统成本,同时保持相当的多领域性能。
DPR 方法通过“剪枝-重构”双层稀疏化,将节点剪枝从精度损失转化为 VRAM 受限下的训练加速器。部署版 30% 预算模型在单张 6 GB GPU 上以 1,450 MiB 峰值内存完成训练,相比 DSpar 基线降低 50.1% 内存且精度提升 1.36 pp,所有节点服务速度比 GraphSAGE 快 46 倍。该框架可扩展至 2.45M 节点生产图,证明激进剪枝在显存受限场景下的可行性。
研究团队提出 RADAgent,利用开源权重大语言模型(LLM)自动执行 RADseq 基因测序分析流程。该方法将工作流映射为 16 个独立可执行的智能体模块,并采用模型无关运行时支持故障恢复。在包含 19 个群体、476 个样本的真实数据集测试中,RADAgent 成功在本地环境完成全流程自动化,代码已公开。
学者Peter S. Park等提出博弈模型,分析AI如何改变学术招聘中信号与理解的平衡。 该模型分类了纯策略均衡,并通过学习模拟识别申请人和招聘方可能采纳的行为。 此框架为评估保留深度理解价值的招聘实践提供了推理基础。
CSI-TextBench构建了大规模数据集,统一3项感知基准,包含285,790个样本、7个任务和2.0 million条CSI-文本训练元组。 该基准测试了来自4个范式族的5种对齐方法,发现对比式CSI-文本对齐在不使用类别标签的情况下可媲美监督分类器,并在140个组合场景上以86.9%的top-1准确率超越了专用分类器集成。
研究者提出CaliMem框架,通过校准记忆机制解决数据整理策略搜索中的过度泛化问题。在生物及大语言模型后训练任务中,CaliMem优于固定基线及已发表方法,性能比全数据训练高最多19.4%。该系统支持部署时的测试时整理(TTC),代码已开源。
Fed-Universe 框架解决联邦学习中“一刀切”范式压制少数样本的问题,通过 S-G-T-H 架构实现去中心化对齐。 该架构包含语义层 LLM、几何层质量控制、拓扑层帕累托控制及人类层认知孪生,并在跨国临床模拟中验证了少数节点(数据量<3%)效用趋同。 框架将进一步扩展至机构多模态对齐(Fed-Ultra)和个人认知意图对齐(Fed-Human)方向。
针对罕见病诊断 LLM 系统的高风险偏差,研究利用 6 万余病例实证量化评估伪影与数据泄露影响。 强制跨数据集隔离使 Recall@1 从 54.3% 降至 40.3%,监督分类准确率从 42.9% 跌至 16.7%。 提出结合严格数据隔离与标准基准保护的评估框架,以验证模型的真实临床稳健性。
该研究提出统一的大模型全阶段训练框架,建立涵盖数据、目标函数、优化策略等六个维度的分析体系。 系统回顾了2017至2026年间的395篇核心参考文献,其中约79%为经过同行评审的A+B级证据,并构建了跨阶段效应概念图。 明确了预训练对后训练的前向约束,以及后训练对数据与预训练的逆向赋能机制,并识别出10个可验证的开放问题。
该综述系统回顾了大语言模型(LLMs)的数据优化技术,构建了涵盖数据选择、增强、加权及其他的分类框架。 研究首先分析了 LLM 训练与推理中的数据挑战,并确立了质量、难度、多样性和冗余性四大数据感知维度。 文章最后指出了当前数据优化相较于传统深度学习的关键挑战与未来研究方向。
研究者提出“界定域语义不变性”框架,利用知识图谱控制局部语义约束,以解决 LLM 回答不一致问题。 该框架在 MITRE D3FEND 本体及八个 Wikidata 领域验证,发现不一致具有结构化特征。 分层接地策略增强了单调性,显著降低模型间不一致率。
Google Research 提出睡眠框架,让 LLM 在离线阶段巩固短期记忆为长期参数,从而支持持续学习。该框架在 BABILong 基准上实现 10M token 长上下文近乎完美保留,并在 AIME 24/25 等数学推理任务上提升了准确性。
研究提出 Token Inoculation,在继续预训练时标记危险句子并微调 LLM 拒绝回答危险问题。在 1.5B 至 14B 参数规模中,该模型将危险准确率保持在 18% 附近,同时保留 93% 的 MMLU 指令基线性能。 这种条件化方法优于遗忘和拒绝训练等抑制方法,实现最佳安全与效用平衡,且优势在开放式生成和网络安全迁移中均得到复现。
CausalMix 提出将 LLM 数据混合优化建模为因果推断问题,解决静态假设导致的数据分布变化后需重训的局限。 作者利用 Qwen2.5-0.5B 的 512 次运行拟合 CATE 模型,并在 800K 数据池上外推最优混合策略训练 7B 模型。 该方法实现了离线推断状态依赖的数据混合,在下游任务中展现竞争力且具备可解释性。
研究解耦了强化学习中提示来源与奖励类型的影响,发现开放域提示结合奖励模型的RLHF能显著提升对话、推理及编程能力。 相比之下,基于规则验证器的RLVR虽能改善推理,但在开放域对话上的增益远低于RLHF,表明跨域泛化更依赖奖励机制。
提出Alignment Adapter (AlAd)框架,通过事后对齐压缩模型的token embedding与参考模型以提升下游任务性能。 AlAd是一个置于压缩模型最终层后的小型前馈网络,可读取相邻token窗口利用局部上下文。使用BERT-base作为参考,在POS标注、NER和抽取式问答任务上,AlAd能改善四个BERT压缩变体表现,且联合微调效果优于冻结模型。
EVOL-RL 通过结合多数投票与新颖性机制,有效解决了无标签自我改进中的多样性坍缩问题,显著提升 pass@n 性能。 在 AIME24 无标签训练 Qwen3-4B-Base 后,其在 AIME25 上的 pass@1 从 4.6% 提升至 17.1%,pass@16 从 18.5% 提升至 42.0%,超越 TTRL 基线。
研究显示,对 500M 德语网络文档应用层级质量过滤器后,重复训练高质量子集的效果优于在多样化语料库上进行单遍训练。这种性能优势在 7 个 epoch 后依然显著,且模型名为 Boldt,训练 token 数量比可比模型少 10-360 倍,却达到最先进结果。
LinearARD 通过冻结原生 RoPE 教师模型的注意力结构一致性,实现大语言模型上下文扩展时的性能恢复。该方法仅用 4.25M tokens 达到 256M baseline 预算下 93.1%-94.3% 的短上下文性能,实现约 60 倍数据效率提升。
研究发现预训练语料与基准间的词汇对齐度(UCE)一致地预测零样本准确率。 该研究通过固定训练配方、仅变更语料的从零预训练进行控制实验,覆盖 10 个基准、4 种语料及 3 种模型规模。 基于词汇对齐的选择策略在文档级和提示级均带来了可测量的准确率与吞吐量增益。
研究团队构建了包含80万条目、覆盖20种语言的多语言医疗数据集 GlobMed,并评估了56个大语言模型,发现低资源语言性能存在显著差异。 团队训练了参数量1.7B至8B的 GlobMed-LLMs 模型,在12种语言上平均性能提升近40%,低资源语言最高提升超3倍。 这些资源为 LLM 在全球医疗领域的公平发展和应用奠定了基础。
提出多路径计划聚合(MPPA)方法,利用 LoRA 适配器在冻结骨干上联合规划与答案选择,改善测试时扩展的准确性-令牌权衡。 在三个规划路径下,MPPA 平均准确率高于八次直接采样的多数投票,同时减少 47%-54% 的输出 token。 该方法在五个数学与科学基准及三个骨干模型上验证有效,适用于需平衡推理成本与精度的场景。
研究团队提出一套用于检测人机共同创作文本的细粒度模型,在未知领域、生成器及对抗输入等场景下表现稳健。 该模型基于超过 2.4M 条涵盖 23 种语言的数据集训练,主要涉及流行专有 LLM 生成的共同创作文本。
提出GPDPO多奖励策略优化方法,从冲突过滤的采样响应中恢复成对监督信号,联合优化原策略目标。 该方法无需额外采样或奖励评估,在API-Bank基准测试中,GPDPO持续优于竞争性多奖励优化基线。 实验证明GPDPO有效降低群体相对及成对奖励冲突,提升多奖励对齐效果,代码将开源。
CRIM框架将物品级语义编码与请求级历史建模分离,在MovieLens-1M等数据集上取得SOTA检索性能并大幅降低推理成本。 通过可学习摘要token将物品压缩为连续记忆,利用REC token引入预测监督,且记忆可跨请求复用以消除重复编码。 该机制支持联合训练以优化编码器,作者将公开代码和LazSeq数据集。
ThinkBit 是一种专为保留推理能力设计的 2-bit 量化框架,在 Qwen3-1.7B 模型上 MATH-500 得分 46.7,显著高于 EfficientQAT 的 30.0。
ECHO 框架利用输出熵作为 KL 散度主要成分,通过实时监测遗忘风险解决 LLM 监督微调中的灾难性遗忘问题。 该方法分解 KL 散度识别熵为高效在线代理,应用弹性控制器动态调节回放数据梯度权重。在 0.6B 至 9B 参数架构评估中,ECHO 保持在稳态-可塑性前沿并扩展了该边界。
提出 EnvLunch 预热阶段,利用可执行环境本身的结构生成可验证任务,无需人工或模型生成描述。 该方法让代理在最终观测下恢复功能等效轨迹,无标签预热比基线平均高 9 分以上,少量标注下效率提升 8 至 32 倍。 节省标注任务成本,为数据受限的代理模型微调提供更好起点。
该多模态框架整合平台元数据、语音转录及视觉语言描述,利用大语言模型从9,852条TikTok视频中提取主题与沟通策略指标。 在16位创作者的7,311条分析样本中,框架与两位独立专家标注者在6个二元指标上达成0.40的Cohen's κ一致性。 该模块方法支持大规模比较分析,实现了可扩展标注、透明聚合及特定构念验证的平衡。
CalibraRL 提出一种融合响应置信度与查询级回答证据的强化学习框架,旨在缓解 RAG 中的幻觉。 该框架利用 Brier 惩罚项校准置信度与正确性的匹配,并通过 Beta 后验估计弃答奖励。实验显示 CalibraRL 在两个骨干模型和三个数据集上将平均期望校准误差(ECE)降低了 30.8%。
研究表明,合成TinyDialogues数据集虽在词汇层面匹配自然对话,但严重低估了口语交互的碎片化特性。 研究者提出使用真实对话数据进行指令微调,初步实验显示小模型在中等程度的参数高效微调后能近似自然数据的统计倾向。 该发现揭示了当前合成数据在模拟真实语言交互方面的局限性。
对比20个1.5B至32B规模的RL模型与其基座,发现RL带来的pass@1提升主要源于完成度(Finishing)和可靠性(Reliability),极少扩展知识边界(Reach)。 在4k/8k预算下,82%的变化来自完成度;Reach贡献不超过2.1个百分点,且RL新解题中90%的步骤基座也能生成。
语言学词典条目引入“人工植物 nursery”隐喻,区分基于语料库模型生成语言的 synthetic bush 数据与控制条件下验证假设的 synthetic garden 数据。 该文章扩展 Bresnan (2016) 关于 linguistic garden 和 bush 的区分,主张合成数据是独立的研究对象,解释其时需考虑生成条件。
研究指出,在固定微调预算下,响应比率(response ratio)是预测指令微调效用的更强且更可移植的指标,优于常用替代代理。 实验通过将指令-响应样本按分数排序并分桶微调,对比了验证困惑度与 LLM 评分,证实答案密集的监督信号具有更高预测力。 该发现澄清了“数据质量”的操作定义,为高效数据选择提供了实证依据。
ARMOR-DP 提出一种模块化框架,通过逐语言验证损失动态更新采样比例,以应对多语言模型训练中弱势语言的实时变化。 实验表明,字节级编码可消除中文表示偏差,且动态控制器在分数与平衡的权衡上优于固定保护策略。 该研究证实多语言弱势是训练时状态而非固定属性,该论文已被 EMNLP 2026 BabyLM 研讨会接收。
研究团队提出 Conceptizer 训练框架,在下一词元预测基础上引入基于约 9K 概念词表的语义奖励。 该框架无需增加模型参数,应用于 1B 至 8B 参数规模的 3 个模型族,在概念目标位置实现了最低的 NTP 困惑度并提高上下文同义词概率。 实验结果进一步表明,该方法在知识与情感任务上提升了下游性能,证明语言模型可直接优化以预测语义而非仅下一个词元。