PerturbEnergy:基于条件能量先验的细胞扰动响应预测方法
PerturbEnergy 提出一种条件能量先验方法,用于捕捉被细胞复杂性掩盖的扰动特异性信号,以加速药物发现。 该方法将能量分布倾斜至扰动偏好区域,并可集成进自编码器架构,证明优化其 ELBO 能增加表征与扰动间条件互信息的下界。 在四个基准数据集上,其扰动识别准确率最高提升 83.2%,并在差异表达基因(DEG)预测中达到最先进(SOTA)性能。
PerturbEnergy 提出一种条件能量先验方法,用于捕捉被细胞复杂性掩盖的扰动特异性信号,以加速药物发现。 该方法将能量分布倾斜至扰动偏好区域,并可集成进自编码器架构,证明优化其 ELBO 能增加表征与扰动间条件互信息的下界。 在四个基准数据集上,其扰动识别准确率最高提升 83.2%,并在差异表达基因(DEG)预测中达到最先进(SOTA)性能。
提出一种基于荣格八种认知功能的 target-first 框架,并构建 NarrationDB 数据集。 该数据集将角色自我叙述与自动评估的联合分数相关联,在三个模型上验证了问卷分数的可控性及双功能目标的协调变化。 结果表明,直接提取的联合方向比无关配对更接近其个体方向,但保留有显著的残差分量。
研究团队训练了最高4B参数、基于1万亿过滤token的点时语言模型。 在常识推理等基准测试中,该模型性能接近同规模的Gemma-3-4B和LLaMA-7B,缩小了与无限制模型的差距。 完整的训练、数据构建和评测代码已公开,支持可复现的点时建模研究。
STAGE 提出一种基于源数据的 Text-to-JSON 生成管线,利用 LLM 合成报告与 JSON schema 并校验数据。 在 STAGE-Eval 基准测试中,该方法将 Qwen3-4B 的完全匹配率从 31.37% 提升至 74.27%,数值准确率从 45.46% 提升至 90.69%。
该研究证明,结合极简 GRPO 设置与针对检索、多证据合成及推理三类任务构建的 8 个数据集(约 14K 样本),可显著提升长上下文推理能力。 在 Qwen3-4B/8B/30B-A3B 模型上,该方法在 7 个长上下文基准测试中平均提升 +7.2/+3.2/+6.4 分,且效果可迁移至智能体任务。
ReGrad 提出“可检索梯度”范式,将梯度作为知识单元离线预计算并存储于 Gradient Bank,推理时仅检索相关梯度进行临时权重适应,避免累积权重漂移。 方法引入双层元学习目标重塑文档梯度,使其转化为可泛化的下游任务适应信号,在通用与领域特定场景下均优于持续预训练(CPT)和 RAG 基线。 该范式实现了可扩展且可逆的参数化知识注入,有助于缓解灾难性遗忘。
研究团队提出 EarthAlign 数据集及 MeteoLIP 双编码器框架,旨在解决地球系统数据与语言通用对齐的缺失问题。 MeteoLIP 通过 MetTok 聚合 63 变量 ERA5 气象数据,在跨模态检索等任务中超越 CLIP 和 SigLIP 基线模型。 代码、数据集及权重已公开,为地球系统多模态表征学习提供基础。
音频大语言模型在长链推理中常因标准 RL 方法忽视非文本模态依赖,导致晚期模态崩塌及幻觉。 研究人员提出模态感知策略优化(MAPO),一种双分支强化学习框架,通过模态相关性掩码动态聚焦关键 token,并引入辅助注意力损失以维持对源模态的关注。 MAPO 在复杂音频推理基准测试中显著提升了长程推理保真度,在开源权重模型中表现极具竞争力。
针对差分隐私持续学习中的遗忘问题,研究提出 DP-SPA 方法,通过构建稳定与可塑子空间消除双线性噪声交互。 DP-SPA 固定子空间基底,仅对 LoRA 因子进行隐私优化,并在合并前基于更新能量重标定系数。 在 5 个数据集、8 种设置下的实验表明,该方法提升了平均准确率并减少了遗忘。
8500万参数的关系型基础模型 RT-J 引入,仅需数百个上下文示例即可在未见数据集上进行准确预测。 模型在 RelBench 上平均比强特征工程流水线少用 10 倍示例,预训练采用多达 8,192 个数据库单元格的长上下文,并基于 639 个数据库组成的 Join 数据集。该工作推进了关系型数据上下文高效预测的前沿,凸显真实世界语义与大规模预训练的重要性。
提出仅每次更新需单次后验采样的 Fenchel-Bregman 方法,训练求解器参数的后验分布以提升多候选覆盖率。 该算法 FBI 结合精确 Fenchel 重构与闭式 Bregman 更新,在匹配对比中以直接蒙特卡洛基线 12.3% 的单次更新训练时间达到相当的 Pass@10 表现。
LEAF 方法在 LLM 推理中实现约 4 倍探索加速,较最强基线模型提升准确率 1.59 和 1.83 个百分点。 该方法注入动态问题特定记忆至上下文,并通过自蒸馏更新策略,在四个基准测试中表现优于随机采样基线。 研究结果表明,LEAF 在提升探索效率的同时显著降低了计算资源消耗。
summary_zh: 研究团队提出 CoCA 方法,解决传统评分标准强化学习中结构化监督未被充分利用的问题。 该方法将评分标准信息重构为信用分配的提示,基于准则引发的分布变化在 token 层面分配信用。
研究团队提出 ReasonXL 语料库,包含 5 种欧洲语言超 250 万条对齐样本及 110 亿 token,旨在解决 LLM 非英语推理缺失问题。 通过监督微调 (SFT) 与可验证奖励的强化学习 (RLVR) 两阶段管线,模型可在目标语言中完成推理,两种语言性能匹配或超过英语基线。 该成果实现了跨领域推理轨迹的直接监督,提升了多语言场景下的模型推理能力。
研究者提出针对量化预训练的混合精度扩展定律,明确区分量化对模型容量与优化效率的影响。 该定律在现有4位配方分解与Qwen3实验验证下,预测误差比现有定律降低11倍。 研究进一步扩展至逐层混合精度,揭示最优精度随计算预算增加而提升的规律。
summary_zh: 研究人员提出 FedLoRD,这是一种利用全局与个性化模型参数差异低秩特性的个性化联邦学习方法。该方法在每层差异上引入核范数正则化,并通过分解表示使普通随机梯度下降能够高效求解。
论文提出使用 Hilbert 距离作为度量,以约束 Softmax 输出分布的变化并限制交叉熵损失变动。该方法将 RowNorm 与 Compositional Muon 统一在相同的数学框架下,分别对应 LM head 与注意力机制的最速下降求解。这为在 Softmax 模块中设计优化器提供了新的指导原则。
CÆNL 结合动态坍缩正则化(DCR)优化主动学习表示,在 ImageNet-100 上 60% 标注时优于纯熵方法 1.742-1.834 个百分点。 ResNet-50 准确率达 73.420%,增益通过 Holm 校正检验;谱研究证实几何正则化任务依赖性强。
该论文提出基于互信息的Max(MI(S;t))启发式方法,优化自回归大语言模型的目标词序,超越了默认的下一词预测(NTP)。 在算术推理、多标签分类等任务中,该方法在不改变模型架构的前提下,提升了GPT-style及Llama/Qwen模型的性能。 其效果优于逆序、TF-IDF等基线,证明了目标词序作为训练设计选择的重要性。
本研究评估了六种文本模型和图神经网络在利用预定义社会噪声结构缓解虚假信息方面的性能,使用2024年3月至2025年3月间50万条相关推文数据集,高级机器学习模型准确率在79.94%至97.17%之间,其中RoBERTa表现最优,准确率达97.17%。
TADrop是一种即插即用的数据无关稀疏化方法,通过量级分布独立确定张量保留率以优化模型合并。在LLM和LoRA合并基准测试中,该方法在RoBERTa GLUE上较EMR-Merging提升4.99分。多任务ViT-B/16合并性能随任务数增加显著提升,30任务时提升达2.26分。
RCR通过角色条件化相关性评分和token预算控制,在多智能体LLM系统中分配相关共享记忆。 该方法在ALFWorld等基准测试中平均降低35%的token使用量和38%的运行时,同时保持或提升任务性能。
研究提出引导式动态稀疏训练(guided DST),将修剪偏向非功能边缘、再生偏向功能一致候选,以在极端稀疏下保持网络连通性。 在 99.9% 稀疏度下,该方法在 CIFAR-100 上较未引导 DST 最高恢复 14.4 点准确率,且在 MLP-Mixer 于 99.99% 稀疏度下仍可训练,而未引导随机再生则性能急剧下降。 实现代码已公开,将极端稀疏训练重新定义为保持连通性的动力学过程。
研究团队提出 MFG 强化学习框架,利用多轮反馈指导 LLM 进行分子优化。该框架在 GeLLM³O 上实现 81.50% 平均相似度约束成功率。相比基础模型 70.81% 的得分,MFG 显著提升了迭代优化性能。
在100个合成患者档案中,开源权重LLM在个性化处方任务上的总体适用性准确率(0.810-0.850)匹敌或超越专有模型基线(0.780)。 引入RAG后所有模型均有提升,但排名差距缩小至0.04;双评分者主观评估发现,检索虽提升准确率,却降低了部分模型的五个维度评分。 研究强调在医疗场景中部署先进LLM和AIFM需重视伦理风险及透明化原则。
研究通过自动翻译英文用户生成内容,探索 LLM 在希腊语抑郁症严重度识别中的应用。 结果显示 GPT-3.5-turbo 在英语任务中表现不佳,在希腊语中表现亦不稳定。这凸显了在低资源语言中开展进一步研究,并保留人类监督以避免误诊的必要性。
G-Scion 框架将优化器几何分配转化为可测量的层级决策问题,在 31M GPT-2 和 ViT-B/16 实验中验证了动态路由优于固定策略。 该方案通过有限批次比值和下界确定条件期望下降,引入局部方向二次得分控制层级路由。在受控实验中,方向曲率匹配在所有七种聚合设置中准确预测了几何选择。 这些结果表明优化器几何无需按层类型硬编码,为理解分配机制提供了基础。
SRO 通过任务自适应配方空间实现 LLM 自动后训练,在联合评测中显著优于最强基线。 在 Qwen3-1.7B 与 GPT-5.4 组合中,SRO 得分 41.1,基线仅为 15.4;Qwen3-4B 与 DeepSeek-V4-Flash 组合中,SRO 得分 53.8,基线为 40.8。 SRO 代码已开源。
提出利用归一化互信息(NMI)测试有限离散设定下的习得等变性。 使用中心核对齐(CKA)扩展至高维激活,并在正交特征变换下提供精确保证。 实验显示数据增强通常提高了变换一致性,无需恢复隐藏变换规则即可直接探测表征中的等变性。
LLM-to-Flow Distillation (LFD) 将冻结 LLM 作为自适应教师,通过迭代 DPO 蒸馏指导域特定生成器,实现对齐自然语言科学发现目标。 该方法无需显式代理奖励,通过 LLM 构建子目标课程并评判候选样本,提供密集学习信号以引导生成器探索分布外区域。 实验在治疗性肽和 Small-molecule 结构设计中验证了 LFD 能对科学发现任务实现生成控制。
LoOPSD 提出通过搜索同一模型的层执行顺序来构建更强的教师模型,并蒸馏其优势给学生,无需改变模型权重。 在数学和逻辑推理任务中,该方法显著提升了模型表现。在 GSM8K 上(400-token 思考预算),Qwen3-1.7B 的准确率从 42.30% 提升至 79.61%,多轮蒸馏带来持续增益。 研究展示了将模型额外计算转化为能力提升的新路径,拓展了自蒸馏的监督来源。
TabGift 提出了一种上下文高效的表格基础模型,能从极少样本中完成分布推断与生成。 采用预训练表格编码器映射至共享潜空间,结合上下文扩散模型与轻量 MLP 解码器实现生成。在 7 个分类和 11 个回归数据集上,TabGift 生成质量优于基线,且适配速度显著加快。
论文提出 AReaL-RSI 框架,在不更新基础 LLM 权重的前提下组织多智能体研究团队以进行递归自我改进。在 GPU 内核优化任务上,该框架使平均 KernelBench 加速提升 32.2%-36.8%,Terminal Bench 性能提升 2.2 个百分点。
首个 LLM Agent 记忆遗忘基准 Bemula 发布,现有六大主流记忆系统在全部测试中,端到端处理遗忘请求的成功率均低于 1.5%,绝大多数甚至完全失败。 该基准包含 50 个多轮对话、135 条遗忘请求及 1,742 道测试题,验证发现系统要么无法删除指定信息,要么误删了无关记忆。 这表明 Agent 的记忆系统设计仍面临重大挑战,相关数据与代码已开源。
DeltaTTG 提出使用 Token-to-Go 作为可观测的剩余工作量代理,以低成本监督信号改善多轮智能体的强化学习训练。
PaceReasoner 是一种无标签测试时强化学习框架,利用模型长响应提升短模式准确率。 在 3 个模型骨干和 4 个基准上,平均短准确率提升 7.4-13.5 个百分点,且平均推理 token 少于 25。
ECG-RSI 框架结合验证波形合成与反馈指导干预搜索,在七个基准测试中提升模型性能。 经过三轮迭代,Qwen3.5-35B-A3B 的平均问答准确率从 34.57% 提升至 56.04%,平均分类 F1 从 24.27 提升至 34.03。 结果表明,随着反馈校正的持续,外部增益呈现递减趋势,需进一步验证其在独立基准上的迁移效果。
针对世界价值观调查数据中的敏感信息风险,研究提出结合随机响应、指数机制和 DP-SGD 的差分隐私流水线。 实验表明,标签级隐私机制性能优于梯度级方法,且预处理中的聚合函数对隐私保护有显著贡献。 该细粒度隐私比较框架为具备形式化隐私保障的大语言模型对齐提供了探索方向。
IND-Eval 是评估工业时间序列基础模型的公开基准,在 TimesFM-3 上取得最低 nMASE 和 nCRPS。 该基准强调更细的采样分辨率及多变量预测。TimesFM-3 在九项来源中的七项指标领先。 结果表明领域代表性评估可指导模型选择及模拟数据构建,揭示专业化与通用性间的权衡。
提出 MedEvo 方法,利用医学知识导航轨迹修复与数据选择,仅通过 SFT 将 Qwen3.5-9B 在七个基准上的平均准确率从 65.57% 提升至 69.12%。