表型活性能否在无实验读数下被预测?
针对 CLOOME 和 CellCLIP 等预训练分子编码器在预测表型活性时可能存在的性能虚高问题,研究通过控制预训练数据泄露和毒性相关混淆变量进行了评估。 测试显示,在控制上述混淆变量后,预训练分子编码器相对于简单的理化描述符并无明显优势,且毒性通常比表型活性更容易被预测。 研究建议,在将表型预训练编码器用于药物发现前,应将其纳入考虑数据泄露且控制混淆变量的标准评估流程。
针对 CLOOME 和 CellCLIP 等预训练分子编码器在预测表型活性时可能存在的性能虚高问题,研究通过控制预训练数据泄露和毒性相关混淆变量进行了评估。 测试显示,在控制上述混淆变量后,预训练分子编码器相对于简单的理化描述符并无明显优势,且毒性通常比表型活性更容易被预测。 研究建议,在将表型预训练编码器用于药物发现前,应将其纳入考虑数据泄露且控制混淆变量的标准评估流程。
提出 NP-OPD,在 on-policy distillation 中加入低能力负策略 rollout 作为负参考。负策略在 rollout 阶段持续提供其偏好但弱于教师的 token,使这些 token 在全程训练中仍受教师监督。实验显示 NP-OPD 在多种模型规模、生成模式、推理领域和 OPD 变体下均优于基础 OPD。
研究发现,在在线策略自蒸馏中,特权上下文的内容选择比来源选择对策略漂移的影响更大。 使用 Qwen2.5-7B 模型进行验证,内容变化导致的 KL 散度中位数范围是来源变化的 5.1 倍,且共享内容的参数更新余弦相似度更高(0.571 vs 0.255)。 这表明应将特权上下文视为在线策略自蒸馏稳定性设计的一部分,因为它决定了策略移动的幅度和方向。
αTransfer 利用同族模型合并系数性能分布相似性,在小代理模型搜索最优系数并迁移至大模型。 在视觉 Transformer 上实现 6 倍加速、70% 内存节省,在大语言模型上实现 20 倍加速、85% 内存节省。 该方法在保持性能可比的情况下,确立了扩展模型合并的高效且具泛化性的路径。
Co-Train 和 Dual-Space Retrieval 两个框架通过结合自监督与有监督学习,显著提升了图神经网络在分布外节点分类任务中的泛化能力。 方法利用 DGI 和 GRACE 自监督目标,在训练阶段自适应融合或在推理时进行非参数检索,并在四个基准数据集上验证了优势。 实验证明自监督表示提供了互补信息,增强了模型在时间推移和跨领域分布变化下的稳健性。
TAFFY 是表格基础模型,在 6 个分类和 5 个回归基准数据集上取得最低平均排名。 模型采用上下文多样性先验和任务条件循环 Transformer,通过从受控干预和分布偏移的多环境采样增强任务自适应表示学习。 该设计使模型能从上下文对比中识别预测关系,并为各任务动态调节上下文融合。
针对 LoRA 微调小语言模型存在的梯度冲突与子空间饱和问题,提出数据中心框架 GRADE。该框架利用状态感知选择器引入对齐样本,并通过步级门控拒绝破坏性覆盖更新。在三个当前代主干模型及七数据集混合池上,GRADE 在准确性和鲁棒性上优于强基线,是唯一在每种架构上都一致优于标准 LoRA 的方法。
**summary_zh**: 研究人员提出激活去噪(activation denoising)方法,解决 LLM 量化中并行法误差累积的问题,在单次并行遍历中恢复顺序量化的大部分优势,时间成本仅为其几分之一。 该方法将上游误差建模为噪声,通过预处理与指标加权舍入施加鲁棒性正则化,形成随深度复合的光滑惩罚项以抑制误差放大,且与正交旋转的效果可叠加增强。
pass@k 协议无法检测模型输出多样性,Qwen2.5-1.5B-Instruct 后训练中该缺陷显著。 GRPO 与 RFT 训练使多样性指标反向变化,且该差异在仅保留正确样本后仍存在,排除了准确性单独解释的可能性。 pass@1 是唯一能显著区分训练组别的指标,但仅奖励正确解多样性最低的组合,突显了现有评估标准的局限性。
研究提出尺度不变训练(ScaleIn),通过在对缩放目标上计算损失解决时序基础模型训练中的尺度污染问题。 该方法在 GIFT-Eval 基准上将平均 MASE 降低 18.8%,在 M-competitions 上降低 21.9%,仅需一行代码即可实现。
2026年4月BIRS的DANGER研讨会推出三大教程,涵盖数值计算与机器学习在数学研究中的应用。 教程分别发展微分形式的外微积分数值方法、利用椭圆曲线等数学结构指导神经网络设计,以及机器学习结果的评估与呈现。每篇教程提供配套笔记本和练习,支持读者复现示例并适配其他问题。
研究团队推出 ResearchTrails 数据集,利用 Git 仓库的提交历史作为人类科研探索轨迹的代理,填补现有语料库中缺乏过程性数据的空白。 该数据集通过自动化管道从代码仓库中提取方法、实验和消融实验的序列变化,捕捉了最终论文未揭示的中间决策信号,可用于测试时检索科研经验或训练模型以提升泛化能力。
研究发现 Muon 优化器在卷积核处理上存在理论偏差,但实证效果显著。 团队提出保留核支持的 Conv-NS 方法,在 CIFAR-10 和 ImageNet 上与reshape版 Muon 精度相当。 研究揭示了实践与理论间的错位,为 Muon 在卷积中的进一步发展指明方向。
提出 macro2mind 框架,利用 GRPO 算法基于预测市场信号训练语言模型,在 SWM-Bench 上实现 Polymarket 方向准确率与相关性 SOTA。
DART-ES 通过难度感知重加权和目标重放,在五个基础模型上将平均准确率从 72.07% 提升至 73.53%,超过 GRPO 在 GSM8K 上的 73.26%。 该方法仅用前向计算实现全参数微调,无需额外难度模型或反向传播。相比 GRPO,单步运行时间减少 15.2%–50.2%,单 GPU 峰值显存降低 21.1%–51.1%。
提出一种面向高维数据的多变量无监督监测框架,在Ford Motor Company生产环境中验证。 框架采用非线性降维与控制图法进行异常检测,无需预定义阈值或深度学习模型,适应低延迟与可解释性需求。 相比现有模型,准确率从0.50提升至0.625,召回率从0.30升至1.00,F1分数从0.429提升至0.769。
引入 System-1 决策算子,以 330K 参数匹配 1.33M 参数强化学习模型,并将 3,685-token 思考压缩为 6-token 决策。 23K 参数变体在 SearchQA 任务上接近最强发布算子效果,且 57 个 LiveMath 测试点中 23 个超越基础模型最佳采样。
Amazon SageMaker HyperPod 支持多团队共享集群计算资源,其核心治理挑战在于明确权限、容量分配及问责机制。 系统通过组织、项目、集群、工作负载四层控制实现治理,支持将 HyperPod 集群连接至 SageMaker Unified Studio 项目工作区。 该模式分离了基础设施团队对集群的管理权与机器学习团队在项目上下文中的计算使用权,确保共享可见性下的访问控制有效。
GraphForge 是一个基于证据图的框架,通过合成真实文件工作区和可验证任务来训练工作智能体,其任务与评分标准均锚定于文件。 微调 Qwen3.6-27B 模型后,GDPVal 分数提升至 1445.7,Workspace-Bench-Lite 和 SpreadsheetBench II 分别达到 63.7 和 24.0。 该框架证明了图锚定评分标准能有效筛选轨迹,实现所有基准测试的性能提升。
MIST方法通过定义模型内部残差流中的必要性(necessity)和充分性(sufficiency)两个维度,统一评估思维链中每个推理Token的重要性,从而指导压缩策略。 该方法在4个推理基准和4个模型上持续优于基线方法,证明模型内部显著性可作为推理Token重要性的有效代理指标,有助于降低长推理带来的推理成本。
AVOC 提出了一种面向小时级音视频理解的全模态 LLM 框架,通过在模态编码器与 LLM 骨干之间引入可学习的 Token 压缩模块,将多模态压缩重构为 Top-K 检索问题。
基于人教版教材构建 K12-KGraph 图谱,包含 9 种节点与 14 种关系,并衍生出 23,640 题的 K12-Bench 及 7,335 样本的 K12-Train 语料。
论文提出一种高效蒸馏配方,可将现有的 token 训练 LLM 转换为 BLM,且保留可比能力。 该方法采用两阶段课程:先通过渐进知识蒸馏对齐字节级表示,再进行字节级微调,仅用约 125B 字节即可在 Llama、Qwen、OLMo 等模型族上保持教师模型的大部分性能。
研究识别出BOS汇聚现象是大语言模型深层注意力头功能冗余的关键机制,提出基于高BOS汇聚分数的剪枝策略。在Gemma-3、Llama-3.1和Qwen3上,该方法在低至中度剪枝率下保留下游任务性能接近稠密基线,优于基于权重和激活的准则。
LoGRA 通过低秩梯度草图降低大语言模型强化学习的内存需求,在推理任务中将平均训练内存减少最多 45.7% 且不牺牲性能。该方法结合预测 KL 步长控制防止更新过大,支持 27B 参数模型在单节点八 GPU 上稳定训练超过 1,100 步,代码已在 Molt 库开源。
研究通过控制代码切换位置与动态切换率,验证了合成代码切换数据在词系相近语言中提升跨语言对齐的有效性。 实验覆盖两个词系截然不同的语言对,结果表明该方法能改善跨语言对齐表现。 研究发表于EMNLP 2026 BabyLM Challenge。
研究证明基于字节序列的Transformer在模型规模扩展时性能持续超越子词模型,并自发构建局部文本抽象。 通过叠加训练与哈希嵌入实现优势,将25%中间层限制在局部表征可维持下游性能;利用不确定性边界进行推测解码,使接受token数提升3.4倍。
研究人员提出 Hybrid Linear Attention (HLA),一种应用于 Gated DeltaNet 的查询依赖块级注意力机制。该机制通过计算内容相关的路由门,对历史状态进行动态插值,并采用有效支撑正则化以促进稀疏推理。
Un-OPD 框架提出无偏在策略蒸馏方法,解决块扩散语言模型中因边界错位和内禀优化偏差导致的训练不稳定问题。 该框架引入边界感知步骤过滤策略消除上下文错位解码步,并通过支持再平衡置信度校准缓解过度自信崩溃。 实验表明 Un-OPD 在数学推理和代码生成基准上性能优越,且将训练时间缩短约一半。
引入 Belief-Trajectory Energy(BTE)度量 LLM 逐层预测修正轨迹。BTE 提供标量或深度分布信号,理论对应 Fisher-Rao 几何下的预测修正。实证显示 BTE 在推理任务中提供难度信号,支持人-LLM 审核检测,八向生成器归因准确率 95.6%,macro-AUROC 高达 0.998。
语言模型隐藏状态中的答案正确性可恢复为几何方向。基于 50 个标注样本在约 70% 模型深度计算的平均位移方向,在 ARC-Challenge 和 MMLU 事实基准上比零样本对数概率评分高至多 32.0 个百分点,在 TruthfulQA 上高 38.1 至 51.8 个百分点。
该研究针对大语言模型(LLM)将用户后续注释误并入粘贴文本的现象(吸收),引入了包含 300 个编辑示例的 SEAM 受控基准。 在 20 个模型中,仅用换行符分隔时吸收率高达 7.7% 至 66.7%,添加空行无显著改善,而 19 个模型在添加边界标记后吸收率下降,17 个模型对代码注释等贴合文本吸收更严重。 实验表明明确边界虽能降低但无法消除这一失败模式。
IdeaScientist将研究构思分解为间隙查找、创新和报告写作三个角色,并利用强化学习训练,以Qwen3.6-27B为基座模型。 构建包含277万条分解研究想法的Svalbard Idea Vault语料库用于检索,在限制文献访问截止日期的评估中,该模型比最强开源基线高出14.0%,并超越Claude-4.8-Opus和GPT-5.4。
CineMR 是一个工具增强的视觉语言模型,通过调用心脏图像分析工具并整合其输出进行交错推理,实现定量 CMR 评估,在多队列 cine CMR 基准上达到 35.9% pass@1 和 58.9% pass@4。
RelationVGGT 提出前馈式、无需相机位姿的 3D 空间关系分割框架,给定视觉指定的主体和关系文本查询,即可跨视图分割目标,且不接收其类别名称。 该框架融合视觉基础模型的语义特征与 3D 几何基础模型的几何感知表示,并用关系 Transformer 做主体条件化的跨视图关系预测,无需逐场景优化。
研究用 Values Survey Module 2013 的 24 道题审计决策型模型 TypeSafe JEV 的文化价值观,以沙特与美国配对及无人设方式、英语和阿拉伯语、8 种请求表述共获得 288,000 个答案。
TraceVIC 通过时序图推理代码演化来识别和排序漏洞引入提交(VIC),F2 较 SOTA 方法最高提升 28.7%,在四个未见过的 C/C++ 项目中为 79 个漏洞中的 78 个找到有效 VIC。
TRACE 是一个训练时报告引导框架,利用结构化放射报告作为特权概念监督,在测试时仅凭图像即可完成乳腺超声诊断,并引入 SCMT 与编辑蒸馏训练图像自编辑器。 该方法在恶性感知的有序概念空间内通过教师引导编辑机制精炼图像概念,同时提出概念增强基准 BUSC,关联图像、标签与结构化属性。 实验显示 TRACE 在多个数据集上性能更优,跨域鲁棒性提升,已被 ACM MM 2026 接收。
一篇综述统计,计算化学领域的智能体系统从 2024 年的 4 个增至 2025 年的 17 个,目前已超过 60 个,委托给它们的任务正从单次计算扩展到完整的计算机实验乃至论文写作。
研究对三个冻结的 3-D 脑 MRI 模型在五个深度、两个独立多站点队列(ABIDE-I 和 ABIDE-II)上做探针,扫描采集站点可被预测到约 0.9,而没有任何临床或人口统计学目标接近这一水平。