LLM-to-Flow Distillation:将自然语言目标教授给科学生成器
LLM-to-Flow Distillation (LFD) 将冻结 LLM 作为自适应教师,通过迭代 DPO 蒸馏指导域特定生成器,实现对齐自然语言科学发现目标。 该方法无需显式代理奖励,通过 LLM 构建子目标课程并评判候选样本,提供密集学习信号以引导生成器探索分布外区域。 实验在治疗性肽和 Small-molecule 结构设计中验证了 LFD 能对科学发现任务实现生成控制。
LLM-to-Flow Distillation (LFD) 将冻结 LLM 作为自适应教师,通过迭代 DPO 蒸馏指导域特定生成器,实现对齐自然语言科学发现目标。 该方法无需显式代理奖励,通过 LLM 构建子目标课程并评判候选样本,提供密集学习信号以引导生成器探索分布外区域。 实验在治疗性肽和 Small-molecule 结构设计中验证了 LFD 能对科学发现任务实现生成控制。
LoOPSD 提出通过搜索同一模型的层执行顺序来构建更强的教师模型,并蒸馏其优势给学生,无需改变模型权重。 在数学和逻辑推理任务中,该方法显著提升了模型表现。在 GSM8K 上(400-token 思考预算),Qwen3-1.7B 的准确率从 42.30% 提升至 79.61%,多轮蒸馏带来持续增益。 研究展示了将模型额外计算转化为能力提升的新路径,拓展了自蒸馏的监督来源。
TabGift 提出了一种上下文高效的表格基础模型,能从极少样本中完成分布推断与生成。 采用预训练表格编码器映射至共享潜空间,结合上下文扩散模型与轻量 MLP 解码器实现生成。在 7 个分类和 11 个回归数据集上,TabGift 生成质量优于基线,且适配速度显著加快。
论文提出 AReaL-RSI 框架,在不更新基础 LLM 权重的前提下组织多智能体研究团队以进行递归自我改进。在 GPU 内核优化任务上,该框架使平均 KernelBench 加速提升 32.2%-36.8%,Terminal Bench 性能提升 2.2 个百分点。
首个 LLM Agent 记忆遗忘基准 Bemula 发布,现有六大主流记忆系统在全部测试中,端到端处理遗忘请求的成功率均低于 1.5%,绝大多数甚至完全失败。 该基准包含 50 个多轮对话、135 条遗忘请求及 1,742 道测试题,验证发现系统要么无法删除指定信息,要么误删了无关记忆。 这表明 Agent 的记忆系统设计仍面临重大挑战,相关数据与代码已开源。
DeltaTTG 提出使用 Token-to-Go 作为可观测的剩余工作量代理,以低成本监督信号改善多轮智能体的强化学习训练。
PaceReasoner 是一种无标签测试时强化学习框架,利用模型长响应提升短模式准确率。 在 3 个模型骨干和 4 个基准上,平均短准确率提升 7.4-13.5 个百分点,且平均推理 token 少于 25。
ECG-RSI 框架结合验证波形合成与反馈指导干预搜索,在七个基准测试中提升模型性能。 经过三轮迭代,Qwen3.5-35B-A3B 的平均问答准确率从 34.57% 提升至 56.04%,平均分类 F1 从 24.27 提升至 34.03。 结果表明,随着反馈校正的持续,外部增益呈现递减趋势,需进一步验证其在独立基准上的迁移效果。
针对世界价值观调查数据中的敏感信息风险,研究提出结合随机响应、指数机制和 DP-SGD 的差分隐私流水线。 实验表明,标签级隐私机制性能优于梯度级方法,且预处理中的聚合函数对隐私保护有显著贡献。 该细粒度隐私比较框架为具备形式化隐私保障的大语言模型对齐提供了探索方向。
IND-Eval 是评估工业时间序列基础模型的公开基准,在 TimesFM-3 上取得最低 nMASE 和 nCRPS。 该基准强调更细的采样分辨率及多变量预测。TimesFM-3 在九项来源中的七项指标领先。 结果表明领域代表性评估可指导模型选择及模拟数据构建,揭示专业化与通用性间的权衡。
提出 MedEvo 方法,利用医学知识导航轨迹修复与数据选择,仅通过 SFT 将 Qwen3.5-9B 在七个基准上的平均准确率从 65.57% 提升至 69.12%。
提出统一多模态信号协调(UMSH)框架,集成异构 EEG 与 iEEG 信号实现癫痫分类。 框架利用条件生成对抗网络(cGAN)进行数据增强以解决类别不平衡,采用 EEGNet-ViT 作为特征提取网络,有效兼顾局部与全局特征学习。
研究显示 LLM 生成的假设比人类论文离现有工作远达 16%,但正交新颖度得分低 15-23%。 分析基于 2690 万篇人类论文与 52.4 万个假设,证实 LLM 在既定方向内扩展而非开辟新路径。
StructZO 提出结构化零阶优化框架,在激活诱导子空间中进行大查询估计并应用谱控制,显著缩小零阶与一阶优化器的性能差距。 理论证明有效估计维度从 $mn$ 降至 $mr$,投影误差由激活 Gram 矩阵谱尾决定。 在 OPT 系列和 Llama3.1-8B 上,StructZO 平均比最强零阶基线提升 8.7%,个体任务最高提升 26.9%,平均结果距一阶 Adam 仅 1.5%。
研究提出重复捉迷藏基准与诊断框架,利用递归信念更新区分适应性游玩与信念追踪。 在Qwen2.5-7B-Instruct与GPT-5.4测试中,提供对手真实信念显著提升行动预测准确率,而模型自主推断信念表现受限。 该框架揭示了利用信念信息比自主推断信念更易,为评估大语言模型心理能力提供新标准。
研究团队提出 PACT 方法,解决了扩散语言模型在强化学习后训练中的“轨迹盲目性”问题,该模型在 LLaDA-8B-Instruct 上的 GSM8K 基准提升 9.9 分,MATH500 提升 12.0 分。 PACT 通过联合学习策略与标量势函数,实现无需序列似然估计或重要性比率裁剪,在 GSM8K 任务上以 AGRPO 约一半的训练算力达到其最佳准确率。
论文提出 Reflected Proximal Dynamics 框架,结合 Proximal 采样与精确反射,用于 Log-Concave 分布采样。 结合 Warm Start 时,达到总变差误差 ε 仅需 O~(√κ d^{1/4}) 次 Oracle 查询。 移除 Warm Start 假设后,查询复杂度降至 O~(κ^{6/7} d^{1/4}),显著提升采样效率。
研究人员将跨模拟流体系统预训练的 Walrus 基础模型微调至仅 12 个野生型果蝇胚胎视频,并在未见过的温度和基因扰动条件下实现零样本预测。 模型在严重分布偏移下表现最佳,成功捕捉到 17°C 与 27°C 间组织速度轨迹差异及原条延伸起始时间点。 研究初步支持物理基础模型作为低数据量下模拟形态发生的互补工具。
WildTrace 基准在 SFT、DPO 和 RL 后训练阶段中,最佳训练数据检测方法的平均 AUC 仅为 0.529,接近随机猜测的 0.5 水平。 该基准构建了匹配分布的评测集,并证实评测协议对检测性能有显著影响。 这些结果表明在真实场景下开发有效、鲁棒的检测方法具有巨大潜力。
在 NVIDIA L40 上实现最高 6.29 倍训练加速与 81.3% 峰值显存降低,iPhone 13 Pro Max 测试达 2.78 倍加速。 该方法无需专用稀疏内核,降低 DST 训练对特殊硬件支持的依赖。
研究发现 SFT 在 Qwen3-1.7B 激活几何中留下可复现签名,位移超 17.8 个标准差,Llama-3.1-8B 亦复现。 SFT 与 DPO 在不同训练步数下占据不相交的位移范围,间隙为各自离散度的 5.0 至 5.6 倍。
该方法通过余弦相似度特征筛选测试问题,实现高效测试时强化学习,代码已公开。 其定义了COS指标,将模型响应表示与正确性方向比对,以区分问题难度。 跨基准实验表明,该方法能大幅降低测试时计算量,同时维持或提升性能。
提出点式评分标准奖励模型 ReVeR,通过仅推理指令推导硬规则,利用工具增强评判独立评估响应。 模型经标签盲蒸馏训练,生成大规模 ReVeR-Traces 数据集,实验显示其在偏好准确性上优于成对评判方法。 研究发现生成器强化学习提高偏好准确性的同时降低评分标准保真度,且偏好准确性不必然转化为更优下游策略。
研究揭示在计算充足但数据有限场景下,重复预训练的算力前沿取决于此前孤立研究的选择。联合优化批量大小与训练轮次发现 U 型验证损失关系,小批量因梯度噪声提供隐式正则化而优于典型设置。
LVRL 利用 LLM 预训练知识估计策略感知状态价值,实现步骤级信用分配,无需微调独立 critic。 在 AppWorld、BabyAI 和 SWE-bench Verified 基准测试中,LVRL 显著优于 GRPO 和 PPO,在 AppWorld 上绝对提升达 13.6 个百分点。 该方法有效解决了长时程稀疏奖励任务中的信用分配难题,提升了智能体在复杂环境下的决策鲁棒性。
团队在约500亿token数据上从头训练了2.5B参数模型Agaram 2.5B,该泰米尔-英语混合模型支持工具调用且权重已开源。模型使用单节点8张H100 GPU训练约6天,其在泰米尔语翻译和指令遵循上显著优于Sarvam-1,但知识类基准测试表现接近随机水平。
研究人员评估了 5 个 DNA 基础模型在 57 个分类数据集上相对于 k-mer 频率基线的预测优势。NTv3 在 46 个数据集上显著提升了平均 MCC,而 Caduceus 提升较小,其他模型未见平均改善。
在 Gated DeltaNet、GLA、Mamba2 和 RetNet 模型上,免训练低比特循环状态量化方法显著优于 INT4,相对 FP32 将状态内存减少最多 5.3 倍,解码速度提升最多 1.9 倍。
论文提出链式维度扩展(CDS),通过复用单一特征交互块参数,在不增加参数量前提下引入链长度作为新扩展维度。 在压缩模式下,CDS 使可训练参数减少 26.6%,训练吞吐量提升 6.4%,离线质量差距保持在 0.03% 以内。 效率提升主要源于降低跨设备同步开销和更新成本,验证了参数共享迭代计算作为工业系统通信高效扩展轴的价值。
TabMosaic 提出一种无需针对特定表格训练的扩散模型,将表格生成、缺失值填补及条件采样统一为建模任意目标单元格联合条件分布的问题。 该模型基于扩散去噪目标,在 48 个真实世界表格数据集上评估,在所有生成任务中均优于 20 个基线方法。
研究提出一种针对端侧小型语言模型的上下文感知精度调度方法,通过结合校准的时序模型和张量敏感度优化精度配置。 在笔记本 GPU 上测试显示,延迟预算下系统会降低权重精度以利用缓存读取时间,工具使用基准测试验证了该调度对完整响应时间和正确性的影响。
提出一种将所有张量(权重、梯度、激活)存储为INT8且所有操作均使用整数算术的训练算法。 该算法使用5个可组合的构建模块和每组速度机制,使训练内存比FP32基线小约4倍。 在ResNet、MobileNetV2和ViT等模型上验证,首次在CIFAR-10/100和ImageNet上以INT8实现具有竞争力的准确率。
VHA 通过 Q Premix 和 Linear Postmix 两个线性操作,同时降低 KV 缓存、训练与 prefill FLOPs,并保持模型质量优于 GQA。
SARATHI 提出解耦神经元选择与权重重构的结构化 LLM 剪枝框架,消除域偏置与高稀疏度下的内存溢出。 NMF Residual Subspace Probe 利用权重几何无数据评分,Adaptive OBS 以 O(d^2) 内存完成重构,Bias Shift Compensation 修正激活漂移。
基于2019至2025年瑞士官方投票手册,构建了包含53项联邦议题的Swiss4Arg多语种平行数据集。该资源覆盖德语、法语、意大利语和罗曼什语四种国家语言,由每种语言的三名母语者标注,并提供了GPT-5.4与SwissBERT的基线结果。 该数据集为多语种论辩挖掘与低资源场景下的跨语言可比性研究提供了新基准,标注与代码已公开发布。
GA-SVD 提出一种生成感知的低秩压缩框架,用于在压缩大语言模型时保留生成任务性能。 该框架包含生成感知权重白化(GAWW)和进化全局秩分配策略,在 Mistral-7B、Qwen3 系列及 Llama-3.3 模型上均优于现有 SVD 基线,并扩展至 70B 参数模型。
CodeWalk 提出通过组合现有原子问题零成本生成新编程基准,无需大语言模型生成或验证。该方法应用于多 bug 修复、证明补全、复杂度分析和克隆等价四类任务,发现前沿模型性能随组合深度增加而下降。对 Qwen3.5-9B 进行拒绝采样微调可提升其在所有组合层级的表现。
论文提出 ZOIF 框架,通过纯前向传播实现 LLM 数据选择中的影响函数估计,避免使用反向传播。 该方法将计算分解为三个无 BP 阶段,利用零阶估计近似梯度并优化逆 Hessian 向量乘积,显著降低峰值内存成本,同时保持与基线相当的下游任务表现。
研究者提出异构智能体协同进化框架 HACE,通过监督学习与强化学习让专业基础模型与 LLM 智能体互促进化。 在推荐系统、蛋白质功能预测和晶体稳定性预测三个领域,HACE 的主要任务指标均优于现有自改进方法。 该结果验证了异构协同进化作为提升专业基础模型的通用路径。
研究人员提出拓扑无关的少样本预测框架 FENAS,利用核心组件 CAST 结合多元对齐与协同转换,将异构零成本代理映射至紧凑特征流形。在仅使用 0.5% 标签样本的 NAS-Bench-201 基准上,FENAS 取得 0.70 的 Kendall's Tau,优于代表性少样本预测器。