跳到正文
10月14日周三
  1. arXiv · ML20

    PerturbEnergy:基于条件能量先验的细胞扰动响应预测方法

    PerturbEnergy 提出一种条件能量先验方法,用于捕捉被细胞复杂性掩盖的扰动特异性信号,以加速药物发现。 该方法将能量分布倾斜至扰动偏好区域,并可集成进自编码器架构,证明优化其 ELBO 能增加表征与扰动间条件互信息的下界。 在四个基准数据集上,其扰动识别准确率最高提升 83.2%,并在差异表达基因(DEG)预测中达到最先进(SOTA)性能。

  2. arXiv · NLP28

    Activation Steering with Jungian Cognitive Functions

    提出一种基于荣格八种认知功能的 target-first 框架,并构建 NarrationDB 数据集。 该数据集将角色自我叙述与自动评估的联合分数相关联,在三个模型上验证了问卷分数的可控性及双功能目标的协调变化。 结果表明,直接提取的联合方向比无关配对更接近其个体方向,但保留有显著的残差分量。

  3. arXiv · NLP38

    ReGrad 提出可检索梯度实现持续后训练,避免累积权重漂移

    ReGrad 提出“可检索梯度”范式,将梯度作为知识单元离线预计算并存储于 Gradient Bank,推理时仅检索相关梯度进行临时权重适应,避免累积权重漂移。 方法引入双层元学习目标重塑文档梯度,使其转化为可泛化的下游任务适应信号,在通用与领域特定场景下均优于持续预训练(CPT)和 RAG 基线。 该范式实现了可扩展且可逆的参数化知识注入,有助于缓解灾难性遗忘。

  4. arXiv · NLP33

    MAPO 缓解音频推理中的晚期模态崩塌

    音频大语言模型在长链推理中常因标准 RL 方法忽视非文本模态依赖,导致晚期模态崩塌及幻觉。 研究人员提出模态感知策略优化(MAPO),一种双分支强化学习框架,通过模态相关性掩码动态聚焦关键 token,并引入辅助注意力损失以维持对源模态的关注。 MAPO 在复杂音频推理基准测试中显著提升了长程推理保真度,在开源权重模型中表现极具竞争力。

  5. arXiv · ML35

    DP-SPA:用于差分隐私持续 LoRA 的稳定-可塑子空间构建方法

    针对差分隐私持续学习中的遗忘问题,研究提出 DP-SPA 方法,通过构建稳定与可塑子空间消除双线性噪声交互。 DP-SPA 固定子空间基底,仅对 LoRA 因子进行隐私优化,并在合并前基于更新能量重标定系数。 在 5 个数据集、8 种设置下的实验表明,该方法提升了平均准确率并减少了遗忘。

  6. arXiv · ML30

    RT-J:面向上下文高效预测的大规模关系型 Transformer 预训练

    8500万参数的关系型基础模型 RT-J 引入,仅需数百个上下文示例即可在未见数据集上进行准确预测。 模型在 RelBench 上平均比强特征工程流水线少用 10 倍示例,预训练采用多达 8,192 个数据库单元格的长上下文,并基于 639 个数据库组成的 Join 数据集。该工作推进了关系型数据上下文高效预测的前沿,凸显真实世界语义与大规模预训练的重要性。

  7. arXiv · ML32

    LEAF:通过上下文内探索与自蒸馏提升 LLM 推理效率

    LEAF 方法在 LLM 推理中实现约 4 倍探索加速,较最强基线模型提升准确率 1.59 和 1.83 个百分点。 该方法注入动态问题特定记忆至上下文,并通过自蒸馏更新策略,在四个基准测试中表现优于随机采样基线。 研究结果表明,LEAF 在提升探索效率的同时显著降低了计算资源消耗。

  8. arXiv · NLP27

    ReasonXL:面向 LLM 语言特异性推理的大规模语料库

    研究团队提出 ReasonXL 语料库,包含 5 种欧洲语言超 250 万条对齐样本及 110 亿 token,旨在解决 LLM 非英语推理缺失问题。 通过监督微调 (SFT) 与可验证奖励的强化学习 (RLVR) 两阶段管线,模型可在目标语言中完成推理,两种语言性能匹配或超过英语基线。 该成果实现了跨领域推理轨迹的直接监督,提升了多语言场景下的模型推理能力。

  9. arXiv · ML36

    混合精度量化预训练扩展定律

    研究者提出针对量化预训练的混合精度扩展定律,明确区分量化对模型容量与优化效率的影响。 该定律在现有4位配方分解与Qwen3实验验证下,预测误差比现有定律降低11倍。 研究进一步扩展至逐层混合精度,揭示最优精度随计算预算增加而提升的规律。

  10. arXiv · NLP27

    训练LLM超越下一词预测:填补互信息缺口

    该论文提出基于互信息的Max(MI(S;t))启发式方法,优化自回归大语言模型的目标词序,超越了默认的下一词预测(NTP)。 在算术推理、多标签分类等任务中,该方法在不改变模型架构的前提下,提升了GPT-style及Llama/Qwen模型的性能。 其效果优于逆序、TF-IDF等基线,证明了目标词序作为训练设计选择的重要性。

  11. arXiv · ML23

    极端稀疏训练中的功能可达性与引导拓扑动力学

    研究提出引导式动态稀疏训练(guided DST),将修剪偏向非功能边缘、再生偏向功能一致候选,以在极端稀疏下保持网络连通性。 在 99.9% 稀疏度下,该方法在 CIFAR-100 上较未引导 DST 最高恢复 14.4 点准确率,且在 MLP-Mixer 于 99.99% 稀疏度下仍可训练,而未引导随机再生则性能急剧下降。 实现代码已公开,将极端稀疏训练重新定义为保持连通性的动力学过程。

  12. arXiv · NLP28

    医疗领域开源基础模型综述:生成式AI驱动个性化处方的挑战与机遇

    在100个合成患者档案中,开源权重LLM在个性化处方任务上的总体适用性准确率(0.810-0.850)匹敌或超越专有模型基线(0.780)。 引入RAG后所有模型均有提升,但排名差距缩小至0.04;双评分者主观评估发现,检索虽提升准确率,却降低了部分模型的五个维度评分。 研究强调在医疗场景中部署先进LLM和AIFM需重视伦理风险及透明化原则。

  13. arXiv · ML30

    G-Scion 提出可测量的层级式符号-谱优化器分配方案

    G-Scion 框架将优化器几何分配转化为可测量的层级决策问题,在 31M GPT-2 和 ViT-B/16 实验中验证了动态路由优于固定策略。 该方案通过有限批次比值和下界确定条件期望下降,引入局部方向二次得分控制层级路由。在受控实验中,方向曲率匹配在所有七种聚合设置中准确预测了几何选择。 这些结果表明优化器几何无需按层类型硬编码,为理解分配机制提供了基础。

  14. arXiv · ML23

    衡量习得等变性:一种信息论方法

    提出利用归一化互信息(NMI)测试有限离散设定下的习得等变性。 使用中心核对齐(CKA)扩展至高维激活,并在正交特征变换下提供精确保证。 实验显示数据增强通常提高了变换一致性,无需恢复隐藏变换规则即可直接探测表征中的等变性。

  15. arXiv · ML35

    LLM-to-Flow Distillation:将自然语言目标教授给科学生成器

    LLM-to-Flow Distillation (LFD) 将冻结 LLM 作为自适应教师,通过迭代 DPO 蒸馏指导域特定生成器,实现对齐自然语言科学发现目标。 该方法无需显式代理奖励,通过 LLM 构建子目标课程并评判候选样本,提供密集学习信号以引导生成器探索分布外区域。 实验在治疗性肽和 Small-molecule 结构设计中验证了 LFD 能对科学发现任务实现生成控制。

  16. arXiv · NLP45

    LoOPSD:通过循环教师进行在线策略自蒸馏

    LoOPSD 提出通过搜索同一模型的层执行顺序来构建更强的教师模型,并蒸馏其优势给学生,无需改变模型权重。 在数学和逻辑推理任务中,该方法显著提升了模型表现。在 GSM8K 上(400-token 思考预算),Qwen3-1.7B 的准确率从 42.30% 提升至 79.61%,多轮蒸馏带来持续增益。 研究展示了将模型额外计算转化为能力提升的新路径,拓展了自蒸馏的监督来源。

  17. arXiv · AI35

    首个记忆遗忘基准 Bemula 发布:现有 LLM Agent 无法实现用户请求的精准遗忘

    首个 LLM Agent 记忆遗忘基准 Bemula 发布,现有六大主流记忆系统在全部测试中,端到端处理遗忘请求的成功率均低于 1.5%,绝大多数甚至完全失败。 该基准包含 50 个多轮对话、135 条遗忘请求及 1,742 道测试题,验证发现系统要么无法删除指定信息,要么误删了无关记忆。 这表明 Agent 的记忆系统设计仍面临重大挑战,相关数据与代码已开源。

  18. arXiv · AI21

    ECG-RSI:通过目标心电图波形演进的递归自我改进

    ECG-RSI 框架结合验证波形合成与反馈指导干预搜索,在七个基准测试中提升模型性能。 经过三轮迭代,Qwen3.5-35B-A3B 的平均问答准确率从 34.57% 提升至 56.04%,平均分类 F1 从 24.27 提升至 34.03。 结果表明,随着反馈校正的持续,外部增益呈现递减趋势,需进一步验证其在独立基准上的迁移效果。

  19. arXiv · NLP28

    基于调查衍生数据的差分隐私偏好对齐研究

    针对世界价值观调查数据中的敏感信息风险,研究提出结合随机响应、指数机制和 DP-SGD 的差分隐私流水线。 实验表明,标签级隐私机制性能优于梯度级方法,且预处理中的聚合函数对隐私保护有显著贡献。 该细粒度隐私比较框架为具备形式化隐私保障的大语言模型对齐提供了探索方向。

  20. arXiv · ML23

    IND-Eval: 工业时间序列基础模型对齐评估与仿真

    IND-Eval 是评估工业时间序列基础模型的公开基准,在 TimesFM-3 上取得最低 nMASE 和 nCRPS。 该基准强调更细的采样分辨率及多变量预测。TimesFM-3 在九项来源中的七项指标领先。 结果表明领域代表性评估可指导模型选择及模拟数据构建,揭示专业化与通用性间的权衡。