跳到正文
10月14日周三
  1. arXiv · ML35

    LLM-to-Flow Distillation:将自然语言目标教授给科学生成器

    LLM-to-Flow Distillation (LFD) 将冻结 LLM 作为自适应教师,通过迭代 DPO 蒸馏指导域特定生成器,实现对齐自然语言科学发现目标。 该方法无需显式代理奖励,通过 LLM 构建子目标课程并评判候选样本,提供密集学习信号以引导生成器探索分布外区域。 实验在治疗性肽和 Small-molecule 结构设计中验证了 LFD 能对科学发现任务实现生成控制。

  2. arXiv · NLP45

    LoOPSD:通过循环教师进行在线策略自蒸馏

    LoOPSD 提出通过搜索同一模型的层执行顺序来构建更强的教师模型,并蒸馏其优势给学生,无需改变模型权重。 在数学和逻辑推理任务中,该方法显著提升了模型表现。在 GSM8K 上(400-token 思考预算),Qwen3-1.7B 的准确率从 42.30% 提升至 79.61%,多轮蒸馏带来持续增益。 研究展示了将模型额外计算转化为能力提升的新路径,拓展了自蒸馏的监督来源。

  3. arXiv · AI35

    首个记忆遗忘基准 Bemula 发布:现有 LLM Agent 无法实现用户请求的精准遗忘

    首个 LLM Agent 记忆遗忘基准 Bemula 发布,现有六大主流记忆系统在全部测试中,端到端处理遗忘请求的成功率均低于 1.5%,绝大多数甚至完全失败。 该基准包含 50 个多轮对话、135 条遗忘请求及 1,742 道测试题,验证发现系统要么无法删除指定信息,要么误删了无关记忆。 这表明 Agent 的记忆系统设计仍面临重大挑战,相关数据与代码已开源。

  4. arXiv · AI21

    ECG-RSI:通过目标心电图波形演进的递归自我改进

    ECG-RSI 框架结合验证波形合成与反馈指导干预搜索,在七个基准测试中提升模型性能。 经过三轮迭代,Qwen3.5-35B-A3B 的平均问答准确率从 34.57% 提升至 56.04%,平均分类 F1 从 24.27 提升至 34.03。 结果表明,随着反馈校正的持续,外部增益呈现递减趋势,需进一步验证其在独立基准上的迁移效果。

  5. arXiv · NLP28

    基于调查衍生数据的差分隐私偏好对齐研究

    针对世界价值观调查数据中的敏感信息风险,研究提出结合随机响应、指数机制和 DP-SGD 的差分隐私流水线。 实验表明,标签级隐私机制性能优于梯度级方法,且预处理中的聚合函数对隐私保护有显著贡献。 该细粒度隐私比较框架为具备形式化隐私保障的大语言模型对齐提供了探索方向。

  6. arXiv · ML23

    IND-Eval: 工业时间序列基础模型对齐评估与仿真

    IND-Eval 是评估工业时间序列基础模型的公开基准,在 TimesFM-3 上取得最低 nMASE 和 nCRPS。 该基准强调更细的采样分辨率及多变量预测。TimesFM-3 在九项来源中的七项指标领先。 结果表明领域代表性评估可指导模型选择及模拟数据构建,揭示专业化与通用性间的权衡。

  7. arXiv · ML23

    StructZO:面向内存高效 LLM 微调的结构化零阶优化框架

    StructZO 提出结构化零阶优化框架,在激活诱导子空间中进行大查询估计并应用谱控制,显著缩小零阶与一阶优化器的性能差距。 理论证明有效估计维度从 $mn$ 降至 $mr$,投影误差由激活 Gram 矩阵谱尾决定。 在 OPT 系列和 Llama3.1-8B 上,StructZO 平均比最强零阶基线提升 8.7%,个体任务最高提升 26.9%,平均结果距一阶 Adam 仅 1.5%。

  8. arXiv · AI39

    大语言模型对手建模诊断框架:区分适应性与心理理论

    研究提出重复捉迷藏基准与诊断框架,利用递归信念更新区分适应性游玩与信念追踪。 在Qwen2.5-7B-Instruct与GPT-5.4测试中,提供对手真实信念显著提升行动预测准确率,而模型自主推断信念表现受限。 该框架揭示了利用信念信息比自主推断信念更易,为评估大语言模型心理能力提供新标准。

  9. arXiv · AI31

    PACT:基于自身生成路径的扩散语言模型强化学习后训练方法

    研究团队提出 PACT 方法,解决了扩散语言模型在强化学习后训练中的“轨迹盲目性”问题,该模型在 LLaDA-8B-Instruct 上的 GSM8K 基准提升 9.9 分,MATH500 提升 12.0 分。 PACT 通过联合学习策略与标量势函数,实现无需序列似然估计或重要性比率裁剪,在 GSM8K 任务上以 AGRPO 约一半的训练算力达到其最佳准确率。

  10. arXiv · ML30

    零样本迁移 Walrus 基础模型至果蝇胚胎形态发生研究

    研究人员将跨模拟流体系统预训练的 Walrus 基础模型微调至仅 12 个野生型果蝇胚胎视频,并在未见过的温度和基因扰动条件下实现零样本预测。 模型在严重分布偏移下表现最佳,成功捕捉到 17°C 与 27°C 间组织速度轨迹差异及原条延伸起始时间点。 研究初步支持物理基础模型作为低数据量下模拟形态发生的互补工具。

  11. arXiv · NLP37

    ReVeR:基于工具增强评判的点式评分标准奖励模型

    提出点式评分标准奖励模型 ReVeR,通过仅推理指令推导硬规则,利用工具增强评判独立评估响应。 模型经标签盲蒸馏训练,生成大规模 ReVeR-Traces 数据集,实验显示其在偏好准确性上优于成对评判方法。 研究发现生成器强化学习提高偏好准确性的同时降低评分标准保真度,且偏好准确性不必然转化为更优下游策略。

  12. arXiv · ML34

    LVRL:基于 LLM 价值函数的智能体强化学习信用分配方法

    LVRL 利用 LLM 预训练知识估计策略感知状态价值,实现步骤级信用分配,无需微调独立 critic。 在 AppWorld、BabyAI 和 SWE-bench Verified 基准测试中,LVRL 显著优于 GRPO 和 PPO,在 AppWorld 上绝对提升达 13.6 个百分点。 该方法有效解决了长时程稀疏奖励任务中的信用分配难题,提升了智能体在复杂环境下的决策鲁棒性。

  13. arXiv · AI25

    CDS:面向工业短视频排序的通信高效链式维度扩展

    论文提出链式维度扩展(CDS),通过复用单一特征交互块参数,在不增加参数量前提下引入链长度作为新扩展维度。 在压缩模式下,CDS 使可训练参数减少 26.6%,训练吞吐量提升 6.4%,离线质量差距保持在 0.03% 以内。 效率提升主要源于降低跨设备同步开销和更新成本,验证了参数共享迭代计算作为工业系统通信高效扩展轴的价值。

  14. arXiv · ML22

    小型语言模型上下文感知精度调度研究

    研究提出一种针对端侧小型语言模型的上下文感知精度调度方法,通过结合校准的时序模型和张量敏感度优化精度配置。 在笔记本 GPU 上测试显示,延迟预算下系统会降低权重精度以利用缓存读取时间,工具使用基准测试验证了该调度对完整响应时间和正确性的影响。

  15. arXiv · AI34

    深度神经网络纯整数训练的新算法

    提出一种将所有张量(权重、梯度、激活)存储为INT8且所有操作均使用整数算术的训练算法。 该算法使用5个可组合的构建模块和每组速度机制,使训练内存比FP32基线小约4倍。 在ResNet、MobileNetV2和ViT等模型上验证,首次在CIFAR-10/100和ImageNet上以INT8实现具有竞争力的准确率。

  16. arXiv · NLP28

    Swiss4Arg:覆盖瑞士四种国家语言的平行多语种论辩挖掘数据集

    基于2019至2025年瑞士官方投票手册,构建了包含53项联邦议题的Swiss4Arg多语种平行数据集。该资源覆盖德语、法语、意大利语和罗曼什语四种国家语言,由每种语言的三名母语者标注,并提供了GPT-5.4与SwissBERT的基线结果。 该数据集为多语种论辩挖掘与低资源场景下的跨语言可比性研究提供了新基准,标注与代码已公开发布。

  17. arXiv · ML30

    CodeWalk:通过遍历问题图生成编程基准

    CodeWalk 提出通过组合现有原子问题零成本生成新编程基准,无需大语言模型生成或验证。该方法应用于多 bug 修复、证明补全、复杂度分析和克隆等价四类任务,发现前沿模型性能随组合深度增加而下降。对 Qwen3.5-9B 进行拒绝采样微调可提升其在所有组合层级的表现。

  18. arXiv · AI31

    HACE:异构智能体协同进化框架在三个领域超越自改进方法

    研究者提出异构智能体协同进化框架 HACE,通过监督学习与强化学习让专业基础模型与 LLM 智能体互促进化。 在推荐系统、蛋白质功能预测和晶体稳定性预测三个领域,HACE 的主要任务指标均优于现有自改进方法。 该结果验证了异构协同进化作为提升专业基础模型的通用路径。