跳到正文
热点事件持续更新

提出Bridged Self-Distillation框架

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月20日,研究团队在arXiv发布论文,提出Bridged Self-Distillation (BSD)框架。该框架旨在统一解决强教师模型向小模型蒸馏时的策略不匹配问题,覆盖共享、跨tokenizer及闭源API等多种场景。 在机制上,外部教师仅生成推理轨迹作为特权上下文,学生模型则在无此上下文的情况下进行rollout。利用自教师在自身token空间内打分提供指导,并结合验证器信号更新失败轨迹。该方法经测试,在适用场景下性能优于各基线,且相关代码已开源。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. arXiv · NLP
    Bridged Self-Distillation (BSD) 统一实现跨场景策略蒸馏

    提出Bridged Self-Distillation (BSD)框架,通过外部教师生成推理轨迹作为特权上下文,统一解决强教师模型向小模型蒸馏时的不匹配问题。 外部教师仅提供文本生成推理轨迹,学生模型在无该上下文的rollout中利用自教师在其自身token空间内打分进行指导,结合验证器信号更新不成功rollout,适用于共享、跨tokenizer及闭源API场景,优于各场景基线。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。