跳到正文
arXiv · NLP· GuideLabs, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo·· 10 天前AI 评分35

Steerling-8B:可解释性随能力规模化提升的扩散语言模型

Scaling Inherently Interpretable Language Models

AI 导读

研究者提出 Steerling-8B,一款将可解释性作为训练约束的 8B 参数扩散语言模型。 该模型在 2-16 倍算力差距下性能与开源同级模型保持竞争力,且模型表示随规模增大而更解耦、更对齐人类可理解概念。 研究证明可解释性可在训练阶段设计并随规模提升,而非对能力征税。

来源:arXiv · NLP · arxiv.org