跳到正文
arXiv · NLP· Konstantinos Skianis, Giannis Nikolentzos, Polykarpos Meladianos, Michalis Vazirgiannis·· 7 天前AI 评分20

微分背包语言模型:通过有符号上下文化权重实现语义抑制

Differential Backpack Language Models: Sense Inhibition via Signed Contextualization Weights

AI 导读

微分背包语言模型在 WikiText-103 上将 Backpack 模型相对于 Transformer 的困惑度差距缩小 31%。 该模型利用微分注意力计算有符号权重,使上下文能主动抑制语义,且零样本句子相似度最高提升 33%。 这种抑制机制直接可解释,如金融语境下“bank”的“河流”语义权重降至 -0.50。

来源:arXiv · NLP · arxiv.org