arXiv · NLP· Konstantinos Skianis, Giannis Nikolentzos, Polykarpos Meladianos, Michalis Vazirgiannis·· 7 天前AI 评分20
微分背包语言模型:通过有符号上下文化权重实现语义抑制
Differential Backpack Language Models: Sense Inhibition via Signed Contextualization Weights
AI 导读
微分背包语言模型在 WikiText-103 上将 Backpack 模型相对于 Transformer 的困惑度差距缩小 31%。 该模型利用微分注意力计算有符号权重,使上下文能主动抑制语义,且零样本句子相似度最高提升 33%。 这种抑制机制直接可解释,如金融语境下“bank”的“河流”语义权重降至 -0.50。
来源:arXiv · NLP · arxiv.org