带相关干扰项的注意力机制：超越去重的检索极限

研究揭示注意力机制中冗余上下文的两种机制，并证明了减去对数簇大小仅移除多发性但保留簇内极端分数。 在双水平广义随机能模型中，该修正使所需信号阈值不低于根号下2α1，而指数化前平均分数可将其降低至根号下2ρ α1。 基于冻结句子嵌入的实验表明，平均法在相关项为单例时有效，但在相关组包含多个匹配项时会丢弃有用证据。