arXiv · NLP· Ilias Triantafyllopoulos, Young Min Cho, Ren Tao, Miranda Muqing Miao, Sunny Rai, Lyle Ungar, Sharath Chandra Guntuku, Sunghye Cho, Tyler Moore, Neville Ryant, Jo\~ao Sedoc·· 3 天前AI 评分22
神经激活空间中概念子的几何特性分析
The Geometry of Conceptors in Neural-Activation Spaces
AI 导读
研究者推导了中心池化概念子可精确分解为平均极滤波器、均值分离更新和协方差形状更新的几何理论。 在五个语言模型的情绪、政治倾向等实验中,双极拟合比单极拟合更一致地提升两极证据强度。 研究发现概念子尺寸与逐层探针性能正相关,双极拟合在放大对立两极目标时表现更优。
来源:arXiv · NLP · arxiv.org