arXiv · ML· Andrea Giuseppe Di Francesco, Rishabh Jain, Franco Maria Nardini, Nicola Tonellotto, Pietro Li\`o, Fabrizio Silvestri·· 6 小时前AI 评分24
G-Retriever 图软提示中的 Token 坍缩现象分析
On the Token Collapse Phenomenon in Textual Graph Soft Prompting
AI 导读
研究发现 G-Retriever 图软提示存在 Token 坍缩，即图令牌在不同输入间几乎不可区分。 在 3 个基准、3 种图编码器及 2 类 LLM 中，该坍缩导致图谱信号失效，常规模板甚至无法超越静态提示。 研究提出两阶段程序恢复令牌差异性，并建议通过干预探针而非仅任务准确率评估对齐。
来源：arXiv · ML · arxiv.org