arXiv · AI· Javier Porras-Valenzuela, Arush Arora, Alejandro Ribeiro·· 4 小时前AI 评分23
通过可学习图位置编码扩展语言模型的图推理能力
Scaling Graph Reasoning in Language Models with Learnable Graph Positional Encodings
AI 导读
提出可学习图位置编码与后融合模块，结合 GNN 与 Graph Transformer，将上下文负担降至 O(N)，无需序列化邻接矩阵。 使用图论求解器生成最优解，联合微调位置编码器与 LRM LoRA 适配器，在最多 1,000 个节点任务上表现出更好的规模泛化性，且生成更少 token。 模型对节点重标记保持鲁棒，并保留在小图上的性能。
来源：arXiv · AI · arxiv.org