arXiv · ML· Hiroyasu Usami, Masanori Tsukamoto, Kohei Hashiguchi·· 7 小时前AI 评分20
可逆图聚合可增加 ReLU 读出层宽度
Invertible Graph Aggregation Can Increase ReLU Readout Width
AI 导读
对每个偶数 N≥4，存在一个 2N 顶点、最大度为 3 的带标签树，使得原始特征需 1 个 ReLU 隐藏单元，而单次惰性邻域均值聚合后需恰好 N 个单元。混合矩阵条件数不超过 8，且在含 1 个干扰坐标的有界均匀噪声模型下，1 单元聚合头期望误差至少为 1/12，而 N 单元头误差为 0。
来源：arXiv · ML · arxiv.org