ICLR 2020 | PairNorm: Tackling Oversmoothing in GNNs

原文：PairNorm: Tackling Oversmoothing in GNNs

众所周知，GNNs 的表现随着层数的增加而有所下降，这在一定程度上归结于 over-smoothing 这一问题，重复图卷积这一操作会使得节点的表示最终变得不可区分。作者希望通过采取两种不同的理解方式来量化 over-smoothing 这一问题，并提出解决这一问题的方法。在仔细地研究过图卷积这一操作之后，作者提出了一种新奇的 normalization layer---PairNorm，来防止节点的表示变得过于相似。除此之外，PairNorm 具有高效且易于实现的特点，不需要对于整个模型架构做太多的改变，也不需要增加额外的参数，广泛地适用于所有的 GNNs。

文章的贡献主要如下：

（1）提出一种 normalization 的方法来解决 GNNs over-smoothing 的问题；这一想法的关键点在于控制全部的两两节点间的特征向量的距离和为一个常数，这样可以使得距离较远的节点的特征向量的距离也比较远；

（2）高效并具有广泛应用的价值：直观来看（1）提出的方法，其实现过程像是需要对于每两个点之间的特征向量均计算距离，而后将其加入 loss 项中进行优化，但这一操作的复杂度为 O(n2)，这是难以接受的。作者基于对于卷积操作前后的节点特征向量关系的理论分析，提出一种 center-scale 的方法，来使得这一过程变得高效，不需要增加额外的参数，并容易实现，从而具有了应用的价值；

（3）分析怎样的问题适合更加深层的 GNNs：在现实数据集上的实验证明虽然 PairNorm 的方法确实可以处理 over-smoothing 这一问题，但 GNNs 的表现并不能随着层数的增加而上升，我们仍然无法从深层的 GNNs 中获益，据此作者分析了什么怎样的网络适合深层的 GNNs，并构造数据验证了这一结论。

此外，作者提出了一种理解 over-smoothing 的视角，并从节点之间的特征向量的距离和一个节点的特征向量之间的差异来量化 over-smoothing 这一问题，而作者也正是从这一角度出发，提出了 PairNorm 的方法。同时作者还给出了节点特征向量经过图卷积这一操作之后所具有的性质---GRLS 问题的近似解。

Figure 1：Graph-Regularized Least Squares（GRLS）问题