图神经网络(GNN)在处理关系数据方面取得了巨大成功,其中图卷积网络(GCN)是最为经典的模型之一。然而,传统GCN在节点间关系复杂(如非对称、异构或带符号)时,其表达能力受限。Hansen与Gebhart提出的“层神经网络”(Sheaf Neural Networks, SheafNNs)通过引入细胞层 (Cellular Sheaf) 理论,推广了GCN中的扩散操作,旨在更精确地捕捉和利用图中丰富的局部关系结构。
标准GCN通常依赖图拉普拉斯或邻接矩阵进行信息传播,这可以看作是一种“朴素”的邻域平均。当图中边的含义不仅仅是“连接”,例如,在有向图、带符号图或节点/边拥有不同类型属性时,这种简单平均可能无法有效区分和利用这些细微差别。
GCN聚合邻居信息。但如果A-B是正向关系,A-C是负向关系呢?
细胞层是一种源于代数拓扑的数学结构。在图上,一个细胞层 F 为每个节点 v 分配一个向量空间 F(v)(称为“茎”,stalk),为每条边 e 分配一个向量空间 F(e)。关键在于,它还为每个节点-边关联 (v,e)(其中 v 是 e 的一个端点)定义了线性映射 F_{v \le e}: F(v) \to F(e),称为“限制性映射”。这些映射规定了节点数据如何在边上保持一致性。
对于边 e=(u,v),节点 u 上的数据 x_u \in F(u) 和节点 v 上的数据 x_v \in F(v),如果在边 e 上是一致的,意味着它们在 F(e) 中的“投影”相关联。更精确地,若定义了边的方向 e: u \to v,一致性(或更一般地,关系)由限制性映射定义。
假设边 e = u → v, F(u)=R, F(v)=R, F(e)=R。
限制性映射: F_{u \le e}(x_u) = a \cdot x_u, F_{v \le e}(x_v) = b \cdot x_v
数据在边e上一致,如果 F_{u \le e}(x_u) = F_{v \le e}(x_v)
基于细胞层,可以定义上边缘算子 (coboundary operator) \delta: C^0(G;F) \to C^1(G;F),其中 C^0(G;F) 是节点上的信号空间,C^1(G;F) 是边上的信号空间。对于有向边 e = u \to v,(\delta x)_e = F_{v \le e}x_v - F_{u \le e}x_u (论文中实际定义可能略有不同,但核心思想是比较两端数据)。
层拉普拉斯 (Sheaf Laplacian) 定义为 L_F = \delta^T \delta。这是一个半正定算子,其零空间对应于图的“全局截面”,即在所有边上都一致的信号。层拉普拉斯推广了图拉普拉斯,并能编码更复杂的节点间关系。
基于 L_F 可以构建层扩散算子 (Sheaf Diffusion Operator) D_F,例如 D_F = I - \alpha L_F 或其归一化版本。这些算子在图上传播信息时会“尊重”由层结构定义的局部约束。
1. 节点信号 x \in C^0(G;F).
2. 上边缘算子 \delta 作用于 x, 得到边信号 \delta x \in C^1(G;F).
(\delta x)_e 衡量边 e 两端节点信号经限制性映射后的差异。
3. \delta^T ( \delta 的伴随算子) 将边信号映射回节点信号。
4. 层拉普拉斯: L_F x = \delta^T (\delta x).
它衡量了每个节点信号与其邻域信号(在层结构下)的差异程度。
标准GCN扩散 (例: 平均)
结果: ?
层扩散 (例: 带符号影响)
结果: ?
SheafNN的核心思想是用层扩散算子 D_F 替换GCN中的标准图扩散算子。一个SheafNN层对节点特征 X (维度 N_{nodes} \times k \times N_{feat}^{in},其中 k 是每个节点stalk的维度) 的操作可以表示为:
\text{SheafConv}(A, B)(X) = \rho (D_F (I \otimes B) X A)
点击按钮逐步演示。
论文通过在合成的带符号图上进行半监督节点分类任务来验证SheafNN的有效性。在带符号图中,边可以是正向(表示相似或吸引)或负向(表示相异或排斥)。标准GCN难以处理这类图,因为其扩散机制通常不区分符号。
SheafNN通过在细胞层的限制性映射中编码边的符号和权重(例如,对于边 (u,v) 权重为 W_{uv},限制性映射可包含 \pm \sqrt{|W_{uv}|}),从而自然地处理了带符号关系。
图: Node1 --(+w1)--> Node2 --(-w2)--> Node3
鼠标悬浮到边上查看限制性映射的例子。
模拟准确率 (越高越好)
选择场景查看模拟结果
实验结果(论文图1)表明,在不同噪声水平的线性和非线性特征下,SheafNN的性能均显著优于传统GCN。GCN在带符号图上的准确率较低,接近随机猜测,而SheafNN能够有效利用符号信息。
SheafNN为图神经网络提供了一个更具普适性和表达力的框架。通过将节点间的局部关系明确地建模到细胞层的代数结构中,SheafNN能够处理比传统GCN更广泛和复杂的图数据类型。
未来的研究方向包括:为更广泛的现实世界问题设计和发现合适的层结构,研究从数据中学习层结构的方法,以及探索细胞层理论中更高级的概念(如层态射、层近似)在GNN中的应用。这为理解和设计更强大的图学习模型开辟了新的道路。