GraphSAGE是一种用于图神经网络中的节点嵌入学习方法。它通过聚合节点邻居的信息来生成节点的低维表示,使节点表示能够更好地应用于各种下游任务,如节点分类、链路预测等。
图构建
在使用GraphSAGE对节点进行嵌入学习之前,我们需要先将原始数据转换为图结构,并将其存储为Pytorch Tensor格式。例如,我们可以使用networkx库来构建一个简单的图:
import networkx as nx
G = nx.karate_club_graph()
然后,我们可以使用Pytorch Geometric库将NetworkX图转换为Pytorch Tensor格式。首先,我们需要安装Pytorch Geometric并导入所需的类:
!pip install torch-geometric
from torch_geometric.datasets import Planetoid
from torch_geometric.transforms import NormalizeFeatures
from torch_geometric.utils.convert import from_networkx
接着,我们可以使用from_networkx
函数将NetworkX图转换为Pytorch Tensor格式:
data = from_networkx(G)
此时,data
对象包含了关于节点、边及其属性的信息,例如:
data.edge_index
: 2x(#edges)的长整型张量,表示边的起点和终点data.x
: n×dn times d 的浮点型张量,表示每个节点的特征向量(其中nn是节点数量,dd是特征维度)
注意,此时的data
对象并未包含邻居信息。接下来,我们将介绍如何使用Sampler方法采样节点邻居。
Sampler方法
GraphSAGE使用Sampler方法来聚合邻居信息。在Pytorch Geometric中,可以使用Various Sampling方法来实现Sampler。例如,使用ClusterData方法将图分成多个子图,然后对每个子图进行采样操作。
以下是ClusterData
的使用示例:
from torch_geometric.utils import degree, to_undirected
from torch_geometric.transforms import ClusterData
# Convert the graph to an undirected graph, so we can aggregate neighbors in both directions.
G = to_undirected(G)
# Compute the degree of each node.
deg = degree(data.edge_index[0], num_nodes=data.num_nodes)
# Use METIS algorithm to partition the graph into multiple subgraphs.
cluster_data = ClusterData(data, num_parts=2, recursive=False, transform=NormalizeFeatures(),
degree=deg)
这里我们将原始图分成两个子图,并对每个子图进行规范化特征转换。注意,在使用ClusterData方法之前,需要将原始图转换为无向图。
另一个常用的Sampler方法是在随机游动时对邻居进行采样,这种方法被称为随机游走采样(Random Walk Sampling)。以下是随机游走采样的示例代码:
from torch_geometric.utils import random_walk
# Perform random walk sampling to obtain node neighbor samples.
walk_length = 20 # The length of random walk trail.
num_steps = 4 # The number of nodes to sample from each step.
data.batch = None
data.edge_index = to_undirected(data.edge_index) # Use undirected edge for random walk.
rw_data = random_walk(data.edge_index, walk_length=walk_length, num_steps=num_steps)
这里我们将使用一个长度为20、每个步骤采样4个邻居的随机游走方法。注意,在使用随机游走方法进行采样之前,需要使用无向边。
GraphSAGE模型定义
GraphSAGE模型包含3个部分:1)图卷积层;2)聚合器(Aggregator);3)输出层。我们将在本节中介绍如何使用Pytorch实现这些组件。
首先,让我们定义一个图卷积层。图卷积层的输入是节点特征矩阵、邻接矩阵和聚合器,输出是新的节点特征矩阵。以下是图卷积层的代码实现:
import torch.nn.functional as F
from torch_geometric.nn.conv import MessagePassing
from torch_geometric.nn import global_mean_pool
class GraphSageConv(MessagePassing):
def __init__(self, in_channels, out_channels, aggr='mean'):
super(GraphSageConv, self).__init__(aggr=aggr)
self.lin = nn.Linear(in_channels, out_channels)
def forward(self, x, edge_index):
return self.propagate(edge_index, x=x)
def message(self, x_j):
return x_j
def update(self, aggr_out, x):
return F.relu(self.lin(torch.cat([x, aggr_out], dim=1)))
这里我们继承了MessagePassing
类,并在__init__
函数中定义了一个全连接层,用于将输入特征矩阵x
从 dind_{in} 维映射到 doutd_{out} 维。在forward
函数中,我们使用propagate
方法来实现消息传递操作;在message
函数中,我们仅向下游节点发送原始特征数据;在update
函数中,我们首先对聚合结果进行ReLU非线性变换,然后再通过全连接层进行节点特征的更新。
接下来,让我们定义一个聚合器。聚合器的输入是采样得到的邻居特征矩阵,输出是新的节点嵌入向量。以下是聚合器的代码实现:
class MeanAggregator(nn.Module):
def __init__(self, input_dim, output_dim):
super(MeanAggregator, self).__init__()
self.input_dim = input_dim
self.output_dim = output_dim
self.lin = nn.Linear(input_dim, output_dim)
def forward(self, neigh_mean):
out = F.relu(self.lin(neigh_mean))
return out
这里我们定义了一个简单的均值聚合器,其将邻居特征矩阵中每列的均值作为节点嵌入向量,并使用全连接层进行维度变换。
最后,让我们定义整个GraphSage模型。GraphSage模型包含2个图卷积层和1个输出层。以下是模型的代码实现:
class GraphSAGE(nn.Module):
def __init__(self, in_channels, hidden_channels, out_channels, num_layers=2):
super(GraphSAGE, self).__init__()
self.conv1 = GraphSageConv(in_channels, hidden_channels)
self.aggreg1 = MeanAggregator(hidden_channels, hidden_channels)
self.conv2 = GraphSageConv(hidden_channels, out_channels)
def forward(self, x, edge_index):
x = self.conv1(x, edge_index)
x = global_mean_pool(x, edge_index) # Compute global mean over nodes.
x = self.aggreg1(x)
x = self.conv2(x, edge_index)
return x
这里我们定义了一个包含2层GraphSAGE Conv层的神经网络。在最后一层GraphSAGE Conv层之后,我们使用global_mean_pool
函数来计算节点嵌入的全局平均值。注意,在本示例中,我们仅保留了一个输出节点,因此输出矩阵的大小为1。如果需要输出多个节点,则需要设置global_mean_pool
函数中的参数。
模型训练与测试
在定义好模型后,我们可以使用Pytorch进行模型训练和测试。首先,让我们定义一个损失函数和优化器:
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
这里我们使用交叉熵作为损失函数,并使用Adam优化器来更新模型参数。
接着,我们可以开始训练模型。以下是训练过程的代码实现:
num_epochs = 100
for epoch in range(num_epochs):
model.train()
optimizer.zero_grad()
out = model(data.x, data.edge_index)
loss = criterion(out[data.train_mask], data.y[data.train_mask])
loss.backward()
optimizer.step()
print('Epoch {:03d}, Loss: {:.4f}'.format(epoch, loss.item()))
这里我们遍历所有数据样本,计算预测结果和真实标签之间的交叉熵损失,并使用反向传播来更新权重。我们在每个epoch结束后打印出当前损失值。
最后,我们可以对模型进行测试。以下是测试过程的代码实现:
model.eval()
with torch.no_grad():
pred = model(data.x, data.edge_index)
pred = pred.argmax(dim=1)
acc = (pred[data.test_mask] == data.y[data.test_mask]).sum().item() / data.test_mask.sum().item()
print('Test accuracy: {:.4f}'.format(acc))
这里我们使用测试集来计算模型的准确率。注意,在执行model.eval()
后,我们需要使用torch.no_grad()
包装代码块,以禁止梯度计算。
总结
介绍了如何使用Pytorch Geometric实现GraphSAGE模型,包括构建图、定义Sampler方法、定义模型、训练和测试模型等步骤。GraphSAGE模型是一种常用的节点嵌入学习方法,可以应用于各种下游任务中。如果您有任何问题或反馈,请随时在评论区留言。