作者

Kaizong Ye

✉

     联系我们

可下载资源

本文分析的数据、代码、报告分享至会员群

在训练过程中，仅使用训练节点的标签信息，但在正向传播时，由于空间 GNN 的工作原理，会聚合邻居节点的特征向量，其中部分邻居节点可能属于验证集甚至测试集。这里主要利用了邻居节点的结构信息和特征，而非其标签信息。

​

三、数据加载与可视化

（一）数据加载

在数据加载部分，首先定义了一些必要的函数和类。例如，json_read 函数用于读取 JSON 格式的数据：

def json_read(path):
 with open(path, 'r') as file:
 data = json.load(file)
 return data

该函数接受一个文件路径作为参数，打开文件并读取其中的 JSON 数据，最后返回读取的数据。
load_grata 函数则用于加载 蛋白质 数据集的图数据： ​

​

dataset\\\_name = config\\\['dataset\\\_name'\\\]
visualization_tool = GraphVisualizationTool.IGRAPH
# 如果 edge_index 是 torch.Tensor 类型，则将其转换为 numpy 数组
if isinstance(edge_index, torch.Tensor):
 edge\\\_index\\\_np = edge_index.cpu().numpy()
# 如果 node_labels 是 torch.Tensor 类型，则将其转换为 numpy 数组
if isinstance(node_labels, torch.Tensor):

​

​

class GAT(torch.nn.Module):
 """
 最有趣且最具挑战性的实现是实现 #3。
 Imp1 和 imp2 在细节上有所不同，但基本相同。
 因此，在本笔记本中，我将重点关注 imp #3。
 """
 def \\_\\\_init\\\_\\_(self, num\\\_of\\\_layers, num\\\_heads\\\_per\\\_layer, num\\\

GAT 层定义

​

​

接下来定义 GATLayer 类，该类是 GAT 模型的核心组成部分。

 但希望它更具可读性！（并且性能相似）
 """
 # 源节点在边索引中的维度位置
 src\\\_nodes\\\_dim = 0
 # 目标节点在边索引中的维度位置
 trg\\\_nodes\\\_dim = 1
 # 节点维度（在张量中 "N" 的位置，axis 可能是更熟悉的术语）
 nodes_dim = 0
 # 注意力头维度
 head_dim = 1
 def \\_\\\_init\\\_\\_(self, num\\\_in\\\_features, num\\\_out\\\_features, num\\\_of\\\_heads, concat=True, activation=nn.ELU(),
 dropout\\\_prob=0.6, add\\\_skip\\\_connection=True, bias=True, log\\\_attention_weights=False):
 super().\\_\\\_init\\\_\\_()
 self.num\\\_of\\\_heads = num\\\_of\\\_heads

训练 GAT 模型（蛋白质 多标签分类）

相关常量定义

​

一、引言

图注意力网络（GAT）在处理图结构数据方面具有重要意义。在本文中，我们将深入探讨其在 蛋白质 数据集上的应用，涵盖从模型训练到可视化分析的完整流程，旨在揭示 GAT 模型在该数据集上的表现及内在机制。

​

 二、模型训练相关函数定义

（一）获取训练状态函数

import git
import re # 正则表达式模块
def get\\\_training\\\_state(training_config, model):
 training_state = {
 # 获取代码仓库的提交哈希值
 "commit\\\_hash": git.Repo(search\\\_parent_directories=True).head.object.hexsha,

该函数用于收集训练过程中的重要信息，包括代码版本信息（通过提交哈希值体现）、训练数据集名称、训练轮数、测试性能指标以及模型的结构和参数状态等。

​

 （二）打印模型元数据函数

def print\\\_model\\\_metadata(training_state):
 # 构建打印头部信息
 header = f'\\\n{"*"\\\*5} Model training metadata: {"\\\*"*5}'
 print(header)
 for key, value in training_state.items():
 # 不打印模型参数字典，因为其内容为大量数字
 if key!= 'state_dict': 
print(f'{key}: {value}')
 print(f'{"*" * len(header)}\\\n')

此函数用于以清晰的格式打印模型训练的元数据，除了模型参数字典外，将其他关键信息如数据集名称、训练轮数等展示出来，方便用户快速了解模型训练的基本情况。 ​

该函数是 GAT 模型在 蛋白质 数据集上的训练主函数，按照特定的步骤进行操作。首先根据设备情况（GPU 或 CPU）准备数据加载器，然后构建 GAT 模型并定义损失函数和优化器，接着通过装饰器函数简化训练和验证循环，最后在训练过程中进行训练循环、验证循环，并根据需要进行测试，最终将训练得到的模型状态保存下来。 ​

​

图注意力网络（GAT）的熵直方图可视化分析

摘要： 接下来聚焦于图注意力网络（GAT）中熵直方图的可视化研究。阐述了熵概念在 GAT 模型分析中的引入缘由，详细介绍了相关函数的构建与作用，包括绘制熵直方图函数以及整体可视化函数。通过在 蛋白质 数据集上的应用与结果展示，深入探讨了 GAT 模型学习到的注意力模式与均匀注意力模式的差异，为理解 GAT 模型的学习效果提供了重要视角。

熵直方图可视化原理

在 GAT 模型的研究中，熵直方图可视化是一种重要的分析手段。当提及“熵”时，人们可能会疑惑它在此处的作用。事实上，这并不复杂。在 GAT 模型中，注意力系数总和为 1，这就形成了一种概率分布。而有概率分布就可以计算熵，熵能够量化分布中的信息量（对于专业人士而言，它是自信息的期望值）。若对熵的概念不熟悉，可参考精彩视频，不过在理解本研究的可视化目的时，并不需要深入掌握熵的理论。
其核心思想如下：假设有一个“假设性的”GAT 模型，它对每个节点的邻域具有恒定的注意力（即所有分布是均匀的），我们计算每个邻域的熵，并根据这些熵值绘制直方图。然后将其与我们训练得到的 GAT 模型的直方图进行比较，观察两者的差异。如果两个直方图完全重叠，意味着我们的 GAT 模型具有均匀的注意力模式；重叠越小，则分布越不均匀。在此，我们关注的并非信息本身，而是直方图的匹配程度。这有助于清晰地了解 GAT 模型学习到的注意力模式是否有意义。若 GAT 学习到的是恒定注意力，那么使用 GCN 或更简单的模型可能就足够了。

实验运行与结果分析

最后运行 函数：

visualize\\\_entropy\\\_histograms(
 model_name,
 dataset_name,
)

得到的结果如以下图片所示：
​
​
​
​
从结果可以看出，浅蓝色直方图（训练后的 GAT）与橙色直方图（均匀注意力 GAT）相比发生了倾斜。并且由于均匀分布具有最高的熵，所以它们向左倾斜，这是符合预期的。如果之前通过边厚度绘制的可视化结果未能使您信服，那么熵直方图的结果将更具说服力。通过熵直方图可视化，我们能够更深入地理解 GAT 模型在 蛋白质 数据集上学习到的注意力模式与均匀注意力模式的差异，从而评估 GAT 模型的有效性和独特性，为进一步优化和应用 GAT 模型提供有力的依据。 ​