现阶段，图（Graph）上的自监督学习大多都遵循图对比学习框架，这些方法通常需要先构造一系列的正样本对以及负样本对，然后通过在低维表示空间中拉近正样本并且推远负样本来学习节点/图的表示。目前，研究者们已经探索了 节点丢弃 、 连边扰动 等各种生成正样本的策略，以及 特征打乱 、 批次采样 等各种生成负样本的策略。然而，已有研究工作表明，这些正、负样本的生成策略是数据集敏感的。

例如，GraphCL 通过系统性的研究发现连边扰动对社交网络比较有益，但是对生物化学网络可能有负面作用。InfoGCL 发现负样本对于更稀疏的图可能更有益。因此，在实践中，研究者们需要根据数据集以及手头任务的实际情况来探索、寻找合适的构造正、负样本的策略，这限制了已有方法的灵活性与泛化性。为了有效地应对这个问题，在本项研究中，我们提出一个基于结构聚类的异质图自监督学习方法 SHGP，它无需任何正样本或者负样本。

▲ 图1 模型整体架构图

我们的主要思路是通过对异质图执行结构聚类来产生聚类标签，并利用聚类标签来监督异质图神经网络的训练。如图 1 中的模型架构图所示，SHGP 主要包括两个模块，Att-HGNN 模块可以被实现为任何基于注意力聚合机制的异质图神经网络（我们采用 ie-HGCN 模型，请参考 原文 ），它的作用是计算节点的表示：

Att-LPA 模块将经典的标签传播算法 LPA 以及 Att-HGNN 中的注意力聚合机制进行了有机的结合，它的作用是在异质图上执行结构聚类，并将得到的聚类标签当做伪标签：

这两个模块共享相同的注意力聚合机制，即，Att-HGNN 和 Att-LPA 在每一次前向过程中都执行相同的注意力聚合，区别是 Att-HGNN 聚合的是（投影后的）特征，而 Att-LPA 聚合的是上一轮产生的伪标签，两者都有着完全相同的注意力聚合系数。我们在 Att-HGNN 的顶层构建一个 softmax 分类器，并将节点表示输入到其中来预测节点标签。模型的损失为节点预测与节点伪标签之间的交叉熵：

计算得到损失以后，我们利用梯度下降来优化所有的模型参数：

随着优化过程的进行，模型会学习到越来越好的注意力分布（包括其他参数）。更好的注意力分布则会在下一轮迭代中促进 Att-HGNN 和 Att-LPA 分别产生更好的节点嵌入（以及预测）和伪标签，进而促进模型学习得到更好的参数。这样，两个模块可以紧密地相互作用，并相互增强对方，最终使得模型学习得到具有判别性的节点表示。

我们对节点的预训练表示进行聚类。在每个数据集上，我们利用 𝐾-means 算法来将节点的表示向量进行聚类。实验结果展示在图 2 中 , 可以看到，SHGP 在该任务中展现了最优的整体性能。特别是，在 MAG 数据集上，SHGP 的性能显著地超过了其他基线方法，显示了它的优越性。

▲ 图2 节点聚类结果

我们将模型学习到的节点表示进行可视化。首先利用 t-SNE 算法将节点的表示向量映射到二维欧式空间，然后利用 matplotlib 将其进行可视化，并根据节点的真实标签对其进行染色。图 3 中展示了可视化结果，可以看到，SHGP 的每个类都有着很好的内聚性，而类与类之间的界限非常清晰光滑。这说明 SHGP 能够在不需要任何真实标签的情况下，有效地学习到具有判别性的节点表示。

▲ 图3 节点表示可视化结果

让你的文字被更多人看到

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？ 答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是 最新论文解读 ，也可以是 学术热点剖析 、 科研心得 或 竞赛经验讲解 等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人 原创作品 ，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供 业内具有竞争力稿酬 ，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（ pwbot02 ）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

现在，在 「知乎」 也能找到我们了

进入知乎首页搜索 「PaperWeekly」

点击 「关注」 订阅我们的专栏吧

来源 | 北邮 GAMMA Lab论文作者：杨亚明，管子玉，王哲，赵伟，徐偲，陆维港，黄健斌论文单位：西安电子科技大学，计算机科学与技术学院引言现阶段，图（Graph）上的自监督学习大多都遵循图对比学习框架，这些方法通常需要先构造一系列的正样本对以及负样本对，然后通过在低维表示空间中拉近正样本并且推远负样本来学习节点/图的表示。目前，研究者们已经探索了节点丢弃、连边扰动等各种生成正样本的策略，以及... DNN可以提取到更适合 聚类 的特征表示，但是 聚类 又是无监督的，没有训练标签，怎么训练DNN特征提取器就很有问题 现有的一些方法将DNN的训练与 聚类 目标结合起来，使 聚类 过程中的信息可以用来更新DNN，以产生更好的 聚类 特征。这种方法的一个问题是，由 聚类 算法产生的这些“伪标签”是有噪声的，它们所包含的任何错误都会损害DNN的训练。 本文提出了选择性的伪标签 聚类 ，它只使用最自信的伪标签来训练DNN。 聚类 不需要先验知识，不需要监督学习的显式标签，也不需要在 自监督学习 中利用的期望对称性和不变性的知识。 首先确定要返回叶子节点。叶子节点特征，左右节点都为空。 接着是要舍去右叶子节点返回值，在右节点进行递归的时候，调用另一个方法为了避免传进去的右节点是右叶子节点。 传递进来的树只有1个数或者0个数的情况，对第一次传递的树进行1个或0个判断，如果判断成功，直接返回0。