论文解读(MGAE)《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》

虚幻大学 xuhss 200℃ 0评论

? 优质资源分享 ?

学习路线指引(点击解锁) 知识定位 人群定位
? Python实战微信订餐小程序 ? 进阶级 本课程是python flask+微信小程序的完美结合,从项目搭建到腾讯云部署上线,打造一个全栈订餐系统。
?Python量化交易实战? 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

论文信息

论文标题:MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs论文作者:Qiaoyu Tan, Ninghao Liu, Xiao Huang, Rui Chen, Soo-Hyun Choi, Xia Hu论文来源:2022, ArXiv论文地址:download 论文代码:download

1 Introduction

  MAE 在图上的应用。

2 Method

  整体框架:

  b58a69b75d64f34431d59cd27bad8079 - 论文解读(MGAE)《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》

2.1 Encoder

  本文的掩藏目标是随机掩藏一部分(30%)边,然后考虑 GCN、GraphSage 作为主干网络提取特征信息,对于被掩藏的边将通过 Decoder 训练得到。

  掩藏策略:

    • Undirected masking:将图看成无向图,删除 (u,v)(u,v)(u,v) 之间的边,对应于 AAA 中的两条边;
    • Directed masking:将图看成有向图,删除 (u,v)(u,v)(u,v) 之间的边,对应于 AAA 中的一条有向边;

  注意:上述两种策略边掩藏率是设置一样的。

2.2 Cross-correlation decoder

  由于Encoder 采用的是基于消息传递机制的 Encoder,所以最终只得到被保留部分的节点潜在嵌入。

  Encoder KKK 层传播结构共生成的保留节点嵌入矩阵 {H(1),H(2),⋯,H(K)}{H(1),H(2),⋯,H(K)}\left{\mathbf{H}^{(1)}, \mathbf{H}^{(2)}, \cdots, \mathbf{H}^{(K)}\right},对于存在的保留节点进行 cross-correlations 操作,即

    hev,u=∥Kk,j=1h(k)v⊙h(j)uhev,u=‖k,j=1Khv(k)⊙hu(j)\mathbf{h}_{e_{v, u}}=|_{k, j=1}^{K} \mathbf{h}_{v}^{(k)} \odot \mathbf{h}_{u}^{(j)}

  其中:

    • ∥‖| 表示连接;
    • ⊙⊙\odot 表示元素乘法;
    • hev,u∈RdK2hev,u∈RdK2\mathbf{h}_{e_{v, u}} \in \mathbb{R}^{d K^{2}} 表示节点 vvv 和节点 uuu 之间的交叉表示,分别考虑它们的 kkk 阶邻域和 jjj 阶邻域;

  为避免过于复杂,通常 K=2K=2K=2。

  假设剩余的节点有 mmm 个,那么输入到对应的 MLP Decoder 的将有 m(m−1)m(m−1)m(m-1) (无向图)个特征向量,最终预测 (u,v)(u,v)(u,v) 直接边存在的概率通过下式生成:

    yv,u=MLP(h(K)v,h(K)u)yv,u=MLP⁡(hv(K),hu(K))y_{v, u}=\operatorname{MLP}\left(\mathbf{h}_{v}^{(K)}, \mathbf{h}_{u}^{(K)}\right)

2.3 Reconstruction target

  MGAE解码器,只重建掩码的边,目标函数如下:

    L=−∑(v,u)∈Emask logexp(yvu)∑z∈Vexp(yvz)L=−∑(v,u)∈Emask log⁡exp⁡(yvu)∑z∈Vexp⁡(yvz)\mathcal{L}=-\sum\limits _{(v, u) \in \mathcal{E}_{\text {mask }}} \log \frac{\exp \left(\mathbf{y}_{v u}\right)}{\sum_{z \in \mathcal{V}} \exp \left(\mathbf{y}_{v z}\right)}

  为加速训练,本文采用负采样策略。

2.4 Algorithm

  整体算法如下:

  aace3d1b8baa77f3813b2b638e132bcc - 论文解读(MGAE)《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》

3 Experiments

数据集

  29210505cce4ce72482d343a8e273a5e - 论文解读(MGAE)《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》

Link prediction

  8e915dc43364b5dc1caecfe106255e6c - 论文解读(MGAE)《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》

Node classifification

  7b46732a67ff93537a49e98024f19812 - 论文解读(MGAE)《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》

4 Conclusion

  图上边掩码AE。

修改历史

2022-06-17 创建文章

论文解读目录

转载请注明:xuhss » 论文解读(MGAE)《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》

喜欢 (0)

您必须 登录 才能发表评论!