2019 NIPS

2019 NIPS | Variational graph recurrent neural network

Paper: .09710
Code:

2019 NIPS | 变分图递归神经网络

本篇文章研究对象为动态图（既要关注图的拓扑结构又要关注节点属性的变化），本文在GRNN (Graph Recurrent Neural Network) 的基础上使用高阶隐变量（构造层级变分模型），实验结果展示了non-Gaussian latent representations有助于解决动态图的问题。

目前对动态图建模一般使用低维空间中的静态向量表示节点，然而这种方法难以表达node embedding的uncertainty，而本文是使用隐空间的随机向量表示节点（或者理解为，每个节点都由latent space的一个分布来表示）。

而SIVI呢，相比传统的变分推断，更适合学习具有高偏度、峰度、多模态的后验分布。
VGRNN的整个过程可以用下图来概括：
在VGAE中，损失函数中有一个标准正态分布p ( ⋅ ) p(·)p(⋅)，而这里的p ( ⋅ ) p(·)p(⋅)不再是标准正态分布，而是基于hidden_state学习到的一个先验分布，作者认为这样做可以捕捉到图变化过程，从而学习到更灵活的潜在表示，其他的都和VGAE类似。

其中(a)是计算条件下的prior，(b)是decode的过程，©是隐层的更新过程，(d)是推断隐变量的posterior。

(1)计算先验（只是用于损失函数的计算）

(2)编码（Inference）

(3)解码（Generation）

(4)循环计算hidden state（Recurrence）

注意上述式子的各种φ \varphiφ可以是任何神经网络。

这篇文章的结论无非就是两点：（1）加入high level的隐变量能够增强GRNN对复杂动态网络的表现能力，并能为节点生成可解释的latent representation；（2）SI-VGRNN可以做更加灵活的变分推断，对稀疏图的效果尤其好。