如何在pyspark中实现功率迭代方法?

时间:2019-04-05 07:04:36

标签: python pyspark random-walk

我想使用pyspark实现类似于页面排名算法中的方程。

按照传统方式,实现起来很简单,但是当我在pyspark中投影实现时,我陷入了困境。

让我们假设我们有一个Matrix W维的(n*n)和一个向量x,它最初被初始化为(1/n,...,1/n),其中n是其中的行数W

例如,假设W作为pyspark数据帧给出:

src dst weight
a    b    0.5
a    c    0.2
etc

其中每行等效于W中的一个条目。例如,在行a和列b中,我们具有值0.5。 我要实现等式:

x1 = Px
x = x1

然后重复上述两次操作m,其中将m作为输入。

任何有关如何执行上述操作的提示将不胜感激。

0 个答案:

没有答案