spark有能力平行常规的python函数

时间:2018-03-02 22:35:29

标签: python apache-spark pyspark

我可以使用spark来并行执行常规python作业吗?例如:

def my_f(mylist1, mylist2):
 #sophisticated stuff
 return map(lambda x: x + 1, mylist1)


mylist3 = my_f(xrange(10), xrange(5))
#pass my list to a spark rdd for further processing

我问的原因是因为在我的管道中我需要在2个数组上使用sklearn模型,我想将这些输出用于火花中的进一步操作

0 个答案:

没有答案