我可以使用spark来并行执行常规python作业吗?例如:
def my_f(mylist1, mylist2):
#sophisticated stuff
return map(lambda x: x + 1, mylist1)
mylist3 = my_f(xrange(10), xrange(5))
#pass my list to a spark rdd for further processing
我问的原因是因为在我的管道中我需要在2个数组上使用sklearn模型,我想将这些输出用于火花中的进一步操作