标签: python apache-spark pyspark
假设我有一个RDD,我需要映射一个可能失败的任务
rdd = sc.parallelize([1,2,3]) rdd.map(a_task_that_can_fail)
有没有办法设置火花来尽最大努力运行任务。我希望的行为是:
答案 0 :(得分:0)
你到底是什么意思"设置火花"? python代码怎么样? 或者你的意思是像内存不足这样的失败?
np.delete
[1.0,0.5,3.3333333333333333,无]