在PySpark中尽力重试

时间:2018-04-11 23:12:17

标签: python apache-spark pyspark

假设我有一个RDD,我需要映射一个可能失败的任务

rdd = sc.parallelize([1,2,3])
rdd.map(a_task_that_can_fail)

有没有办法设置火花来尽最大努力运行任务。我希望的行为是:

  • 重试任务5次,如果5次失败,则返回None,如果成功则返回结果

1 个答案:

答案 0 :(得分:0)

你到底是什么意思"设置火花"? python代码怎么样? 或者你的意思是像内存不足这样的失败?

np.delete

[1.0,0.5,3.3333333333333333,无]