亚马逊现货市场上的Spark

Question

我可以看到Apache Spark的一个用例是在Amazon Spot市场上运行它，因为spark-ec2脚本有一个--spot-price=<price>选项。

如何激发它处理上线或突然消失的新实例？我的工作会自动重新安排吗？这在文档中讨论了什么？

更新 更多的挖掘表明，RDD的容错性通过重新计算来处理。对于我的问题，这不是最优的，因为计算非常昂贵（并且是随机的）。现在看着Akka推出我自己的定制替代品。

Answer 1

Spark文档中没有任何内容（afaik），但最好的办法是查看the Amazon documentation，因为它对于任何分布式计算都是一样的。

就火花本身而言，它具有容错能力。因此，如果正在运行的节点被终止，那么它将尝试从最新的图形中重新创建数据。