如何将内容同步到所有节点

时间:2014-02-28 02:41:29

标签: hadoop amazon-web-services apache-spark

我正在关注此tutorial尝试在我的群集上安装和配置Spark。 我的群集(5个节点)托管在AWS上,并从Cloudera Manager安装。

教程中提到“将/ etc / spark / conf的内容同步到所有节点”。修改配置文件后。

我真的很想知道实现这一目标的简易方法是什么。我读了一篇与我的HERE类似的帖子。根据我的理解,对于hadoop,hdfs等的配置文件。由zookeeper或cloudera经理监控。可能就是使用CM部署或zookeeper来实现它。

但是,Spark的配置文件完全在zookeeper的范围之外。如何“同步”到其他节点..

非常感谢!

1 个答案:

答案 0 :(得分:0)

为什么不{/ 3}} / etc / spark / conf或其中一个父母,以便文件自动同步?