我正在关注此tutorial尝试在我的群集上安装和配置Spark。 我的群集(5个节点)托管在AWS上,并从Cloudera Manager安装。
教程中提到“将/ etc / spark / conf的内容同步到所有节点”。修改配置文件后。
我真的很想知道实现这一目标的简易方法是什么。我读了一篇与我的HERE类似的帖子。根据我的理解,对于hadoop,hdfs等的配置文件。由zookeeper或cloudera经理监控。可能就是使用CM部署或zookeeper来实现它。
但是,Spark的配置文件完全在zookeeper的范围之外。如何“同步”到其他节点..
非常感谢!
答案 0 :(得分:0)
为什么不{/ 3}} / etc / spark / conf或其中一个父母,以便文件自动同步?