Apache Spark：以独立群集模式读取文件

Question

我目前正在使用当我在本地运行Graphx应用程序时从文件加载的图表。

我想以群集独立模式运行应用程序。

我是否必须进行更改，例如将文件放在每个群集节点中？ 我可以保持我的应用程序不变，只需将文件保存在驱动程序中吗？

谢谢。

Answer 1

为了允许节点上的执行程序访问输入文件，节点应该由节点访问。

首选方法是从支持多节点的位置读取文件，例如 HDFS ，cassandra

在每个节点上放置文件的副本可能也有效，但这不是推荐的方式。