在纱线群集模式下从spark应用程序访问边缘节点中的文件

时间:2017-09-19 09:51:20

标签: apache-spark

我们有一个方案是从spark应用程序中读取存储在边缘节点的本地文件系统中的时间戳,并且在一些计算之后,需要将更新的时间戳存储回同一文件系统中。

此应用程序可以在纱线客户端模式下运行时访问该文件,但在纱线群集模式下运行时无法找到该文件且作业失败,并指出“FileNotFound Exception”

我们如何从以纱线群集模式运行的火花应用程序访问文件以进行读/写。

我曾尝试过的事情:

  • 指定包含主机名的完整文件uri
  • - files选项(我猜这只适用于读取操作但不适用于写入)

0 个答案:

没有答案