根据Spark文档https://spark.apache.org/docs/2.1.0/running-on-yarn.html “ --files和--archives选项支持使用类似于Hadoop的#指定文件名。例如,您可以指定:--files localtest.txt#appSees.txt,这将上传您本地命名为localtest.txt的文件。进入HDFS,但这将通过名称appSees.txt链接到您的应用程序,并且在YARN上运行时,您的应用程序应使用名称appSees.txt进行引用。”
我的问题是- 1.我们是否还可以写入appSees.txt文件,这些更改是否会反映在本地文件系统上的localtest.txt文件中? 2.从Spark应用程序在本地文件系统上读写文件的最佳方法是什么。我知道sc.textFile,sc.saveAsTextFile。但我想知道是否还有其他选择。谢谢。