标签： apache-spark hdfs spark-streaming
我想运行两个Spark流传输过程（Spark 2.2.0），这些过程将写入HDFS中的同一文件夹（即/ tmp / myProject）。
在写入HDFS时，两个Spark应用程序将在/ temp / myProject下使用相同的暂存目录 据我了解，对于两个应用程序使用通用暂存文件夹可能会引起问题。 正确吗？
是否可以使用任何参数（在Spark 2.2.0中）为每个进程设置不同的登台文件夹？
谢谢， 沙龙