Pyspark - 找不到文件异常

时间:2018-05-06 05:13:40

标签: java python apache-spark apache-spark-sql apache-spark-mllib

我在火花集群模式上运行 spark-submit 命令时遇到以下错误,而我在本地运行时获得了正确的输出。错误显示在CMD提示中,如下图所示:

Pyspark错误

enter image description here

  1. 我给了Read&通过写入相关文件夹的权限 使用命令chmod -R 777 / path / to / folder。
  2. 另外,当我在集群和本地运行Pi.py示例的 spark submit 命令时;它运行良好。
  3. 仅在声明文件输入时问题仍然存在
  4. 请就此问题提供合适的解决方案建议。它在MacOS和Windows系统上都存在,我没有适合的相同解决方案

    以下是WC.py

    的代码段

    WC.py 代码

    enter image description here

0 个答案:

没有答案