我在火花集群模式上运行 spark-submit 命令时遇到以下错误,而我在本地运行时获得了正确的输出。错误显示在CMD提示中,如下图所示:
Pyspark错误
- 我给了Read&通过写入相关文件夹的权限
使用命令chmod -R 777 / path / to / folder。
- 另外,当我在集群和本地运行Pi.py示例的 spark submit 命令时;它运行良好。
- 仅在声明文件输入时问题仍然存在
醇>
请就此问题提供合适的解决方案建议。它在MacOS和Windows系统上都存在,我没有适合的相同解决方案
以下是WC.py
的代码段
WC.py
代码