我使用PySpark 2.4已有一段时间了。 Spark已安装在我的系统中的/usr/local/spark
上。在命令行中输入pyspark
时,突然看到错误。
Failed to find Spark jars directory (/assembly/target/scala-2.12/jars).
You need to build Spark with the target "package" before running this program.
系统操作系统= CentOS 7
我安装了Python 2.7和Python3.6。但是,当我安装spark时,然后将Python 3.6设置为默认值。
每天使用几次pyspark
运行cronjobs(并且已经运行了很长时间)。恐怕像上面这样的错误可能会阻止运行这些家伙。
请为此点灯。