打开pyspark时实例化' org.apache.spark.sql.hive.HiveSessionState时出错

时间:2017-06-24 00:59:28

标签: python apache-spark

今天我遇到了一个新的错误,就像我一直这样打开Spark一样。我从未见过这个错误,但现在它阻止我运行我的python脚本。

我的.bash_profile中有pyspark别名,当我从终端打开pyspark时出现此错误:

pyspark.sql.utils.IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':"

我发现了这篇文章:Apache Spark with Python: error

这似乎是我需要的,所以我走下线并尝试使用sudo,我确保提到的jar文件到位,但我仍然收到错误。

以下是我的.bashrc中的相关行:

 export PYSPARK_DRIVER_PYTHON=ipython

export SPARK_HOME=/usr/local/spark
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH

export HADOOP_HOME=/usr/local/hadoop
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH

alias sudo='sudo '
alias pyspark="/usr/local/spark-2.1.0-bin-hadoop2.7/bin/pyspark \
--conf spark.sql.warehouse.dir='file:///tmp/spark-warehouse' \
--packages com.databricks:spark-csv_2.11:1.5.0 \
--packages com.amazonaws:aws-java-sdk-pom:1.10.34 \
--packages org.apache.hadoop:hadoop-aws:2.7.3 \
--packages org.mongodb.spark:mongo-spark-connector_2.10:2.0.0"

有什么建议吗?

0 个答案:

没有答案