将Windows可执行命令转换为Spark Session Builder配置

时间:2019-07-08 16:35:59

标签: pyspark sas

spark =  SparkSession.builder.config("spark.jars.packages","com.github.saurfang:spark-sas7bdat:2.1.0-s_2.11").enableHiveSupport().getOrCreate()

上面的代码可从Windows命令提示符运行,并创建一个Spark会话。

我想直接从Jupyter Notebook创建会话。 我目前正在使用下面的代码行

Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.io.FileNotFoundException: File file:/C:/Users/username/.ivy2/jars/saurfang_spark-sas7bdat-2.0.0-s_2.11.jar does not exist.

这给了我错误

{{1}}

我已在.ivy2文件夹中添加了saurfang_spark-sas7bdat-2.0.0-s_2.11.jar文件。

0 个答案:

没有答案