在以下代码下运行时,获取Jar文件不存在错误

时间:2019-08-20 10:09:44

标签: pyspark teradata

我需要使用Pyspark API从teradata表中获取数据。我正在为此应用使用jupyter笔记本。 我需要有关如何添加与JAR文件有关的信息的信息。

from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
import os

spark=SparkSession.builder.config('spark.driver.extraClassPath', 'JAR_File_Path/terajdbc4.jar').config('spark.executor.extraClassPath', 'Config_File_Path/tdgssconfig.jar').getOrCreate()
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars "JAR_File_Path/terajdbc4.jar","Config_File_Path/tdgssconfig.jar" pyspark-shell'


spark.sparkContext.addPyFile("JAR_File_Path/terajdbc4.jar")
spark.sparkContext.addPyFile("Config_File_Path/tdgssconfig.jar")```

Please note: This jupyter notebook is present in azurehdinsight cluster.

0 个答案:

没有答案