标签: pyspark jar jupyter-notebook teradata
我有一个使用此bash脚本运行的pyspark脚本:
现在,我正在jupyter笔记本上运行pyspark脚本。我这样添加了teradata jar:
但是,当我稍后尝试使用“ spark.read.jdbc”运行查询以检索Teradata数据时,出现此错误:
我可以知道如何解决这个问题吗?
答案 0 :(得分:1)
尝试一下。
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars /jar/path/ pyspark-shell'