创建火花上下文时，样条谱系失败

Question

我为管道激活沿袭-我正在通过spark.jar参数提交所有必需的工件（JAR）。不过，我得到

sc._jvm.za.co.absa.spline.core.SparkLineageInitializer.enableLineageTracking(spark._jsparkSession)

spark._jsparkSession
TypeError: 'JavaPackage' object is not callable

我应该为此添加什么具体内容？

Answer 1

好像是this post

中解释的同一问题

这通常意味着jar文件设置不正确。传递它的方法是使用SPARK_CLASSPATH环境变量。