在DataBricks中运行时如何防止java.io.InvalidClassException:org.apache.spark.sql.types

时间:2019-06-27 10:04:07

标签: apache-spark-sql

当我从 IDE 运行spark应用程序时,它将编译并正常运行。但是,当我将jar打包为在云中运行时,通过将Spark依赖范围设置为“ provided”,然后在云中运行jar(使用相同版本的Spark),我会得到“ java.io.InvalidClassException: org.apache.spark.sql.types.StructType”。

我已经确保所有Spark依赖项都设置为提供的范围。我正在使用 Spark 2.4.1 ,与云中群集的Spark版本相同。如何进一步解决此问题?

0 个答案:

没有答案