当我从 IDE 运行spark应用程序时,它将编译并正常运行。但是,当我将jar打包为在云中运行时,通过将Spark依赖范围设置为“ provided
”,然后在云中运行jar(使用相同版本的Spark),我会得到“ java.io.InvalidClassException: org.apache.spark.sql.types.StructType
”。
我已经确保所有Spark依赖项都设置为提供的范围。我正在使用 Spark 2.4.1 ,与云中群集的Spark版本相同。如何进一步解决此问题?