我们在运行 Pyspark 脚本时遇到以下错误,该脚本包含 Oracle 到雪花之间的数据迁移。无法调试问题。请查看并提供您的反馈。
错误 py4j.protocol.Py4JJavaError:调用 o92.load 时发生错误。 : java.lang.NoClassDefFoundError: scala/Product$class
Spark 配置 spark.jars.packages =net.snowflake:snowflake-jdbc:3.12.15,net.snowflake:spark-snowflake_2.11:2.8.3-spark_2.4
以下 jars 存在于 C:\Software\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\罐子
snowflake-jdbc-3.12.15.jar spark-snowflake_2.11-2.8.3-spark_2.4.jar snowflake-ingest-sdk-0.9.9.jar
文件“C:/Users/PycharmProjects/Spark/oracle_to_snowflake.py”,第 56 行,在
.option("dbtable", "员工")
文件“C:\Software\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\python\pyspark\sql\readwriter .py”,第 184 行,加载中
返回 self._df(self._jreader.load())
文件“C:\Users\anaconda3\lib\site-packages\py4j\java_gateway.py”,第 1305 行,调用
答案,self.gateway_client,self.target_id,self.name)
文件“C:\Software\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\python\pyspark\sql\utils .py”,第 131 行,在装饰中
返回 f(*a, **kw)
文件“C:\Users\Michael\anaconda3\lib\site-packages\py4j\protocol.py”,第 328 行,在 get_return_value 中
格式(target_id,“。”,名称),值)
py4j.protocol.Py4JJavaError:调用 o92.load 时发生错误。
: java.lang.NoClassDefFoundError: scala/Product$class
问候, 迈克尔