使用 Spark 在 oracle 到雪花之间的数据迁移

时间:2021-03-10 14:32:26

标签: apache-spark pyspark snowflake-cloud-data-platform

我们在运行 Pyspark 脚本时遇到以下错误,该脚本包含 Oracle 到雪花之间的数据迁移。无法调试问题。请查看并提供您的反馈。

错误 py4j.protocol.Py4JJavaError:调用 o92.load 时发生错误。 : java.lang.NoClassDefFoundError: scala/Product$class

Spark 配置 spark.jars.packages =net.snowflake:snowflake-jdbc:3.12.15,net.snowflake:spark-snowflake_2.11:2.8.3-spark_2.4

以下 jars 存在于 C:\Software\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\罐子

snowflake-jdbc-3.12.15.jar spark-snowflake_2.11-2.8.3-spark_2.4.jar snowflake-ingest-sdk-0.9.9.jar

文件“C:/Users/PycharmProjects/Spark/oracle_to_snowflake.py”,第 56 行,在 .option("dbtable", "员工")
文件“C:\Software\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\python\pyspark\sql\readwriter .py”,第 184 行,加载中 返回 self._df(self._jreader.load()) 文件“C:\Users\anaconda3\lib\site-packages\py4j\java_gateway.py”,第 1305 行,调用 答案,self.gateway_client,self.target_id,self.name) 文件“C:\Software\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\spark-3.0.0-bin-hadoop2.7\python\pyspark\sql\utils .py”,第 131 行,在装饰中 返回 f(*a, **kw) 文件“C:\Users\Michael\anaconda3\lib\site-packages\py4j\protocol.py”,第 328 行,在 get_return_value 中 格式(target_id,“。”,名称),值) py4j.protocol.Py4JJavaError:调用 o92.load 时发生错误。 : java.lang.NoClassDefFoundError: scala/Product$class

问候, 迈克尔

0 个答案:

没有答案
相关问题