Question

使用databricks spark，能够使用 spark-snowflake连接器（spark-snowflake_2.11-2.3.0.jar，snowflawing-jdbc-2.8.1.jar）将数据写入雪花，不使用JDBC连接。但是，当我尝试在安装了spark的本地计算机上应用相同的代码时，没有数据块，我无法使用spark-snowflake连接器写入雪花。我遇到的错误是雪花的 classNotFoundExceptoion.DefaultSource 。但是能够从本地安装spark的本地计算机使用JDBC连接写入雪花。

Answer 1

spark-snowflake软件包不包含在spark中。您应该在使用以下命令运行spark时将其包括在内：

$SPARK_HOME/bin/spark-shell --packages net.snowflake:spark-snowflake_2.11:2.4.5

或将其添加到您的依赖项中（在sbt中）：

libraryDependencies += "net.snowflake" %% "spark-snowflake" % "2.4.5"

有关详细信息，请参见此处：https://spark-packages.org/package/snowflakedb/spark-snowflake

Answer 2

将其添加为 sbt 依赖项的正确语法是：

libraryDependencies += "net.snowflake" % "spark-snowflake_2.11" % "2.9.0-spark_2.4"

参考：https://search.maven.org/artifact/net.snowflake/spark-snowflake_2.11/2.9.0-spark_2.4/jar

火花-雪花连接器仅可用于数据砖火花吗？

2 个答案: