使用databricks spark，能够使用 spark-snowflake连接器（spark-snowflake_2.11-2.3.0.jar，snowflawing-jdbc-2.8.1.jar）将数据写入雪花，不使用JDBC连接。但是，当我尝试在安装了spark的本地计算机上应用相同的代码时，没有数据块，我无法使用spark-snowflake连接器写入雪花。我遇到的错误是雪花的 classNotFoundExceptoion.DefaultSource 。 但是能够从本地安装spark的本地计算机使用JDBC连接写入雪花。
答案 0 :(得分：3)
spark-snowflake软件包不包含在spark中。您应该在使用以下命令运行spark时将其包括在内：
$SPARK_HOME/bin/spark-shell --packages net.snowflake:spark-snowflake_2.11:2.4.5
或将其添加到您的依赖项中（在sbt中）：
libraryDependencies += "net.snowflake" %% "spark-snowflake" % "2.4.5"
有关详细信息，请参见此处：https://spark-packages.org/package/snowflakedb/spark-snowflake
答案 1 :(得分：0)
将其添加为 sbt 依赖项的正确语法是：
libraryDependencies += "net.snowflake" % "spark-snowflake_2.11" % "2.9.0-spark_2.4"
参考：https://search.maven.org/artifact/net.snowflake/spark-snowflake_2.11/2.9.0-spark_2.4/jar