我正在尝试使用找到的here的sql spark连接器将数据帧批量加载到spark中。
我完全按照上面链接中的示例所示的方式批量加载它们。在Linux环境中使用以下所示的代码打开Spark Shell时,库正在导入,并且正在初始化驱动程序:
spark-shell --driver-class-path /developer/sqljdbc42.jar:/developer/azure-sqldb-spark-1.0.0.jar --jars /developer/sqljdbc42.jar, /developer/azure-sqldb-spark-1.0.0.jar
我不确定此错误来自何处以及我在做什么错。执行如下所示的批量加载时出现错误:
df.bulkCopyToSqlDB(bulkCopyConfig)
显示的错误是:
java.lang.ClassNotFoundException: com.microsoft.azure.sqldb.spark.connect.DataFrameFunctions$$anonfun$bulkCopyToSqlDB$1