使用azure databricks scala将数据从blob存储加载到sql数据仓库

Question

我正在尝试使用azure databricks scala将数据从blob存储加载到SQL数据仓库中。

spark.conf.set("spark.sql.parquet.writeLegacyFormat","true")    
df.write.format("com.databricks.spark.sqldw")
.option("url",sqlDwUrlSmall)
.option("dbtable", "Person")        
.option("forward_spark_azure_storage_credentials","True")
.option("tempdir",tempDir).mode("overwrite").save()

我收到此错误

  

基础SQLException：     -com.microsoft.sqlserver.jdbc.SQLServerException：由于内部错误而导致外部文件访问失败：“访问时发生错误   HDFS：调用HdfsBridge_IsDirExist时引发了Java异常。爪哇   异常消息：HdfsBridge :: isDirExist-意外错误   在检查目录是否存在时遇到：   StorageException：该请求无权执行此操作   操作。” [ErrorCode = 105019] [SQLState = S0001]

Answer 1

使用azure databricks scala将数据从blob存储成功加载到sql数据仓库。

• 确保通过正确的路径。

• 确保按以下格式显示“ tempDir”。

  

tempDir =“ wasbs：//” + blobContainer +“ @” + blobStorage +“ / tempDirs”

参考： Load data into Azure SQL Data Warehouse

希望这会有所帮助。