将Json数据从DataFrame写入Azure Blob存储

Question

我在数据框中有一些数据，我必须将其转换为json并将其存储到Azure Blob存储中。 有什么办法可以做到这一点？ 以下是我尝试过的步骤。我正在从spark-shell尝试它。

val df = spark.sql("select * from historic_data.all_historic_data").show()

spark.conf.set("fs.azure.account.key.<STORAGE_ACCOUNT_NAME>.blob.core.windows.net","STORAGE_ACCOUNT_KEY")

df.write.mode(SaveMode.Append).json("wasbs://BlobStorageContainer@<STORAGE_ACCOUNT_NAME>.blob.core.windows.net/<FOLDER_PATH_OF BLOB>/")

运行写命令时，我遇到错误

org.apache.hadoop.fs.azure.AzureException: com.microsoft.azure.storage.StorageException: The specifed resource name contains invalid characters.
  at org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.retrieveMetadata(AzureNativeFileSystemStore.java:2208)
  at org.apache.hadoop.fs.azure.NativeAzureFileSystem.getFileStatusInternal(NativeAzureFileSystem.java:2673)
  at org.apache.hadoop.fs.azure.NativeAzureFileSystem.getFileStatus(NativeAzureFileSystem.java:2618)
  at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1448)
  at org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelationCommand.run(InsertIntoHadoopFsRelationCommand.scala:92

在提供Blob详细信息时我有什么想念的吗？ 以下是我的存储帐户的屏幕截图：

我在这里没有看到任何类似的问题，它将像Json一样从数据帧写入Azure Blob。

Answer 1

指定的资源名称包含无效字符。

有关该问题的消息很清楚。您正在容器名称not allowed中使用大写字符，因此请将BlobStorageContainer更改为blobstoragecontainer。

完整的规则列表here。