将数据从pyspark写到蔚蓝斑点？

Question

我想将数据帧从pyspark写入天蓝色的blob吗？有什么建议或代码怎么做？

我有Blob的位置和密钥

enter image description here

Answer 1

您可以按照此tutorial来将Spark数据框与Azure Blob存储连接。

设置连接信息：

session.conf.set(
    "fs.azure.account.key.<storage-account-name>.blob.core.windows.net",
    "<your-storage-account-access-key>"
)

然后将数据写入Blob存储：

sdf = session.write.parquet(
    "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<prefix>"
)

此外，您可以参考这种情况：pyspark write to wasb blob storage container