天蓝色blob上传镶木地板文件(文件的文件夹)

时间:2018-08-14 05:49:09

标签: azure directory azure-storage-blobs parquet azure-cli

如何将文件递归上传到Azure Blob存储?我想上传一个实木复合地板文件:

abcd.parquet
├── _SUCCESS
├── myPart=20180101
│   └── part-00179-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet
├── myPart=20180102
   └── part-00022-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet

以下内容:

az storage blob upload -f abcd.parquet -c my_container -n abcd

失败:Is a directory

使用AZCopy https://stephanefrechette.com/upload-multiple-files-recursively-azure-blob-storage-azure-cli-2-0-macoslinux/#.W3JpGVJCSL4 https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy

在Windows上似乎可以递归上传

它看起来像:类似的东西可用于Linux https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-linux,但我也想知道是否应该使用spark。

还可以将上传时的目录层次结构转换为文件名,即abcd.parquet_dt=2018..._part-....gz.parquet,从而减​​少所需的目录列表吗?

最后,分区在上传到天蓝色后仍应按预期的火花工作。

有关: -Uploading 10,000,000 files to Azure blob storage from Linux

1 个答案:

答案 0 :(得分:0)

blobxfer https://github.com/Azure/blobxfer非常适合(递归)将文件同步到azure