如何将文件递归上传到Azure Blob存储?我想上传一个实木复合地板文件:
abcd.parquet
├── _SUCCESS
├── myPart=20180101
│ └── part-00179-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet
├── myPart=20180102
└── part-00022-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet
以下内容:
az storage blob upload -f abcd.parquet -c my_container -n abcd
失败:Is a directory
使用AZCopy https://stephanefrechette.com/upload-multiple-files-recursively-azure-blob-storage-azure-cli-2-0-macoslinux/#.W3JpGVJCSL4 https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy
在Windows上似乎可以递归上传它看起来像:类似的东西可用于Linux https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-linux,但我也想知道是否应该使用spark。
还可以将上传时的目录层次结构转换为文件名,即abcd.parquet_dt=2018..._part-....gz.parquet
,从而减少所需的目录列表吗?
最后,分区在上传到天蓝色后仍应按预期的火花工作。
与有关: -Uploading 10,000,000 files to Azure blob storage from Linux