如何以更快的方式将大量xml文件从UI或CLI上传到ADLS或DBFS。任何建议,将不胜感激?

时间:2020-10-10 00:18:44

标签: databricks azure-storage-account

我有大约50 k xml文件,我想上传到ADLS / DBFS。是否可以将其作为zip文件上传并可以从ADLS / DBFS使用zip文件。到目前为止,将其花费大量时间上载到ADLS / DBFS。 我使用dbfs cp -r在这种情况下无效。 还尝试通过Databricks UI上传。尝试通过Storage Explorer上传到ADLS时的情况相同 期待有效的建议:)

1 个答案:

答案 0 :(得分:1)

您可以使用AzCopyAzure Storage Explorer上载到ADLS。它们使用多个上传线程,并且可能比dbfs cp -r更快地上传文件要快。