将Delta Lake文件从一个存储移动到另一个存储

Question

我需要将delta lake文件移动到其他订阅上的新blobstore中。有什么想法是最好的方法吗？

我正在将它们移至ADLS Gen2存储，我认为以前的存储只是blob存储。这个三角洲湖泊由databricks作业每小时更新一次（但如有必要，我可以暂停）。大小约为3TB-5TB，我最初考虑的是暂停所有作业，然后使用azcopy移动文件，然后将作业指向该位置。但是我想检查一下在传输速度和成本方面可能更好的其他选择。

Answer 1

最好的方法是只使用Azure数据工厂。您可以在此处指向不同的位置，并快速移动文件。