我们如何复制Azure Data Lake Store文件夹中的任何文件

时间:2017-06-06 04:40:55

标签: powershell azure azure-data-lake u-sql

我们已经有Move-AzureRmDataLakeStoreItem,它将在Azure数据池中的文件夹之间移动文件。我想要的是复制数据池中的文件而不影响原始文件。

我知道的可能性是 -

  1. 使用来自源文件的USQLEXTRACT数据,然后使用OUTPUT到目标文件 - 但我正在尝试复制所有类型的文件(.gz,.txt,.info,。 exe,.msi)我不确定USQL是否可以帮助我.gz或.exe或.msi文件
  2. 使用Data Factory将数据复制到/ Data Lake store
  3. 所以,我在这里问的是,我们还可以使用其他任何可以在Azure Data Lake Store中执行文件副本的文件吗?

1 个答案:

答案 0 :(得分:5)

您还有其他几种选择,

  1. 在HDI群集上运行distcp - 与此处提供的说明类似。 https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-wasb-distcp
  2. 如果您要复制有限数量的数据(使用10-100的GB),请使用adlcopy - https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-azure-storage-blob
  3. 请问这个吗?或者您想要Azure Data Lake Store通过其REST API本机支持的内容吗?

    谢谢, 萨钦谢思 Azure Data Lake项目经理。