使用Azure自动化将文件从Azure Data Lake Store复制到Azure存储

Question

我希望每次使用Azure自动化将我的文件从Data Lake Store复制到Azure存储。

我找到了一个Get-AzureStorageFile cmdlet，但它需要具有CloudFileDirectory类型的参数“Directory”。

谢谢:-)

Answer 1

我相信您将要使用AzureRm.AzureDataLakeStore模块。

转到您的自动化帐户，然后转到“模块”刀片。从图库中添加模块。

在运行手册中进行检查，以确保模块已加载。然后执行上传或其他Data Lake Store功能。

# Check if the AzureRM.DataLakeStore module is loaded
If ((Get-Module -Name AzureRM.DataLakeStore -ListAvailable).Count -le 0) {
    Write-Log -Value "ERROR: The AzureRM.DataLakeStore module is not available, exiting script" -Color Red
    Write-Log -Value "Please Update Modules or download the Azure PowerShell modules from https://azure.microsoft.com/en-us/downloads/" -Color Yellow

    return
}

$myrootdir = "\"

Import-AzureRmDataLakeStoreItem -AccountName "myadls.azuredatalakestore.net -Path "C:\sampledata\vehicle1_09142014.csv" -Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv

Answer 2

您可以使用AdlCopy执行此操作。但是，您需要在订阅中配置Hybrid Runbook Worker，然后安装AdlCopy。然后，使用Azure Automation Runbook运行AdlCopy命令。 （执行Runbook时，选择“ Hybrid Worker”）

使用AdlCopy（独立）从另一个Data Lake Storage Gen1帐户复制数据：

https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-azure-storage-blob#use-adlcopy-as-standalone-to-copy-data-from-another-data-lake-storage-gen1-account

配置混合Runbook Worker：

https://docs.microsoft.com/en-us/azure/automation/automation-windows-hrw-install#automated-deployment