如何将数据从azure数据湖移动到Windows虚拟机

Question

我需要调查将文件从azure数据湖存储文件夹移动到azure windows虚拟机。

只是想知道我的选择是什么 - 我看过Azcopy看起来可能有用 - 尽管我可能需要使用datafactory将数据转移到blob存储中。我不确定Azcopy是否能够从数据湖加载数据。

从https://docs.microsoft.com/en-us/azure/machine-learning/team-data-science-process/move-sql-server-virtual-machine

获得了这个想法

  

我的数据应该在哪里用于BCP？   虽然不是必需的，但是包含与目标SQL Server位于同一台计算机上的源数据的文件允许更快的传输（网络速度与本地磁盘IO速度）。 您可以使用各种文件复制工具（如AZCopy，Azure存储资源管理器或通过远程桌面协议（RDP）进行Windows复制/粘贴）将包含数据的平面文件移动到安装了SQL Server的计算机上。

编辑：How to copy data to Azure file service using Azure data factory - 据此，Azcopy可以通过AzCopy转到文件共享并将VM映射到那里。

是否可以使用虚拟机作为接收器来执行文件复制活动 - 如果需要，我是否需要网关？

编辑：看起来可以复制到虚拟机，并且需要网关。 How to copy data to VM from blob storage?

谢谢， 添

Answer 1

您可以使用Azure CLI 2.0和Azure Power Shell将文件下载到Windows VM。

请参阅此official document。

首先需要在VM上安装Azure CLi 2.0，您可以下载msi安装程序文件并直接安装，请参阅此link。使用以下命令将文件下载到本地VM。

az dls fs download --account mydatalakestore --source-path /mynewfolder/vehicle1_09142014_copy.csv --destination-path "C:\mysampledata\vehicle1_09142014_copy.csv"

您也可以使用Azure Power Shell执行此操作。有关此问题的更多信息，请参阅此link。