如何将数据从本地本地HDFS迁移到Azure存储

Question

我想将数据从本地本地HDFS服务器移至Azure HDinsight群集。

我尝试了distcp命令，但它不了解数据湖存储路径。

Answer 1

将本地Hadoop连接到ADLS的步骤：

步骤1：：创建Azure Data Lake Store帐户。

步骤2：创建身份以访问Azure Data Lake Store。

步骤3：：在本地Hadoop集群中修改core-site.xml。

步骤4：测试从本地Hadoop到Azure Data Lake Store的连接。

步骤5：：使用DistCp将数据从本地Hadoop传输到Azure Data Lake Store。

语法： hadoop distcp <HDFS_Path> <ADLS_PATH>

示例：hadoop distcp README.txt adl://mydatalakename.azuredatakestore.net/

有关更多详细信息，请参阅“ Connecting On-premise Hadoop to Azure Data Lake Store”和“ Migrate on-premise Apache Hadoop cluster to Azure HDInsight - data migration best practices”。

希望这会有所帮助。