使用命令行从HDFS到ADLS Gen 2的文件传输过程是否与到BLOB的传输过程相同?

时间:2019-10-01 11:50:16

标签: hadoop azure-storage azure-data-lake

在我的项目中,我们一直在Azure上使用BLOB。我们能够使用以下便捷方式将ORC文件上传到名为student_dept的现有BLOB容器中:

hdfs fs -copyFromLocal myfolder/student_remarks/*.orc wasbs://student_dept@universitygroup.blob.core.windows.net/DEPT/STUDENT_REMARKS

我们有一个Hive EXTERNAL表:在STUDENT_REMARKS BLOB上创建的student_dept。这样,我们可以使用Hive查询轻松地从云中访问数据。

现在,我们正尝试从BLOB存储转移到ADLS Gen2以存储ORC文件,我正试图了解此更改对我们的上传/数据检索过程的影响。

我对Azure完全陌生,现在我想知道的是如何将ORC文件从HDFS上传到ADLS Gen2存储库?有什么不同?

在不同目标位置(ADLS G2代替BLOB)的同一命令是否起作用,还是需要做一些额外的操作才能将数据上传到ADLS G2?

有人可以帮助我提供您的建议吗?

1 个答案:

答案 0 :(得分:1)

我没有尝试,但是根据thisthis这样的文档,您可以对ADLS GEN2使用以下命令:

hdfs dfs -copyFromLocal myfolder/student_remarks/*.orc 
       abfs://student_dept@universitygroup.dfs.core.windows.net/DEPT/STUDENT_REMARKS