在我的项目中,我们一直在Azure上使用BLOB。我们能够使用以下便捷方式将ORC文件上传到名为student_dept
的现有BLOB容器中:
hdfs fs -copyFromLocal myfolder/student_remarks/*.orc wasbs://student_dept@universitygroup.blob.core.windows.net/DEPT/STUDENT_REMARKS
我们有一个Hive EXTERNAL表:在STUDENT_REMARKS
BLOB上创建的student_dept
。这样,我们可以使用Hive查询轻松地从云中访问数据。
现在,我们正尝试从BLOB存储转移到ADLS Gen2以存储ORC文件,我正试图了解此更改对我们的上传/数据检索过程的影响。
我对Azure完全陌生,现在我想知道的是如何将ORC文件从HDFS上传到ADLS Gen2存储库?有什么不同?
在不同目标位置(ADLS G2代替BLOB)的同一命令是否起作用,还是需要做一些额外的操作才能将数据上传到ADLS G2?
有人可以帮助我提供您的建议吗?