在没有Azure数据工厂的情况下将文件从HDFS传输到Azure BLOB的不同方法

时间:2019-06-17 13:18:29

标签: azure hdfs blob azure-blob-storage

我在HDFS上有ORC文件,我需要以安全的方式将其传输到Azure BLOB容器,但只能通过命令行来使用,而不要使用Azure提供的导入/导出和其他GUI。

我大多使用Azure数据工厂来了解解决方案,但是我无法使用它。另一种方法是使用azcopy

我还遇到了一个名为blobxfer的python模块,基本上可以完成azcopy的工作。但是我不确定它的安全性。

我也看到了wasb实用程序,但是我不知道它是仅用于从Azure BLOB传输到HDFS还是用于其他方式。是吗?

是否还有其他可能更好的方法将文件从HDFS移到Azure BLOB? (我还能请问一下各自方法的利弊吗?)

0 个答案:

没有答案