我在HDFS上有ORC文件,我需要以安全的方式将其传输到Azure BLOB容器,但只能通过命令行来使用,而不要使用Azure提供的导入/导出和其他GUI。
我大多使用Azure数据工厂来了解解决方案,但是我无法使用它。另一种方法是使用azcopy
。
我还遇到了一个名为blobxfer
的python模块,基本上可以完成azcopy
的工作。但是我不确定它的安全性。
我也看到了wasb
实用程序,但是我不知道它是仅用于从Azure BLOB传输到HDFS还是用于其他方式。是吗?
是否还有其他可能更好的方法将文件从HDFS移到Azure BLOB? (我还能请问一下各自方法的利弊吗?)