使用distcp时，是否在内部部署了isb协议支持？

Question

我想将我的工作负载从内部部署移动到azure blob。我可以使用distcp将工作负载移动到azure吗？由于它是blob，我将在目标参数中使用wasb。在这种情况下，威尔是否会工作？

Answer 1

注意： DistCp（分布式副本）是用于大型群集间/群集内复制的工具。它使用MapReduce实现其分发，错误处理和恢复以及报告。它将文件和目录列表扩展为映射任务的输入，每个任务都将复制源列表中指定的文件的分区。

如果您拥有可访问Data Lake Store的HDInsight群集，则可以使用Hadoop生态系统工具（如Distcp）将数据复制到HDInsight群集存储（WASB）以及从Data Lake Store帐户复制数据。这个article提供了有关如何使用Distcp工具的说明。

如果要与Azure Blob之间传输数据，可以参考以下文章：

Transfer data with the AzCopy on Windows

Transfer data with the Azcopy on Linux

Answer 2

如果您将fs.azure属性添加到core-site.xml，那么您可以在任何Hadoop兼容的文件系统与Azure之间进行间隔

See the documentation for an example