将Hadoop集群从Big Insights迁移到Cloudera

时间:2018-10-20 04:12:46

标签: hadoop kerberos cloudera distcp

将1 TB大小的群集从Big Insights迁移到Cloudera的最佳方法是什么。

Cloudera是内核集群。

我们正在遵循的当前方法是分批进行: 一种。将集群移至Unix文件系统
b。 SCP到Cloudera文件系统
C。从cloudera文件系统转储到cloudera HDFS

这不是有效的方法

1 个答案:

答案 0 :(得分:0)

Distcp可以与使用Kerberos的集群一起工作

但是尚不清楚您实际上是否拥有333GB x3副本= 1TB或实际上1TB的原始数据。

无论哪种情况,都非常欢迎您购买外部4TB(或更多)驱动器和copyToLocal群集中的每个文件,然后将其上传到其他任何地方。