Question

我想将文件从不安全的HDFS群集传输到kerberized群集。我正在使用distcp来传输文件。我使用了以下命令。

$this->loadComponent('Auth', [
    'authenticate' => [
        'Form' => [
            'fields' => [
                'username' => 'email', 
                'password' => 'password'
            ],
        ],
        'ADmad/HybridAuth.HybridAuth' => [
            'fields' => [
                'provider' => 'provider',
                'openid_identifier' => 'openid_identifier',
                'email' => 'email'
            ],
            'profileModel' => 'ADmad/HybridAuth.SocialProfiles',
            'profileModelFkField' => 'user_id',
            'hauth_return_to' => null
        ],
    ],
]);

在kerberized集群中执行上述命令后，我收到以下错误。

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<ip>:8020/<sourcedir> hdfs://<ip>:8020/<destinationdir>

Answer 1

这是错误，因为：

群集被阻止进行RPC通信，在这种情况下是webhdfs 可以使用协议，因此上面的distcp可以重写为

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://xxx:8020/src_path webhdfs://yyy:50070/target_path

这非常好blog post for distcp

将文件从不安全的hdfs传输到安全的hdfs集群

1 个答案: