我正在尝试使用以下命令将文件从hdfs传输到aws s3存储桶。
下面是代码
hadoop distcp \
-Dfs.s3a.access.key=AKIXXXXXXXX4C7GA \
-Dfs.s3a.secret.key=N12XXXXXXXXary24OXPt \
-Dfs.s3a.fast.upload=true \
hdfs://qa/user/dev_test/KL/TEST.csv s3a://Cust-
import/dcp/ua.10456754/119XXXX079
我收到以下超时错误。
18/11/14 00:47:45信息http.AmazonHttpClient：无法执行HTTP请求：连接到Cust-import.s3.amazonaws.com:443超时 com.cloudera.org.apache.http.conn.ConnectTimeoutException：连接到optimally-import.s3.amazonaws.com：443超时 在com.cloudera.org.apache.http.conn.ssl.SSLSocketFactory.connectSocket（SSLSocketFactory.java:416） 在com.cloudera.com.amazonaws.http.conn.ssl.SdkTLSSocketFactory.connectSocket（SdkTLSSocketFactory.java:128） 在com.cloudera.org.apache.http.impl.conn.DefaultClientConnectionOperator.openConnection（DefaultClientConnectionOperator.java:180） 在com.cloudera.org.apache.http.impl.conn.ManagedClientConnectionImpl.open（ManagedClientConnectionImpl.java:294） 在com.cloudera.org.apache.http.impl.client.DefaultRequestDirector.tryConnect（DefaultRequestDirector.java:643） 在com.cloudera.org.apache.http.impl.client.DefaultRequestDirector.execute（DefaultRequestDirector.java:479） 在com.cloudera.org.apache.http.impl.client.AbstractHttpClient.execute（AbstractHttpClient.java:906） 在com.cloudera.org.apache.http.impl.client.AbstractHttpClient.execute（AbstractHttpClient.java:805） 在com.cloudera.com.amazonaws.http.AmazonHttpClient.executeOneRequest（AmazonHttpClient.java:728） 在com.cloudera.com.amazonaws.http.AmazonHttpClient.executeHelper（AmazonHttpClient.java:489） 在com.cloudera.com.amazonaws.http.AmazonHttpClient.execute（AmazonHttpClient.java:310） 在com.cloudera.com.amazonaws.services.s3.AmazonS3Client.invoke（AmazonS3Client.java:3785） 在com.cloudera.com.amazonaws.services.s3.AmazonS3Client.headBucket（AmazonS3Client.java:1107） 在com.cloudera.com.amazonaws.services.s3.AmazonS3Client.doesBucketExist（AmazonS3Client.java:1070） 在org.apache.hadoop.fs.s3a.S3AFileSystem.verifyBucketExists（S3AFileSystem.java:312） 在org.apache.hadoop.fs.s3a.S3AFileSystem.initialize（S3AFileSystem.java:260） 在org.apache.hadoop.fs.FileSystem.createFileSystem（FileSystem.java:2815） 在org.apache.hadoop.fs.FileSystem.access $ 200（FileSystem.java:98） 在org.apache.hadoop.fs.FileSystem $ Cache.getInternal（FileSystem.java:2852） 在org.apache.hadoop.fs.FileSystem $ Cache.get（FileSystem.java:2834） 在org.apache.hadoop.fs.FileSystem.get（FileSystem.java:387） 在org.apache.hadoop.fs.Path.getFileSystem（Path.java:296） 在org.apache.hadoop.tools.DistCp.setTargetPathExists（DistCp.java:205） 在org.apache.hadoop.tools.DistCp.run（DistCp.java:131） 在org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:70） 在org.apache.hadoop.tools.DistCp.main（DistCp.java:441）