Question

我＆＃39;我试图从我的＆＃34; local＆＃34;复制分区的镶木地板文件。 hdfs（亚马逊弹性地图减少）。我总是遇到同样的错误。

当我执行时 ```

s3-dist-cp --src /myparquet --dest s3a://mys3path.com/mydest

```

我明白了

```

17/07/10 20:42:57 INFO mapreduce.Job:  map 0% reduce 0%
17/07/10 20:43:06 INFO mapreduce.Job:  map 100% reduce 0%
17/07/10 20:43:17 INFO mapreduce.Job:  map 100% reduce 5%
17/07/10 20:43:18 INFO mapreduce.Job:  map 100% reduce 6%
17/07/10 20:43:19 INFO mapreduce.Job:  map 100% reduce 7%
17/07/10 20:43:20 INFO mapreduce.Job:  map 100% reduce 9%
17/07/10 20:43:21 INFO mapreduce.Job:  map 100% reduce 11%
17/07/10 20:43:22 INFO mapreduce.Job:  map 100% reduce 14%
17/07/10 20:43:23 INFO mapreduce.Job:  map 100% reduce 16%
17/07/10 20:43:24 INFO mapreduce.Job:  map 100% reduce 18%
17/07/10 20:43:25 INFO mapreduce.Job:  map 100% reduce 21%
17/07/10 20:43:26 INFO mapreduce.Job:  map 100% reduce 23%
17/07/10 20:43:27 INFO mapreduce.Job:  map 100% reduce 25%
17/07/10 20:43:28 INFO mapreduce.Job:  map 100% reduce 27%
17/07/10 20:43:29 INFO mapreduce.Job:  map 100% reduce 29%
17/07/10 20:43:30 INFO mapreduce.Job:  map 100% reduce 31%
17/07/10 20:43:31 INFO mapreduce.Job:  map 100% reduce 33%
17/07/10 20:43:32 INFO mapreduce.Job:  map 100% reduce 35%
17/07/10 20:43:33 INFO mapreduce.Job:  map 100% reduce 38%
17/07/10 20:43:34 INFO mapreduce.Job:  map 100% reduce 40%
17/07/10 20:43:35 INFO mapreduce.Job:  map 100% reduce 42%
17/07/10 20:43:36 INFO mapreduce.Job:  map 100% reduce 44%
17/07/10 20:43:37 INFO mapreduce.Job:  map 100% reduce 46%
17/07/10 20:43:38 INFO mapreduce.Job:  map 100% reduce 48%
17/07/10 20:43:39 INFO mapreduce.Job:  map 100% reduce 50%
17/07/10 20:43:40 INFO mapreduce.Job:  map 100% reduce 52%
17/07/10 20:43:41 INFO mapreduce.Job:  map 100% reduce 55%
17/07/10 20:43:42 INFO mapreduce.Job:  map 100% reduce 57%
17/07/10 20:43:43 INFO mapreduce.Job:  map 100% reduce 59%
17/07/10 20:43:44 INFO mapreduce.Job:  map 100% reduce 61%
17/07/10 20:43:45 INFO mapreduce.Job:  map 100% reduce 63%
17/07/10 20:43:46 INFO mapreduce.Job:  map 100% reduce 65%
17/07/10 20:43:47 INFO mapreduce.Job:  map 100% reduce 67%
17/07/10 20:44:22 INFO mapreduce.Job:  map 100% reduce 68%
17/07/10 20:44:55 INFO mapreduce.Job: Task Id : attempt_1499714528879_0003_r_000122_0, Status : FAILED
Error: com.amazonaws.services.s3.model.AmazonS3Exception: Slow Down (Service: Amazon S3; Status Code: 503; Error Code: 503 Slow Down; Request ID: 52A8AF1F5C2D0A04

```

我的群集配置是 ```

--instance-groups \
InstanceGroupType=MASTER,InstanceCount=1,InstanceType=r3.8xlarge,BidPrice=5.0 \
 InstanceGroupType=CORE,InstanceCount=20,InstanceType=r3.8xlarge,BidPrice=5.0

```

有一些方法可以解决它吗？

Answer 1

这是AWS限制您的请求，Apache S3A客户端无法识别它们并正确地对它们做出反应（等待和重试），至少在2017年8月1日。[未来的读者：检查{{3}查看它现在是否已修复。

如果您使用的是s3-dist-cp，那就是您正在使用的亚马逊图书馆。尝试将dest url切换到s3://mys3path.com/mydest以确保其自己的S3客户端，而不是用于写入数据的apache s3a。

503使用s3-cp-dist在emr中减速

1 个答案: