亚马逊EMR-创建集群是否使用数据传输?

时间:2018-11-06 23:20:34

标签: amazon-web-services amazon-ec2 amazon-emr

我使用的是带有EC2上的emr的AWS,几天来传输大量数据,大约900 GB,但我没有发送任何数据。

我唯一要做的就是创建一个emr集群并将数据从s3下载到它。

我发现this涉及费用,并发现当您不发送任何数据时不应该将数据传输到互联网!

我一直看到将数据传输到许多AWS区域和互联网的各种费用,但由于某种原因我找不到任何参考。会是什么

1 个答案:

答案 0 :(得分:1)

最有可能是您正在其他区域访问S3存储桶。用于您的数据或用于编写EMR群集日志。

有两种诊断方法。当然,首先是要查看您的EMR群集配置。

第二个是启用VPC flow logs,它将告诉您数据的确切来源和目的地。但是,这些限制可能是有限的:如果您正在通过NAT运行所有流量,那么它们只会显示NAT,而不是最终的源/目的地。

第三种方法是使用阻止出站连接的安全组,并查看日志以查看失败的原因。