我使用的是带有EC2上的emr的AWS,几天来传输大量数据,大约900 GB,但我没有发送任何数据。
我唯一要做的就是创建一个emr集群并将数据从s3下载到它。
我发现this涉及费用,并发现当您不发送任何数据时不应该将数据传输到互联网!
我一直看到将数据传输到许多AWS区域和互联网的各种费用,但由于某种原因我找不到任何参考。会是什么
答案 0 :(得分:1)
最有可能是您正在其他区域访问S3存储桶。用于您的数据或用于编写EMR群集日志。
有两种诊断方法。当然,首先是要查看您的EMR群集配置。
第二个是启用VPC flow logs,它将告诉您数据的确切来源和目的地。但是,这些限制可能是有限的:如果您正在通过NAT运行所有流量,那么它们只会显示NAT,而不是最终的源/目的地。
第三种方法是使用阻止出站连接的安全组,并查看日志以查看失败的原因。