在Amazon EMR上处理15GB日志文件数据需要多长时间?

时间:2018-08-21 16:06:55

标签: hadoop hive amazon-emr

我有一个集群,其中有1个主节点(m4.large),6个核心(m4.large)和4个Task(m4.large)节点。 15GB的Cloudfront日志数据分为35个映射器和64个reducer。目前,要完成整个过程要花费30多分钟的时间-对于我来说太长了,所以我停止了重新配置工作。

我希望此设置处理多长时间?要在15分钟内完成作业,合理的调整大小是什么?

0 个答案:

没有答案