标签: hadoop hive amazon-emr
我有一个集群,其中有1个主节点(m4.large),6个核心(m4.large)和4个Task(m4.large)节点。 15GB的Cloudfront日志数据分为35个映射器和64个reducer。目前,要完成整个过程要花费30多分钟的时间-对于我来说太长了,所以我停止了重新配置工作。
我希望此设置处理多长时间?要在15分钟内完成作业,合理的调整大小是什么?