标签: hadoop apache-pig yarn
我需要使用Pig从HDFS读取大量小文件,Hadoop版本为2.6(YARN)。
作业收到容器错误。
我四处搜索,发现我们可以设置" mapred.job.reuse.jvm.num.tasks"在Hadoop 1. *中,YARN不再支持它。
那么我们怎么能在YARN上处理这个呢?