猪0.14.0处理大量小文件

时间:2015-03-26 21:40:45

标签: hadoop apache-pig yarn

我需要使用Pig从HDFS读取大量小文件,Hadoop版本为2.6(YARN)。

作业收到容器错误。

我四处搜索,发现我们可以设置" mapred.job.reuse.jvm.num.tasks"在Hadoop 1. *中,YARN不再支持它。

那么我们怎么能在YARN上处理这个呢?

0 个答案:

没有答案